Install Kafka, Logstash on EC2

KMS·2022년 4월 22일
0

AWS Data Pipeline

목록 보기
1/2

Install Kafka

0. Install Java


EC2에 연결 후, 'sudo yum install -y java-1.8.0-openjdk-devel.x86_64' command 실행해서 Java를 설치합니다.

1. Download Kafka on EC2


'wget https://downloads.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgz' 를 실행해서 EC2에 Kafka 압축 파일을 다운로드 합니다.
주의점: downloads.apache.org/kafka에 들어가서 최신 버전의 Kafka가 버전이 어떤것인지 찾고, 그에 맞게 다운로드 해야 합니다. 제가 설치할 당시에 2.13-3.1.0 버전이 최신 버전이였습니다. downloads.apache.org/kafka에 명시되어 있지 않는 버전으로 설치 command 실행 시, 다운로드가 안됩니다.

2. Unzip Kafka on EC2


'tar xvf kafka_2.13-3.0.0.tgz' command로 방금 다운로드 받은 Kafka 파일의 압축을 풀어줍니다.

3. Install & Unzip Logstash on EC2

'wget https://artifacts.elastic.co/downloads/logstash/logstash-7.4.0.tar.gz',
'tar xvzf logstash-7.4.0.tar.gz'
command 들을 차례대로 실행해서 logstash를 다운로드 후 압축을 풀어 줍니다.

4. Set Logstash Path


Logstash를 EC2 어디에서든 실행 될 수 있도록, bash_profile에서 경로를 추가해 줍니다.
1. 'vi ~/.bash_profile' command로 vi editor로 bash_profile를 열어줍니다
2. bash_profile에서 사진 처럼 Path를 추가해 줍니다.
export LS_HOME=/home/ec2-user/logstash
PATH=$PATH:$LS_HOME/bin
3. vi editor 에서 나와서, EC2에서 'source ~/.bash_profile' command 실행합니다

profile
Student at Sejong University Department of Software

0개의 댓글