MSK

Amazon MSK는 Kafka 인프라와 운영을 관리하는 AWS 스트리밍 데이터 서비스이다. Kafka 클러스터를 운영, 유지 관리, 크기 조정, 보안기능을 제공하며, 스트리밍 데이터 어플리케이션 개발 속도를 높여주는 내장 AWS 통합 기능을 제공한다.

생성

MSK -> 클러스터 생성

클러스터 유형 -> 프로비저닝됨 을 선택해야 Kafka 버전과 브로커 성능을 결정할 수 있다.

클러스터 목록: 프로비저닝됨
클러스터 이름: skybluelee
kafka 버전: 권장 버전 선택
브로커: t3.small
영역 수: 2
영역당 브로커: 1
스토리지: 1GB
구성: 아마존 MSK 기본 구성
vpc, 영역, 보안그룹은 알맞게 설정
액세스 제어 방법: 인증되지 않은 액세스 - 일반적으로는 IAM을 사용
암호화: 일반 텍스트
이 클러스터에 대한 Amazon CloudWatch 지표: 기본 모니터링

토픽 생성

kafka 다운

Amazon 공식 사이트를 참조

$ sudo apt install java-11

$ wget https://archive.apache.org/dist/kafka/{YOUR MSK VERSION}/kafka_2.13-{YOUR MSK VERSION}.tgz

$ tar -xzf kafka_2.13-{YOUR MSK VERSION}.tgz

$ wget https://github.com/aws/aws-msk-iam-auth/releases/download/v1.1.1/aws-msk-iam-auth-1.1.1-all.jar

msk 정보 사용

MSK -> 클러스터 -> 클라이언트 정보 보기 -> 프라이빗 엔드포인트

$ ./kafka-topics.sh --list --bootstrap-server <endpoint>

__amazon_msk_canary
__consumer_offsets
test

topic 목록 확인

topic 생성

$ ./kafka-topics.sh --create --bootstrap-server <endpoint> --replication-factor 2 --partitions 1 --topic msk-test

Created topic msk-test

브로커를 2개로 만들었기 때문에 복제본을 2개로 생성. 보통은 브로커 개수를 따라감

Producer, Consumer

producer

$ ./kafka-console-producer.sh --bootstrap-server <endpoint> --topic msk-test

consumer

$ /.kafka-console-consumer.sh --bootstrap-server <endpoint> --topic msk-test --from-beginning

--from-beginning은 처음부터 메시지를 읽는 parameter