Apache Kafka

프로듀서/컨슈머로 분리되어 작동스케일 아웃 가능이벤트 기반 스트림 처리실행된 kafka 애플리케이션 서버 중 1대주로 3대 이상의 브로커로 클러스터 구성주키퍼와 연동n개 중 1대는 컨트롤러 기능 수행컨트롤러 : 각 브로커에게 담당 파티션 할당 수행. 브로커 정상 동작

EC2 인스턴스에 kafka를 직접 설치하는 방식이 아닌 docker-compose를 통해 다중 브로커를 만들고 실행해보자kafka 브로커 3개로 구성된 클러스터 생성포트는 9092, 9093, 9094로 설정 (ec2 인스턴스 보안설정에서도 개방해줘야한다)모니터링을

Kafka Connect > Kafka와 외부 데이터 소스나 저장소 간에 데이터를 효율적으로 이동시키기 위한 프레임워크 이를 통해 kafka 토픽에 저장되는 데이터를 실시간으로 감지해서 추출할 수 있다. 플러그 가능한 아키텍처: Kafka Connect는 다양한 소스