Apache Kafka

구독자subscriber 가 특정 토픽, 이벤트에 대해 구독 의사interest 를 등록하고, 해당 이벤트에 대한 통지를 비동기 방식으로 받는 것이벤트는 게시자publisher에 의해 생성다중 리시버를 보유 가능모든 리시버가 동일한 메시지 사본을 받아 사용 (PTP 메

broker 는 상태를 저장하지 않는다 (stateless)상태 정보state는 Zookeeper를 통해 관리producer 로부터 message 를 푸시받음consumer 는 broker로 부터 message를 읽음하나의 토픽 파티션마다 존재하는 리더 broker 가

partition 은 병렬 처리의 단위 topic 내에선 순서가 보장되지 않지만 partition 내에선 순서 보장 새로운 메시지는 partition 의 끝부분에 추가된다. -> 순서 보장이 필요한 데이터를 같은 partition에 할당되도록 조정 parti

Producer 의 역할 broker url bootstrap producer 에서 1개 이상의 broker 에 연결한다. producer 실행시 bootstrapping 하기 위한 1개 이상의 broker url 목록을 제공해야한다. 데이터 직렬화 kafka 에

Producer 필수 설정 bootstrap.servers key.serializer, value.serializer 그외 주요 설정 buffer.memory acks batch.size linger.ms compression.type reties

Replication factor 복제본 일관성 유지 방안 Read, Write 장애 발생시

Kafka 주요 명령어 정리

Kafka producer 가 send 한 offset 과 consumer 가 consume한 offset 의 차이

Kafka partition reassign

Kafka Connect Rest API

topic을 구독하면, 컨슈머 그룹에 할당된 파티션에서 데이터를 읽는다.레코드를 가져오기 위해 카프카 서버를 조사하는 과정을 폴 루프(poll loop)라 함kafka는 메시지 offset 을 보유하지 않는다.각 consumer 는 자신의 consumer offset

kafka broker IP 목록각각 message key, message를 역직렬화하는 클래스 지정producer 에서 지정한 serializer 와 대응하도록 지정대응하지 않을 경우 exception 발생consumer 그룹을 정의true 설정시 설정 주기에 따라

kafka Message server.properties 에서 설정하는 log.dir, log.dirs 는 kafka 에서 다루는 message 데이터의 경로를 가리킨다 Kafka docs link log.dir 의 기본값은 /tmp/kafka-logs, log.dir

topic offset 조회, 메시지 삭제하기