# broker

Chatper3. Kafka 기본 개념
broker, replication, controller, leader, follower, cordinator, topic, partition, record

Chatper2. Kafka 빠르게 시작해보기
kafka, zookeper, kafka-topic, kafka-console-producer, kafka-consele-consumer, kafka-consumer-groups

Chapter1. Kafka 서론
Kafka, 데이터 레이크, 배치 데이터, 스트림 데이터, 람다 아키텍처, 카파 아키텍처, 스트리밍 데이터 레이크 아키텍처
[Kafka] Consumer Group Rebalancing
컨슈머그룹에 컨슈머가 추가되거나 삭제되었을 때 카프카 브로커가 어떻게 동작하는지 알아보자.다음과 같은 상황을 가정한다컨슈머 그룹 이름 : schedule-log-group-test토픽 이름 : JobLogDev파티션 개수 : 3개컨슈머 개수 : 3개카프카 컨슈머의 특성

[Kafka] 내, 외부 통신 설정
개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 EC2(Python) -> Kafka -> Fluentd -> Elastic Search로 전달 예정 외부에서 들어온 데이터를 내부에서 제공해야함 크롤러 url : 크롤러 Troubleshooting 외부의 데이터가 들어오지 않음 netstat -anlp :9200을 했을 때, 데이터가 들어오려는...
[Kafka] broker log 경로 변경
kafka Message server.properties 에서 설정하는 log.dir, log.dirs 는 kafka 에서 다루는 message 데이터의 경로를 가리킨다 Kafka docs link log.dir 의 기본값은 /tmp/kafka-logs, log.dir