Kafka
1.Apache Kafka 주요 요소1(Producer, Consumer, Topic, Partition, Segment)
1\. Topic, Producer, ComsumerProducer: 메시지를 생산해서 Kaffa의 Topic으로 메시지를 보내는 애플리케이션Consumer: Topic의 메시지를 가져와서 소비하는 애플리케이션Consumer group: Topic의 메시지를 사용하기
2022년 3월 2일
2.Apache Kafka 주요 요소2(Zookeeper, Broker)
Kafka Broker는 Partition에 대한 Read 및 Write를 관리하는 소프트웨어Kafka Server라고 부르기도 하며, Topic내의 Partition들을 분산, 유지 및 관리각각의 Broker들은 ID로 식별됨 (단 ID는 숫자)Topic의 일부 Pa
2022년 3월 10일
3.Apache Kafka 주요 요소3
메시지를 Topic의 어떤 Partition으로 보낼지 결정한다전제 조건은 Key가 null이 아니어야 한다
2022년 3월 21일
4.Kafka metric monitoring 1
이번 포스팅은 kafka를 통해 producer와 consumer가 데이터를 주고 받는 과정에서 kafka에서 발생하는 메트릭에 대해 모니텅 하고자 한다. 필자는 총 3대의 서버를 사용했으며, 각각의 역할은 kafka-client, broker, monitoring이다
2022년 5월 6일
5.Kafka metric monitoring 2
"broker01" 서버로 접속한 후, apache kafka 실행apache kafka 실행 (zookeeper, broker) : jmx port 적용"kafka-client" 서버로 접속한 후, logstash(producer)와 logstash(consumer)
2022년 5월 6일