Kafka
1.Kafka 설치 및 실행하기
아래 사이트에서 .tgz 파일 우클릭 후 링크 복사https://kafka.apache.org/downloads압축을 풀어준다.wget https://downloads.apache.org/kafka/3.2.3/kafka_2.13-3.2.3.tgztar
2022년 9월 27일
2.Producer & Consumer 만들기 (with Python)
Kafka Library 설치하기 pip3 install kafka-python
2022년 9월 27일
3.Multi Broker Kafka Cluster 구축하기 (with Docker)
Local만으로는 Cluster를 구축하기 어렵기 때문에 Docker를 이용하여 Kafka Cluster를 구축해본다.Zookeeper 1개, Broker 3개로 구성한다.추가로 Kafka를 Web UI에서 쉽게 Manage하기 위해 Kafdrop이란 서비스도 사용한다
2022년 9월 28일
4.Muti Broker Kafka Cluster와 통신하는 간단한 Producer & Consumer 만들기
Zookeeper 1, Broker 3 Kafka Cluster에 Message를 송수신하는 간단한 Producer, Consumer를 만들어 본다.Zookeeper 1, Broker 3 Kafka Cluster 구축 방법은 아래 포스팅 참고Kafka Cluster 구
2022년 9월 28일
5.Consumer와 Producer, 두 가지 역할을 하는 로직 구성하기
실시간으로 발생되는 금융 거래 내역이 있다. 금융 거래 내역을 지불 유형에 따라 분류하고, 이 중에서 수상한 거래를 Detection해서 처리하는 로직을 구성해본다.로직은 크게 다음과 같이 구성된다.금융 거래 내역을 발생시키는 Generator (Producer)지불
2022년 9월 30일