Kafka

Stream 처리, 실시간 데이터 파이프라인 및 대규모 데이터 통합을 위한 오픈 소스 분산 이벤트 스트리밍 시스템 또는 오픈 소스 분산 Pub/Sub 메시징 플랫폼

Apache Kafka의 초기 개발자들이 설립한 회사에서 제공하는 Kafka로 완전 관리형을 지향한다.

Kafka Broker

Topic은 Partition으로 구성된 일련의 로그 파일

Segment > 로그 파일에서 일정한 크기나 시간 단위로 분리된 일부를 의미 메시지를 저장하는 물리적인 단위 여러 세그먼트가 하나의 토픽의 파티션에 대해 디스크에 저장 > Record > Kafka에서 전송되는 메시지 또는 데이터의 최소 단위 각 레코드는 특정 토픽

Kafka Producer > Kafka에 데이터를 저장하는 주체 > > Kafka에 데이터를 전송하는 애플리케이션, 서버 1. 각각의 메시지를 토픽 파티션에 맵핑 2. 파티션 리더에 Write 요청 전송 > > 키 값을 정하면, 해당 키를 가진 모든 메시지

Kafka Consumer > Kafka Topic에 저장된 데이터를 가져오는 애플리케이션, 서버

왜 Confluent Kafka를 선택했는지는...

01

Kafka Connect 개념 및 간단 설명

Kafka Connect에서데이터를 소스나 대상 시스템으로 이동시키는 특정 데이터 소스 또는 대상 시스템과의 통합을 담당하는 모듈다음 명령어를 입력하면 생성된다.

Clustering

Kafka의 UI Tools