[Kafka] Topic, Producer, Consumer 생성

CHAN LIM·2024년 1월 31일
0

Kafka

목록 보기
9/13

Topic 생성 및 정보 확인

1. Topic 생성 (기본 partition 개수 1, replication-factor 1)

kafka-topics --bootstrap-server localhost:9092 --create --topic test_topic_01

2. Topic 생성(기본 partition 개수 3)

kafka-topics --bootstrap-server localhost:9092 --create --topic test_topic_02 --partitions 3

3. Topic 생성(기본 partition 개수 3, replication-factor 2)

Broker가 하나이기 때문에 동작하지 않는다.

kafka-topics --bootstrap-server localhost:9092 --create --topic test_topic_03 --partitions 3 --replication-factor 2

4. Topic의 리스트 조회

kafka-topics --bootstrap-server localhost:9092 --list

5. 특정 Topic 상세 정보

kafka-topics --bootstrap-server localhost:9092 --topic {토픽 이름} --describe

6. 특정 Topic 삭제

kafka-topics --bootstrap-server localhost:9092 --topic {토픽 이름} --delete


Producer, Consumer 생성

일반 생성

1. Producer 생성

kafka-console-producer --bootstrap-server localhost:9092 --topic test-topic

2. Consumer 생성

kafka-console-consumer --bootstrap-server localhost:9092 --topic test-topic

처음 Offset부터 읽어올거면, --from-beginning 파라미터 추가

kafka-console-consumer --bootstrap-server localhost:9092 --topic test-topic --from-beginning

Key 값 포함

1. Producer 생성

kafka-console-producer --bootstrap-server localhost:9092 --topic test-topic \
--property key.separator=: --property parse.key=true

2. Consumer 생성

kafka-console-consumer --bootstrap-server localhost:9092 --topic test-topic \
--property print.key=true --property print.value=true --from-beginning

profile
클라우드, 데이터, DevOps 엔지니어 지향 || 글보단 사진 지향

0개의 댓글