Kafka 파티셔닝

여러개의 파티션을 가지는 topic

1. kafka-topics로 topic 생성할 때 —partitions 3 옵션을 줘서 파티션 3개 가지는 topic 생성
2. kafka-console-producer로 메세지 생성

3. comsumer로 데이터 —from-beginning으로 처음부터 끌어오기
   

순서가 달라졌다..!

4. consumer에서 —property print.partition=true 옵션으로 파티션 출력하기
   

   파티션별로 읽어왔음을 확인
   같은 파티션 묶음으로 (batch) 읽어온다

batch

producer에서 들어온 메세지를 파티션에 전송하기 전에
batch에 순서대로 묶어서 한번에 전송하게 된다...!

파티션 분배 전략

• 라운드 로빈
  메세지를 파티션에 균일하게 분배하려는 전략

  batch에 라운드로빈으로 하나씩 할당 후 그대로 파티션에 전송한다..!

  batch가 다 차야 전송이 가능하므로 빨리 채우지 못하면 전송 성능 저하

• 스티키 파티셔닝

  현재 기본 파티셔닝!
  위의 batch 문제를 해결하기 위해 채택
  batch를 순서대로 다 채운 후 다음 batch로 넘어간다