Kafka의 offset reset

개발 공부 일지·2022년 7월 27일
0

offset 은 long type으로 할당해서 사용한다. offset은 offset retention period 설정을 (default 7 days) 통해 주기적으로 0으로 초기화한다. 만약, Long.MAX_VALUE 범위를 넘어가면 어떻게 될까?

→ offset의 한계치를 넘어 사용하게 된다해도 offset reset은 일어나지 않는다. 그러나 partition이 한 개일 때, 하루에 1TB씩 4백만 일 동안 써야 offset overflow가 일어난다. 그리고, offset은 partition마다 관리하기 때문에 partition을 적절히 늘려주면 이 기간도 곱셈으로 늘어난다.

“If you write 1TB a day, you can keep going for about 4 million days.”

profile
알고리즘 / 기술 스택 / CS

0개의 댓글