데이터를 보내면(메시지) 여러 파티션중 하나에 적재
큐 구조와 동일하다.
컨슈머가 데이터 가져가도 파티션 데이터는 삭제되지 않는다.
배치 데이터 -> 일괄적으로 모아서 한번에 처리, 한정된 데이터 처리, 지연 발생
스트림 데이터 -> 무한 데이터 처리, 지속, 분 단위 이하 지연
프로듀서 -> 넣는 역할
카프카 커넥트(소스) -> 프로듀서 역할, 클러스터 운영, 지속적으로 템플릿 여러번 생성 가능
카프카 커넥트(싱크) -> 핵심!, 컨슈머 역할
컨슈머 -> 데이터 가져감
상용환경에서는 브로커 3개로 운영(보통)
브로커 -> 카프카 클라이언트와 데이터를 주고 받기 위해 사용하는 주체, 장애 발생해도 안전하게 사용
하나의 서버에는 한 개의 카프카 브로커 실행 / 기본 기능은 1개로 가능 but 안전하게 하기 위해 3개 사용
클러스터로 묶인 브로커들은 프로듀서가 보낸 데이터 분산저장, 복제
카프카 클러스터 실행하기 위해서는 주키퍼가 필요
카프카 3.0부터는 주키퍼 없어도 가능! -> 브로커 여러대를 운영해서 브로커들을 하나의 클러스터로...
smilegate