Consumer 주요 옵션 bootstrap.servers : 브로커 정보. fetch.min.bytes : 한 번에 가져올 수 있는 최소 데이터 크기. 지정 크기보다 작을 경우, 누적될 때까지 기다림. group.id : 컨슈머 그룹을 식별하는 식별자. 동일한 그룹 내의 컨슈머는 정보를 모두 공유. heartbeat.interval.ms : 하트비트가 있다는 것은 컨슈머의 상태가 active인 것. session.timeout.ms와 연관이 있으며, 이 값보다 낮은 값으로 설정한다. 일반적으로 session.timeout.ms의 1/3로 설정한다. max.partition.fetch.bytes : 파티션 당 가져올 수 있는 최대 크기. session.timeout.ms : 이 시간을 이용해 컨슈머가 종료된 것인지 판단함. enable.auto.commit : 백그라운드로 주기적으로 오프셋 커밋할지 여부.

Producer 주요 옵션 bootstrap.servers : 클러스터는 마스터 개념이 없으므로, 각가의 호스트와 포트 정보. 모든 브로커의 정보를 적지 않아도 최초로 연결된 브로커로부터 통신을 위한 정보를 가져옴. client.dns.lookup : 클라인트가 하나의 IP와 연결하지 못할 경우에 다른 IP로 시도. usealldns_ips - 기본값. hostname의 모든 ip에 대해 연결. bootstrap 해당 하는 domain name을 그대로 가져가서 클라이언트 인스턴스 생성. 추후 polling과 같은 동작이 일어날 때 서버와 connection을 맺는 시점에서 domain name을 모두 resolve. resolvecanonicalbootstrapserversonly - 프로듀서 또는 컨슈머가 최초 인스턴스 생성 시 bootstrap의 모든 ip에 대해 reverse lookup 수행. Kerberos의 SASL 인증을 통한 카프카

Kafka란 > 보다 큰 규모의 데이터를 모으고, 처리하고, 저장하고 받아서 전달하는 이벤트 스트리밍 플랫폼. 데이터를 받아서 전달하는 데이터 버스 역할을 한다. 즉, 대량의 데이터를 분산 관리해주는 미들웨어이다. 이벤트 스트리밍 : ??? 데이터 스트리밍 : ??? 미들웨어 : 운영 체제에서 제공하지 않는 일반적인 서비스와 기능을 애플리케이션에 제공하는 소프트웨어. 이벤트 : 소프트웨어 또는 응용 프로그램에서 식별하거나 기록 하는 모든 유형의 작업, 사건 또는 변경 사항. 핵심 개념 > 높은 처리량, 빠른 응답 속도, 안정성 카프카를 사용하는 대표적인 이유는 위의 세 가지를 보장해주기 때문이다. 이를 보장해주는 구체적인 카프카의 핵심 개념은 아래와 같다. 분산 시스템 : 네트워크 상에서 연결된 컴퓨터들의 그룹. 높은 성능을 낼 수 있으며 장애 대응과 시스템 확장에 용이함. 페이지 캐시 : OS의 페이지 캐시를 활용하여 처리량을 높인다