Kafka

팀 내 IoT 서비스에서 발생하는 이벤트를 로깅해 추천 모델 학습 데이터로 활용, ElasticSearch를 통한 분석 데이터로 활용, 반응형 앱 데이터로 활용 등 하나의 이벤트 데이터 스트림에서 다양한 서드 파티 서비스를 붙여야 하는 니즈가 발생했다. 이 니즈를 카프카로 데이터 스트림을 만들고, 카프카 커넥트로 필요한 서비스들을 컨슈머로 붙여 해결하면 좋...

최적화된 카프카 클러스터를 사용하기 위해서는 수많은 시행착오 필요이런 시행착오를 줄이기 위해 SaaS 도입 가능클라우드 서비스 제공업체가 소프트웨어와 인프라를 관리하면서 플랫폼을 제공하는 것세부 설정을 간편하게 할 수 있고, 네트워크/가상화 등 다양한 운영상 이슈는 업

카프카에 필요한 데이터를 선언하고 브로커의 특정 토픽의 파티션에 전송리더 파티션을 갖고 있는 카프카 브로커와 직접 통신ProducerRecord : 프로듀서에서 생성하는 레코드. 오프셋 미포함오프셋은 카프카 클러스터에 저장 후 지정됨Partitioner : 어느 파티션