Kafka

카프카, 데이터 플랫폼의 최강자 책을 공부하며 쓴 정리 글 입니다.카프카(Kafka)는 파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 설계된 고성능 분산 이벤트 스트리밍 플랫폼이다.Pub-Sub 모델의 메시지 큐 형태로 동작하며 분산환경

Kafka를 데이터베이스로 사용하고, 여기에 있는 데이터를 가공해서 다시 다른 스토리지나 데이터베이스에 저장하는 경우가 많아짐일정 주기의 배치 처리와 실시간 스트림 처리를 혼합해서 사용하는 방식장점데이터의 정확성, 일관성을 제공함과 동시에 최소의 지연으로 실시간적인 결

Kafka Connect는 데이터베이스, 키-값 저장소, 검색 인덱스 및 파일 시스템 간의 간단한 데이터 통합을 위한 중앙 집중식 데이터 허브 역할을 하는 Apache Kafka의 무료 오픈소스 구성요소이다.Kafka Connect를 사용하여 Kafka와 다른 데이터

스트림 프로세싱이란, 연속적인 이벤트 스트림이 들어올때마다 그때그때 처리하고 분석하여 의미있는 정보를 추출하고 실시간으로 작업을 처리하는 애플리케이션을 가리킵니다.이벤트를 소비해서 다른 이벤트 포맷으로 변환하는 무상태 서비스부터, 낮은 지연 시간과 높은 신뢰성을 보장하

공식 문서Confluent에서 제공하는 Apache Kafka 클러스터를 위한 RESTful 인터페이스입니다. 네이티브 Kafka 프로토콜이나 Kafka Connect, Kafka Client를 사용하지 않고도 REST API 를 통해 카프카 클러스터에 메세지를 전달하

AMQP는 메세지 지향 미들웨어 (MOM) 을 위한 표준 응용 계층 프로토콜입니다. 간단히 말하면, 메세지 통신을 위한 규약 스펙 입니다.플랫폼 종속적인 제품들 사이에서 서로 다른 이기종간에 메세지를 교환하기 위해서는 메세지 포맷 변환을 위해 속도가 느린 메세지 Bri

참고 사이트pub/sub 메세징 프로토콜의 개방형 표준MQTT는 제한된 장치 및 신뢰할 수 없는 네트워크를 포함하여 IoT Use case를 위해 구축되었음그러나 데이터 통합 및 데이터 처리는 XIoT 플랫폼이 아니고, 이벤트 스트리밍 플랫폼임메세지 저장, 데이터 통합