# Apache Kafka
Apache Kafka & Apache Kafka CDC
Apache Kafka 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 및 핵심 애플리케이션에 사용하는 오픈 소스 분산 이벤트 스트리밍 플랫폼. 대기열과 게시-구독이라는 두 가지 메시징 모델을 결합하여 각 모델의 주요 이점을 제공함. 대기열 -> 데이터 처리
임시
위 테스트코드를 실행하면, 컨슈머가 null이므로 wakeup() 메소드를 실행할 수 없다고 함.테스트코드에서 addConsumerWorker() 다음으로 subConsumerWorker()를 호출했더라도, run() 메서드 내에서 컨슈머가 초기화되므로 wakeup()
Apache Kafka 기초 명령어 정리
Apache Kafka는 대용량의 데이터 스트림을 신속하고 안정적으로 처리하기 위해 LinkedIn에서 개발되었으며, 현재는 Apache Software Foundation에서 관리하고 있습니다. Kafka는 분산 메시지 브로커 시스템으로, 실시간 데이터 파이프라인과
카프카 스트림즈 - 조인
KStream/KStreamKTable/KTableKStream/KTable위 세가지 조인은 코-파티셔닝 되어 있을때만 가능하다.온라인 광고를 예시로 들어 조인의 차이를 알아본다.특정 광고의 view event를 다루는 kafka topic이 있고,click event
카프카 스트림즈 - 리파티셔닝
As soon as an operation can possibly change the key, the stream will be marked for repartitionMapFlatMapSelectKeySo only use these APIs if you need to
아파치 카프카 - 메세지 압축
Compression can be enabled at the producer level and doesn't require any configuration change in the brokers or in the consumerscompression.type = non
아파치 카프카 - Kafka Topics
kafka topic은 cluster안에 있는 데이터 스트림을 뜻함데이터베이스 테이블과 유사, 하지만 제약이 없음( 원하는 모든 것을 Topic에 전송 가능, 데이터 검증이 없기 때문)A topic is identified by its name모든 종류의 메세지 포맷을
IoT 디바이스를 위한 MQTT 와 Kafka 결합
참고 사이트pub/sub 메세징 프로토콜의 개방형 표준MQTT는 제한된 장치 및 신뢰할 수 없는 네트워크를 포함하여 IoT Use case를 위해 구축되었음그러나 데이터 통합 및 데이터 처리는 XIoT 플랫폼이 아니고, 이벤트 스트리밍 플랫폼임메세지 저장, 데이터 통합
[Apache Kafka] Kafka REST Proxy란?
공식 문서Confluent에서 제공하는 Apache Kafka 클러스터를 위한 RESTful 인터페이스입니다. 네이티브 Kafka 프로토콜이나 Kafka Connect, Kafka Client를 사용하지 않고도 REST API 를 통해 카프카 클러스터에 메세지를 전달하
[Apache Kafka] Kafka Streams 란?
스트림 프로세싱이란, 연속적인 이벤트 스트림이 들어올때마다 그때그때 처리하고 분석하여 의미있는 정보를 추출하고 실시간으로 작업을 처리하는 애플리케이션을 가리킵니다.이벤트를 소비해서 다른 이벤트 포맷으로 변환하는 무상태 서비스부터, 낮은 지연 시간과 높은 신뢰성을 보장하
[Apache Kafka] Kafka Connect 란?
Kafka Connect는 데이터베이스, 키-값 저장소, 검색 인덱스 및 파일 시스템 간의 간단한 데이터 통합을 위한 중앙 집중식 데이터 허브 역할을 하는 Apache Kafka의 무료 오픈소스 구성요소이다.Kafka Connect를 사용하여 Kafka와 다른 데이터
MSA
MSA(micro service Architecture)↔Monolithic Architecture Monolithic Architecture 장단점 장점 개발 초기에 단순한 아키텍처 구조로 인해 개발에 용이 어떤 서비스든지 개발되어 있는 환경이 같아
Apache Kafka, 핵심 요소별 고가용성 정리
지난 포스팅에선 카프카의 구성 요소들과 역할에 대해 간단하게 설명드리며 고가용성에 대한 언급을 드렸습니다!오늘의 포스팅은 카프카의 주요 요소인 Zookeeper, Producer, Topic-Partition, Consumer가 어떻게 고가용성을 유지하는지에 대해 설명
[Spring Cloud] DB 단일화
OrderService가 여러개 실행되었을때 각각의 H2 DB에 따로 데이터가 저장되는 일이 발생할 수 있다. 이때 하나의 DB로 단일화 시킴으로써 해결할 수 있다.Dependencies 추가application.yml 수정Controller 수정Producer에서 발
[Spring Cloud] 서비스에 Kafka Topic 적용
Orders, Catalogs 서비스에 적용 OrderService에 요청 된 주문의 수량 정보를 CatalogService에 반영 OrderService에서 Kafka Topic으로 메시지 전송 -> Producer CatalogService에서 Kafka Topic
[Spring Cloud] Kafka
설치과정은 생략 Kafka 서버 기동 Kafka와 데이터를 주고받기 위해 사용하는 Java Library https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients Zookeeper 및 Kafka 서버
[Spring Cloud] 데이터 동기화
OrderService 2개 기동 Users의 요청 분산 처리 Orders 데이터도 분산 저장 -> 동기화 문제 두 가지 포트로 분리된 서비스의 H2DB에 같은 유저의 주문 5번이 나뉘어서 저장된다. 해결 방법 하나의 Database 사용 Databas
[Apache Kafka] 카프카란 무엇인가?
카프카, 데이터 플랫폼의 최강자 책을 공부하며 쓴 정리 글 입니다.카프카(Kafka)는 파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 설계된 고성능 분산 이벤트 스트리밍 플랫폼이다.Pub-Sub 모델의 메시지 큐 형태로 동작하며 분산환경