# kafka

865개의 포스트
post-thumbnail

Apache Kafka 2 - 카프카 용어 정리

Apache Kafka 2 - 카프카 용어 정리

약 1시간 전
·
0개의 댓글
·
post-thumbnail

Apache Kafka 1 - 카프카의 탄생

Apache Kafka 1 - 카프카의 탄생

약 2시간 전
·
0개의 댓글
·
post-thumbnail

kafka를 활용한 STOMP 채팅 서비스 구축 (2)

docker-compose.yml 구성간단하게 동작 확인을 위해서 싱글 브로커로 구성하였다.잘 구동되는 것을 확인할 수 있다.https://9hyuk9.tistory.com/92

약 20시간 전
·
0개의 댓글
·
post-thumbnail

kafka를 활용한 STOMP 채팅 서비스 구축 (1)

실시간 채팅 기능을 구축하기 위해서 관련 키워드들을 검색해보던 중 Websoket, STOMP, kafka, RabbitMQ 등의 관련 지식을 알게 되었다. WebSocket은 HTTP 환경에서 클라이언트와 서버 사이에 하나의 TCP 연결을 통해 실시간으로 전이중 통

약 21시간 전
·
0개의 댓글
·
post-thumbnail

Kafka - 토픽, 파티션, 프로듀서, 컨슈머

토픽의 파티션 개수는 카프카의 성능과 관련이 있다. 토픽 최처 생성 시 파티션의 개수를 정하는 데에 고려해야 할 점은 3가지가 있다.데이터 처리량메시지 키 사용 여부브로커, 컨슈머 영향도파티션의 개수가 많아질수록 매핑되는 컨슈머의 개수가 늘어나기 때문에 효율이 좋지못하

어제
·
0개의 댓글
·
post-thumbnail

카프카 기본 개념, 카프카 커넥트

회사에서 kafka를 사용하고 있는데 topic 1개로 데이터 주고 받는 단순 메시지 브로커 역할로만 사용하고 있어서 좀 더 자세하게 알아보고 사용하려고 기초 개념을 정리해봤다.인프런 강의 데브원영 아파치 카프카 for beginners 들었음. 참고로 유투브에도 그냥

어제
·
0개의 댓글
·
post-thumbnail

카프카의 신뢰성 보장: 데이터 무손실을 위한 전략

카프카 신뢰성 보장에 대한 정리 글 (+ kafka summit 2016 발표 정리)

2일 전
·
0개의 댓글
·
post-thumbnail

Nest.js를 카프카 컨슈머로 만들기! 그런데 많이 이상하게.

NestJS의 커스텀 어댑터에 대해서 알아보고, 커스텀 어댑터를 활용해서 HTTP 어플리케이션을 카프카 컨슈머로 변신시켜봐요!

3일 전
·
2개의 댓글
·
post-thumbnail

턴업 앱 푸시 개발기 Part2. 카프카를 이용한 알림 처리 및 전송

푸시 서비스를 설계 및 구현할 때에 카프카(kafka)를 사용했을 때 얻을 수 있는 장점과 기존 방법의 불편한 부분에 대한 이야기입니다.

5일 전
·
0개의 댓글
·
post-thumbnail

[데이터 플랫폼 운영 / 개발] - Kafka Producer

안녕하세요.데이터 엔지니어링 & 운영 업무를 하는 중 알게 된 지식이나 의문점들을 시리즈 형식으로 계속해서 작성해나가며새로 알게 된 점이나 잘 못 알고 있었던 점을 더욱 기억에 남기기 위해 글을 꾸준히 작성 할려고 합니다.Kafka 의 경우 아파치 카프카 애플리케이션

5일 전
·
0개의 댓글
·
post-thumbnail

Debezium을 사용하여 SQL Server에 CDC 구성하기

debezium을 활용하여 Apache Kafka에 DB의 변경 이력을 보내려고 한다. 이번 글에서는 SQL Server에서 구성하는 방법에 대해서 다뤄보았으며, 외의 DB에 대해서도 하나씩 다룰 예정이다.

5일 전
·
0개의 댓글
·
post-thumbnail

[카프카 핵심 가이드] Chapter 07. 신뢰성 있는 데이터 전달

신뢰성 보장을 위해 브로커, 컨슈머, 프로듀서 설정에 대하여

6일 전
·
0개의 댓글
·
post-thumbnail

[카프카 핵심 가이드] Chapter 06. 카프카 내부 메커니즘

카프카 컨트롤러와 복제, 요청 처리, 물리적 저장소에 대하여

6일 전
·
0개의 댓글
·
post-thumbnail

[Kafka] 실습 예제 구성

레퍼런스 https://devocean.sk.com/blog/techBoardDetail.do?ID=164007

6일 전
·
0개의 댓글
·
post-thumbnail

Kafka - 미러메이커2

카프카 미러메이커2란?

2023년 12월 2일
·
0개의 댓글
·
post-thumbnail

Kafka - connect

Kafka connect란 무엇일까?

2023년 12월 2일
·
0개의 댓글
·
post-thumbnail

외부에서 Private Space 내부의 Heroku Kafka에 연결하기 (mTLS)

Heroku Private Space 혹은 Heroku Shield Private Space에 애드온으로 설치된 Heroku Kafka는 별도의 설정 없이는 외부 네트워크에서 연결할 수 없는데, 외부에서 Kafka로의 연결이 필요하여 방법을 찾아보게 되었다.

2023년 12월 1일
·
0개의 댓글
·
post-thumbnail

Apache Kafka & Apache Kafka CDC

Apache Kafka 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 및 핵심 애플리케이션에 사용하는 오픈 소스 분산 이벤트 스트리밍 플랫폼. 대기열과 게시-구독이라는 두 가지 메시징 모델을 결합하여 각 모델의 주요 이점을 제공함. 대기열 -> 데이터 처리

2023년 12월 1일
·
0개의 댓글
·

kafka org.apache.kafka.common.errors.SerializationException: Size of data received by IntegerDeserializer is not 4 에러

kafka consumer에 IntegerDeserializer 로 설정을 했으나 producer에서 int가 아닌 데이터를 받게 됐을 때 나오는 에러 Producer에서

2023년 11월 29일
·
0개의 댓글
·