# kafka
kafka를 활용한 STOMP 채팅 서비스 구축 (2)
docker-compose.yml 구성간단하게 동작 확인을 위해서 싱글 브로커로 구성하였다.잘 구동되는 것을 확인할 수 있다.https://9hyuk9.tistory.com/92
kafka를 활용한 STOMP 채팅 서비스 구축 (1)
실시간 채팅 기능을 구축하기 위해서 관련 키워드들을 검색해보던 중 Websoket, STOMP, kafka, RabbitMQ 등의 관련 지식을 알게 되었다. WebSocket은 HTTP 환경에서 클라이언트와 서버 사이에 하나의 TCP 연결을 통해 실시간으로 전이중 통
Kafka - 토픽, 파티션, 프로듀서, 컨슈머
토픽의 파티션 개수는 카프카의 성능과 관련이 있다. 토픽 최처 생성 시 파티션의 개수를 정하는 데에 고려해야 할 점은 3가지가 있다.데이터 처리량메시지 키 사용 여부브로커, 컨슈머 영향도파티션의 개수가 많아질수록 매핑되는 컨슈머의 개수가 늘어나기 때문에 효율이 좋지못하
카프카 기본 개념, 카프카 커넥트
회사에서 kafka를 사용하고 있는데 topic 1개로 데이터 주고 받는 단순 메시지 브로커 역할로만 사용하고 있어서 좀 더 자세하게 알아보고 사용하려고 기초 개념을 정리해봤다.인프런 강의 데브원영 아파치 카프카 for beginners 들었음. 참고로 유투브에도 그냥
Nest.js를 카프카 컨슈머로 만들기! 그런데 많이 이상하게.
NestJS의 커스텀 어댑터에 대해서 알아보고, 커스텀 어댑터를 활용해서 HTTP 어플리케이션을 카프카 컨슈머로 변신시켜봐요!
턴업 앱 푸시 개발기 Part2. 카프카를 이용한 알림 처리 및 전송
푸시 서비스를 설계 및 구현할 때에 카프카(kafka)를 사용했을 때 얻을 수 있는 장점과 기존 방법의 불편한 부분에 대한 이야기입니다.
[데이터 플랫폼 운영 / 개발] - Kafka Producer
안녕하세요.데이터 엔지니어링 & 운영 업무를 하는 중 알게 된 지식이나 의문점들을 시리즈 형식으로 계속해서 작성해나가며새로 알게 된 점이나 잘 못 알고 있었던 점을 더욱 기억에 남기기 위해 글을 꾸준히 작성 할려고 합니다.Kafka 의 경우 아파치 카프카 애플리케이션
Debezium을 사용하여 SQL Server에 CDC 구성하기
debezium을 활용하여 Apache Kafka에 DB의 변경 이력을 보내려고 한다. 이번 글에서는 SQL Server에서 구성하는 방법에 대해서 다뤄보았으며, 외의 DB에 대해서도 하나씩 다룰 예정이다.
외부에서 Private Space 내부의 Heroku Kafka에 연결하기 (mTLS)
Heroku Private Space 혹은 Heroku Shield Private Space에 애드온으로 설치된 Heroku Kafka는 별도의 설정 없이는 외부 네트워크에서 연결할 수 없는데, 외부에서 Kafka로의 연결이 필요하여 방법을 찾아보게 되었다.
Apache Kafka & Apache Kafka CDC
Apache Kafka 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 및 핵심 애플리케이션에 사용하는 오픈 소스 분산 이벤트 스트리밍 플랫폼. 대기열과 게시-구독이라는 두 가지 메시징 모델을 결합하여 각 모델의 주요 이점을 제공함. 대기열 -> 데이터 처리
kafka org.apache.kafka.common.errors.SerializationException: Size of data received by IntegerDeserializer is not 4 에러
kafka consumer에 IntegerDeserializer 로 설정을 했으나 producer에서 int가 아닌 데이터를 받게 됐을 때 나오는 에러 Producer에서