# kafka
아파치 카프카(Apache Kafka)
공부하면서 나온 내용들 두서없이 적음 3편까지 적응 후 정리 예정카프카는 여러가지 토픽을 정하는게 가능 카프카 프로듀서(소스 어플)가 토픽 내부에 하나의 파티션을 생성하게 되고 그 데이터는 순서대로 쌓이며 그 데이터를 카프카 컨슈머가 가져가게 된다(스택 큐) 데이
Apache Kafka and MQTT : Connected Vehicles & V2X
V2X에서 서비스 종류에 따라 Kafka & MQTT기술이 유효한지 유효하지 않은지 판별할 수 있는 기초지식이 담겨있다.
Apach Kafka and MQTT : Overview
Kafka, MQTT가 무엇이며, 각각의 장단점을 알아보고 IoT Use Case에서 이들의 조합이 왜 강력한지 알아보았다.
[Kafka] Kafka Topic Publish
커맨드라인을 이용해서 Kafka에 토픽을 발행하는 방법은 다음 아래와 같음 test 토픽에 데이터를 발행하는 커맨드 라인 실행
Kafka for Spring Boot
본 포스팅은 Spring boot 환경에서 Kafka를 연동시키는 방법 및 절차를 기술한다.대용량의 실시간 로그 처리에 특화되어 있는 솔루션이며 데이터를 유실없이 안전하게 전달하는 것이 주목적인 메세지 시스템에서 안정적인 아키텍처와 빠른 퍼포먼스로 데이터를 처리할 수
Burrow 설치 - Apple chip(M1) 대응
Kafka 의 Consumer Lag 을 모니터링 할 수 있는 Tool. Burrow를 스터디하기위해 설치하던 도중 확인한 내용을 정리.참고 : https://github.com/linkedin/Burrow참고brew 로 go 를 install 했다면 /opt
Kafka metric monitoring 2
"broker01" 서버로 접속한 후, apache kafka 실행apache kafka 실행 (zookeeper, broker) : jmx port 적용"kafka-client" 서버로 접속한 후, logstash(producer)와 logstash(consumer)
[kafka/python] 에러 해결! import KafkaConsumer "cannot import name 'IncompatibleBrokerVersion' from 'kafka.errors'"
파이썬에서 kafka 패키지의 KafkaConsumer 를 임포트 할 수 없다.pip install kafka 로 kafka 를 설치했더니 원인을 알 수 없는 syntax 에러가 발생했었다.때문에 pip install -U kafka-python 로 카프카 패키지를 재
Kafka metric monitoring 1
이번 포스팅은 kafka를 통해 producer와 consumer가 데이터를 주고 받는 과정에서 kafka에서 발생하는 메트릭에 대해 모니텅 하고자 한다. 필자는 총 3대의 서버를 사용했으며, 각각의 역할은 kafka-client, broker, monitoring이다
Kafka Intro : Line Engineering3
Kafka 운영과정에서 발생한 문제를 어떠한 방식으로 해결했는지 과정에 대한 설명을 정리해보았다.
Kafka 시작하기
카프카는 이벤트 스트리밍 플랫폼으로 발생하는 이벤트에 대해 실시간으로 처리하고 이를 보장한다.카프카는 producer와 consumer가 하나의 topic을 publish/subscribe함으로써 이벤트를 발생시키고/처리하는 방식으로 구성된다. 출처 : https&#x
Kafka Intro : LINE Engineering2
LINE Kafka Cluster 운영 과정에서 발생한 응답시간의 지연 현상에 대한 분석을 정리해보았다.
Apache Kafka(아파치 카프카)란?
Apache Kafka 에 대해 알아보려고 한다. 카프카는 링크드인에서 처음 출발한 기술로, 링크드인에서 발생하는 이슈를 해결하기 위해 만들어졌다.
Apache Kafka(아파치 카프카) 란?
카프카란? 카프카를 개발 후 링크드인의 데이터 처리 시스템 카프카를 적용함으로서 모든 이벤트/데이터의 흐름을 중앙에서 관리할 수 있게 되었고 서비스 아키텍처가 기존에 비해 관리하기 심플해졌다. Publish/Subscribe 시스템 카프카는 Publish-Subscribe모델을 구현한 분산 메시징 시스템이다. Publish-Subscribe모델은 데이터...
Kafka Streams
카프카 스트림즈는 카프카에서 공식적으로 제공하는 자바 라이브러리이다.토픽에 있는 데이터를 낮은 지연과 함께 빠른속도를 데이터를 처리할 수 있다. 라이브러리로 제공 되기 때문에 JVM 기반 언어를 선택하여 사용하면 된다.카프카와 완벽하게 호환된다.(외부 오픈소스 툴보다
Kafka 이벤트 순서 보장 시키기
Kafka key를 이용해서 순서 보장 시켜주기 > 저번에 알아본것 처럼 key를 설정해주면 같은 key는 같은 partition에 들어가기때문에 순서가 보장된다는것을 알았다. 한번 해보자 Spring code Controller Producer Consumer