# kafka

266개의 포스트
post-thumbnail

Spring boot, mariaDB, JPA, Kafka 프로젝트 - 1

Grid trading 자동매매 풀스택 프로젝트

3일 전
·
0개의 댓글

아파치 카프카(Apache Kafka)

공부하면서 나온 내용들 두서없이 적음 3편까지 적응 후 정리 예정카프카는 여러가지 토픽을 정하는게 가능

카프카 프로듀서(소스 어플)가 토픽 내부에 하나의 파티션을 생성하게 되고
그 데이터는 순서대로 쌓이며 그 데이터를 카프카 컨슈머가 가져가게 된다(스택 큐) 
데이

3일 전
·
0개의 댓글
post-thumbnail

Apache Kafka and MQTT : Connected Vehicles & V2X

V2X에서 서비스 종류에 따라 Kafka & MQTT기술이 유효한지 유효하지 않은지 판별할 수 있는 기초지식이 담겨있다.

4일 전
·
0개의 댓글
post-thumbnail

Apach Kafka and MQTT : Overview

Kafka, MQTT가 무엇이며, 각각의 장단점을 알아보고 IoT Use Case에서 이들의 조합이 왜 강력한지 알아보았다.

4일 전
·
0개의 댓글

[Kafka] Kafka Topic Publish

커맨드라인을 이용해서 Kafka에 토픽을 발행하는 방법은 다음 아래와 같음 test 토픽에 데이터를 발행하는 커맨드 라인 실행

2022년 5월 12일
·
0개의 댓글

Kafka for Spring Boot

본 포스팅은 Spring boot 환경에서 Kafka를 연동시키는 방법 및 절차를 기술한다.대용량의 실시간 로그 처리에 특화되어 있는 솔루션이며 데이터를 유실없이 안전하게 전달하는 것이 주목적인 메세지 시스템에서 안정적인 아키텍처와 빠른 퍼포먼스로 데이터를 처리할 수

2022년 5월 11일
·
0개의 댓글

Apache Kafka

2022년 5월 10일
·
0개의 댓글
post-thumbnail

Burrow 설치 - Apple chip(M1) 대응

Kafka 의 Consumer Lag 을 모니터링 할 수 있는 Tool. Burrow를 스터디하기위해 설치하던 도중 확인한 내용을 정리.참고 : https://github.com/linkedin/Burrow참고brew 로 go 를 install 했다면 /opt

2022년 5월 9일
·
0개의 댓글

Kafka metric monitoring 2

"broker01" 서버로 접속한 후, apache kafka 실행apache kafka 실행 (zookeeper, broker) : jmx port 적용"kafka-client" 서버로 접속한 후, logstash(producer)와 logstash(consumer)

2022년 5월 6일
·
0개의 댓글
post-thumbnail

[kafka/python] 에러 해결! import KafkaConsumer "cannot import name 'IncompatibleBrokerVersion' from 'kafka.errors'"

파이썬에서 kafka 패키지의 KafkaConsumer 를 임포트 할 수 없다.pip install kafka 로 kafka 를 설치했더니 원인을 알 수 없는 syntax 에러가 발생했었다.때문에 pip install -U kafka-python 로 카프카 패키지를 재

2022년 5월 6일
·
0개의 댓글
post-thumbnail

Kafka metric monitoring 1

이번 포스팅은 kafka를 통해 producer와 consumer가 데이터를 주고 받는 과정에서 kafka에서 발생하는 메트릭에 대해 모니텅 하고자 한다. 필자는 총 3대의 서버를 사용했으며, 각각의 역할은 kafka-client, broker, monitoring이다

2022년 5월 6일
·
0개의 댓글
post-thumbnail

Kafka Intro : Line Engineering3

Kafka 운영과정에서 발생한 문제를 어떠한 방식으로 해결했는지 과정에 대한 설명을 정리해보았다.

2022년 5월 3일
·
0개의 댓글
post-thumbnail

Kafka 시작하기

카프카는 이벤트 스트리밍 플랫폼으로 발생하는 이벤트에 대해 실시간으로 처리하고 이를 보장한다.카프카는 producer와 consumer가 하나의 topic을 publish/subscribe함으로써 이벤트를 발생시키고/처리하는 방식으로 구성된다. 출처 : https&#x

2022년 5월 3일
·
0개의 댓글
post-thumbnail

Kafka Intro : LINE Engineering2

LINE Kafka Cluster 운영 과정에서 발생한 응답시간의 지연 현상에 대한 분석을 정리해보았다.

2022년 5월 2일
·
0개의 댓글
post-thumbnail

Kafka Intro : LINE Engineering 1

LINE에서 Kafka Cluster를 어떻게 사용하는지 알아보았다.

2022년 5월 1일
·
0개의 댓글

Apache Kafka(아파치 카프카)란?

Apache Kafka 에 대해 알아보려고 한다. 카프카는 링크드인에서 처음 출발한 기술로, 링크드인에서 발생하는 이슈를 해결하기 위해 만들어졌다.

2022년 4월 28일
·
0개의 댓글
post-thumbnail

Apache Kafka(아파치 카프카) 란?

카프카란? 카프카를 개발 후 링크드인의 데이터 처리 시스템 카프카를 적용함으로서 모든 이벤트/데이터의 흐름을 중앙에서 관리할 수 있게 되었고 서비스 아키텍처가 기존에 비해 관리하기 심플해졌다. Publish/Subscribe 시스템 카프카는 Publish-Subscribe모델을 구현한 분산 메시징 시스템이다. Publish-Subscribe모델은 데이터...

2022년 4월 26일
·
0개의 댓글
post-thumbnail

Kafka Streams

카프카 스트림즈는 카프카에서 공식적으로 제공하는 자바 라이브러리이다.토픽에 있는 데이터를 낮은 지연과 함께 빠른속도를 데이터를 처리할 수 있다. 라이브러리로 제공 되기 때문에 JVM 기반 언어를 선택하여 사용하면 된다.카프카와 완벽하게 호환된다.(외부 오픈소스 툴보다

2022년 4월 25일
·
0개의 댓글
post-thumbnail

kafka 개념

Apache Kafka의 용어 및 개념 정리.

2022년 4월 23일
·
0개의 댓글
post-thumbnail

Kafka 이벤트 순서 보장 시키기

Kafka key를 이용해서 순서 보장 시켜주기 > 저번에 알아본것 처럼 key를 설정해주면 같은 key는 같은 partition에 들어가기때문에 순서가 보장된다는것을 알았다. 한번 해보자 Spring code Controller Producer Consumer

2022년 4월 22일
·
0개의 댓글