# producer

19개의 포스트
post-thumbnail

Kafka Producer, Consumer

Kafka의 토픽으로 메시지를 전송함.ProducerRecord: Kafka로 전송하기 위한 실제 데이터. topic, partition, key, value로 구성.producer가 kafka로 record를 전송할 때, 특정 topic으로 메시지를 전송함.recor

2023년 5월 17일
·
0개의 댓글
·
post-thumbnail

Chatper2. Kafka 빠르게 시작해보기

kafka, zookeper, kafka-topic, kafka-console-producer, kafka-consele-consumer, kafka-consumer-groups

2023년 5월 7일
·
0개의 댓글
·
post-thumbnail

Chapter1. Kafka 서론

Kafka, 데이터 레이크, 배치 데이터, 스트림 데이터, 람다 아키텍처, 카파 아키텍처, 스트리밍 데이터 레이크 아키텍처

2023년 5월 7일
·
0개의 댓글
·
post-thumbnail

Kafka Producer Config 정리

프로듀서를 사용하면서 한번 쯤 정리가 필요해보여서 적어본다.프로듀서의 경우는 레코드를 send를 할 때, 데이터를 바로 브로커로 보내는게아니라 비동기로 전송된다.그말은 버퍼에 데이터를 모아뒀다가 설정값에 따라 보내진다는 뜻이다.2가지 Accumulator / Sende

2022년 11월 5일
·
0개의 댓글
·
post-thumbnail

Kafka Producer 이슈 해결

실시간 프로젝트 도중 발생했던 프로듀서 관련 이슈 해결에 대해서 적어본다.타겟 카프카로 메세지를 보내는 도중 장애를 일으키는 상황을 테스트 중 타겟 카프카 브로커가 내려갔음에도 불구하고 에러상황을 캐치못하는 상황이 발생되었다.모듈 점검을 하다보니 Producer Opt

2022년 11월 5일
·
0개의 댓글
·

Kafka 명령어 모음 (Window & Linux)

Window 버전topic : test, consumer-group: Test\-- Kafka 수행 위치 (kafka 설치 경로)cd C:\\monitoring\\kafka\-- ZK SERVER START.\\bin\\windows\\zookeeper-server-s

2022년 7월 27일
·
0개의 댓글
·

[Kafka & S3] Producer & Upload

Spark -> S3 -> Kafka데이터를 전처리하고 나온 csv파일을 S3에 저장Spark(Python)이전 코드에서 추가된 내용임이전 코드S3각각의 디렉토리가 만들어지고 저장된 것을 확인할 수 있음Brokertopic 리스트는 sendvideo, sendunity

2022년 6월 30일
·
0개의 댓글
·
post-thumbnail

[Kafka] Producer

개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 EC2에 돌릴 크롤러가 Producer가 되어야함 EC2(Python) -> Kafka -> Fluentd로 전달 예정 크롤러 url : 크롤러 따라서 Producer를 Python코드로 짜볼 예정 제한사항 topic 이름은 news(대문자가 들어가면 안됨) 보낼 데이터(네이버 뉴스) 뉴스 제...

2022년 6월 27일
·
0개의 댓글
·
post-thumbnail

Introducing Hardrock ICE

I've recently come across an alcoholic beverage called "Hardrock ICE". Ditributed by a company called (주)대성메디케어 (DAESUNG MEDICARE CO., LTD.), I've ma

2022년 4월 22일
·
0개의 댓글
·

Producer 주요 옵션

Producer 주요 옵션 bootstap.servers Consumer 주요 옵션

2022년 4월 18일
·
0개의 댓글
·
post-thumbnail

Push 시스템과 Pull 시스템에서의 Producer 역할에 관한 고찰

Producer 는 데이터를 생산하는 주체이고, Consumer 는 데이터를 사용하는 주체입니다. 우리가 흔히 사용했던 함수의 관점에서 생각해보자면, 함수를 호출하는 호출자(Caller)가 Consumer 이고, 호출된 함수(Callee)가 Producer 라고 말할

2022년 4월 10일
·
0개의 댓글
·
post-thumbnail

Apache Kafka (2) - 프로듀서 및 컨슈머

두번째 포스트로 카프카에서 제공하는 콘솔 프로듀서와 컨슈머로 메시지를 발행 & 구독하는 과정을 정리한다.생각보다 매우 간단하다.카프카에 메시지를 발행하는 역할을 한다. 대부분 사람들이 Producer라고 명명하지만 Sender라고 사용하기도 한다.

2022년 4월 8일
·
0개의 댓글
·

[Kafka] Producer 주요 설정

Producer 필수 설정 bootstrap.servers key.serializer, value.serializer 그외 주요 설정 buffer.memory acks batch.size linger.ms compression.type reties

2021년 12월 17일
·
0개의 댓글
·

[Kafka] Producer에 대해서

Producer 의 역할 broker url bootstrap producer 에서 1개 이상의 broker 에 연결한다. producer 실행시 bootstrapping 하기 위한 1개 이상의 broker url 목록을 제공해야한다. 데이터 직렬화 kafka 에

2021년 12월 17일
·
0개의 댓글
·
post-thumbnail

아파치 카프카(Apache Kafka)의 프로듀서(Producer) 설정에 따른 성능 [8]

이번 포스팅을 통해서 프로듀서의 옵션 중 acks 옵션을 어떻게 설정하는지에 따라서 카프카로 메시지를 전송할 때 메시지 손실 여부와 메시지 전송 속도 및 처리량 등이 달라지는지 자세히 살펴보겠습니다.메시지를 전송할 때 프로듀서는 카프카 서버에서 응답을 기다리지 않고,

2021년 9월 7일
·
0개의 댓글
·

아파치 카프카(Apache Kafka)의 프로듀서(Producer) [7]

이번 포스팅을 통해서 카프카의 토픽으로 메시지를 보내는 역할을 하는 프로듀서(Producer)의 주요 기능을 알아보고 주요 옵션에는 무엇이 있는지를 살펴보겠습니다.프로듀서의 주요 기능은 각각의 메시지를 토픽 파티션에 매핑하고 파티션의 리더에 요청을 보내는 것입니다. 키

2021년 9월 7일
·
0개의 댓글
·
post-thumbnail

Apache Kafka(아파치 카프카)란 무엇인가?

기존 링크드인의 데이터 처리 시스템은 각 파이프라인이 파편화되고 시스템 복잡도가 높아 새로운 시스템을 확장하기 어려운 상황이였음기존 메시징 큐 시스템인 ActiveMQ를 사용했지만, 링크드인의 수많은 트래픽과 데이터를 처리하기에는 한계가 있었음이로 인해 새로운 시스템의

2021년 7월 18일
·
3개의 댓글
·