# producer

seok990301

Kafka의 토픽으로 메시지를 전송함.ProducerRecord: Kafka로 전송하기 위한 실제 데이터. topic, partition, key, value로 구성.producer가 kafka로 record를 전송할 때, 특정 topic으로 메시지를 전송함.recor

rolroralra

kafka, zookeper, kafka-topic, kafka-console-producer, kafka-consele-consumer, kafka-consumer-groups

rolroralra

Kafka, 데이터 레이크, 배치 데이터, 스트림 데이터, 람다 아키텍처, 카파 아키텍처, 스트리밍 데이터 레이크 아키텍처

dobby

프로듀서를 사용하면서 한번 쯤 정리가 필요해보여서 적어본다.프로듀서의 경우는 레코드를 send를 할 때, 데이터를 바로 브로커로 보내는게아니라 비동기로 전송된다.그말은 버퍼에 데이터를 모아뒀다가 설정값에 따라 보내진다는 뜻이다.2가지 Accumulator / Sende

dobby

실시간 프로젝트 도중 발생했던 프로듀서 관련 이슈 해결에 대해서 적어본다.타겟 카프카로 메세지를 보내는 도중 장애를 일으키는 상황을 테스트 중 타겟 카프카 브로커가 내려갔음에도 불구하고 에러상황을 캐치못하는 상황이 발생되었다.모듈 점검을 하다보니 Producer Opt

lsang89

Window 버전topic : test, consumer-group: Test\-- Kafka 수행 위치 (kafka 설치 경로)cd C:\\monitoring\\kafka\-- ZK SERVER START.\\bin\\windows\\zookeeper-server-s

spamdong

Spark -> S3 -> Kafka데이터를 전처리하고 나온 csv파일을 S3에 저장Spark(Python)이전 코드에서 추가된 내용임이전 코드S3각각의 디렉토리가 만들어지고 저장된 것을 확인할 수 있음Brokertopic 리스트는 sendvideo, sendunity

spamdong

개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 EC2에 돌릴 크롤러가 Producer가 되어야함 EC2(Python) -> Kafka -> Fluentd로 전달 예정 크롤러 url : 크롤러 따라서 Producer를 Python코드로 짜볼 예정 제한사항 topic 이름은 news(대문자가 들어가면 안됨) 보낼 데이터(네이버 뉴스) 뉴스 제...

coral2cola

Lock-based Concurrent Data Structure, Condition Variables

k_ms1998

I've recently come across an alcoholic beverage called "Hardrock ICE". Ditributed by a company called (주)대성메디케어 (DAESUNG MEDICARE CO., LTD.), I've ma

mint-melon

Producer 주요 옵션 bootstap.servers Consumer 주요 옵션

seop

Producer 는 데이터를 생산하는 주체이고, Consumer 는 데이터를 사용하는 주체입니다. 우리가 흔히 사용했던 함수의 관점에서 생각해보자면, 함수를 호출하는 호출자(Caller)가 Consumer 이고, 호출된 함수(Callee)가 Producer 라고 말할

deogicorgi

두번째 포스트로 카프카에서 제공하는 콘솔 프로듀서와 컨슈머로 메시지를 발행 & 구독하는 과정을 정리한다.생각보다 매우 간단하다.카프카에 메시지를 발행하는 역할을 한다. 대부분 사람들이 Producer라고 명명하지만 Sender라고 사용하기도 한다.

anjinwoong

Producer 필수 설정 bootstrap.servers key.serializer, value.serializer 그외 주요 설정 buffer.memory acks batch.size linger.ms compression.type reties

anjinwoong

Producer 의 역할 broker url bootstrap producer 에서 1개 이상의 broker 에 연결한다. producer 실행시 bootstrapping 하기 위한 1개 이상의 broker url 목록을 제공해야한다. 데이터 직렬화 kafka 에

busybean3

이번 포스팅을 통해서 프로듀서의 옵션 중 acks 옵션을 어떻게 설정하는지에 따라서 카프카로 메시지를 전송할 때 메시지 손실 여부와 메시지 전송 속도 및 처리량 등이 달라지는지 자세히 살펴보겠습니다.메시지를 전송할 때 프로듀서는 카프카 서버에서 응답을 기다리지 않고,

busybean3

이번 포스팅을 통해서 카프카의 토픽으로 메시지를 보내는 역할을 하는 프로듀서(Producer)의 주요 기능을 알아보고 주요 옵션에는 무엇이 있는지를 살펴보겠습니다.프로듀서의 주요 기능은 각각의 메시지를 토픽 파티션에 매핑하고 파티션의 리더에 요청을 보내는 것입니다. 키

oneofakindscene

Kafka 기본 개념

jaehyeong

기존 링크드인의 데이터 처리 시스템은 각 파이프라인이 파편화되고 시스템 복잡도가 높아 새로운 시스템을 확장하기 어려운 상황이였음기존 메시징 큐 시스템인 ActiveMQ를 사용했지만, 링크드인의 수많은 트래픽과 데이터를 처리하기에는 한계가 있었음이로 인해 새로운 시스템의