# consumer

judekim

몸상태 안좋은지 10일째 - 약간의 컨디션 난조정도로 많이 괜찮아 졌다. 마지막 날일듯 사무실 출근DailyScrumCodeReview SQS Consumer 처리 로직 개발ThingDetailService 오류 수정CodeReview - CodeReview 오랜만에

mint-melon

Consumer 주요 옵션

deogicorgi

두번째 포스트로 카프카에서 제공하는 콘솔 프로듀서와 컨슈머로 메시지를 발행 & 구독하는 과정을 정리한다.생각보다 매우 간단하다.카프카에 메시지를 발행하는 역할을 한다. 대부분 사람들이 Producer라고 명명하지만 Sender라고 사용하기도 한다.

mmy789

Consumer, Supplier, Function, Operator, Predicate

lsang89

나는 Spring kafka를 사용하며, KafkaMessageListenerContainer를 직접 설정해주고 선언해서 사용하고 있다. (다른 사용법으로도 Spring Context 객체를 이용해 KafkaMessageListenerContainer를 접근할 수 있다

lsang89

spring.kafka.consumer 하위 설정1) fetch-min-bytes : Record를 fetch 해올 최소 용량. Record를 너무 잘게 가져오지 않도록 설정2) fetch-max-wait-ms : Record를 fetch 하는 걸 기다리는 최대 시간.

lsang89

Kafka Consumer Group Coodinator는 Kafka Consumer 연결을 관리하면서, Consumer로부터, session-timeout-ms 이내에 heartbeat를 한번도 받지 못하면, Consumer가 죽었다고 생각해 Rebalancing

anjinwoong

kafka broker IP 목록각각 message key, message를 역직렬화하는 클래스 지정producer 에서 지정한 serializer 와 대응하도록 지정대응하지 않을 경우 exception 발생consumer 그룹을 정의true 설정시 설정 주기에 따라

anjinwoong

topic을 구독하면, 컨슈머 그룹에 할당된 파티션에서 데이터를 읽는다.레코드를 가져오기 위해 카프카 서버를 조사하는 과정을 폴 루프(poll loop)라 함kafka는 메시지 offset 을 보유하지 않는다.각 consumer 는 자신의 consumer offset

haeyon098

기본 설정 외에 필요해서 추가한 설정 new ObjectMapper().configure(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES, false);consumer 이하 에서 발생한 error handler 잡는 부분.나는

busybean3

이번 포스팅을 통해서 컨슈머의 커밋과 오프셋에 대해서 알아보도록 하겠습니다.카프카가 다른 메시지 큐 솔류션과 차별화되는 특징은 하나의 토픽에 대해 여러 용도로 사용할 수 있다는 점입니다. 일반적인 큐 솔로션은 특정 컨슈머가 메시지를 가져가면 큐에서 메시지가 삭제되어 다

busybean3

이번 포스팅을 통해서 컨슈머(Consumer)의 파티션과 메시지 순서에 대해 알아보겠습니다.일단 파티션과 메시지 순서 메커니즘을 알아보기 위해 생성한 토픽에 파티션 수가 3이고 리플리케이션 팩터 옵션은 1로 설정 후 메시지를 전송해보겠습니다.출력을 해본 결과 a부터 순

busybean3

이번 포스팅을 통해서 아파치 카프카의 컨슈머(Consumer)에 대해 알아보겠습니다. 여기서 컨슈머는 토픽의 메시지를 가져와서 소비(consume)하는 역할을 하는 애플리케이션, 서버 등을 지칭하여 컨슈머라 일컫습니다. 이 컨슈머의 주요 기능은 특정 파티션을 관리하고

oneofakindscene

Kafka 기본 개념

jaehyeong

기존 링크드인의 데이터 처리 시스템은 각 파이프라인이 파편화되고 시스템 복잡도가 높아 새로운 시스템을 확장하기 어려운 상황이였음기존 메시징 큐 시스템인 ActiveMQ를 사용했지만, 링크드인의 수많은 트래픽과 데이터를 처리하기에는 한계가 있었음이로 인해 새로운 시스템의

hyeondev

컨슈머 poll 이 어떤 방식으로 진행되는지 테스트 후 동작방식을 정리해보겠다. 

diane_at_work

이렇게 해놔도 latest가 아닌 earlist부터 가져옴. group명을 지정하면 startOffset이 earlist로 세팅됨.그래서 그간 쌓인 몇십만개를 다 읽어오려고함.. @.@https://cloud.spring.io/spring-cloud-strea