# consumer

17개의 포스트

개발일기 - 2022-05-19

몸상태 안좋은지 10일째 - 약간의 컨디션 난조정도로 많이 괜찮아 졌다. 마지막 날일듯 사무실 출근DailyScrumCodeReview SQS Consumer 처리 로직 개발ThingDetailService 오류 수정CodeReview - CodeReview 오랜만에

4일 전
·
0개의 댓글

Consumer 주요 옵션

Consumer 주요 옵션

2022년 4월 19일
·
0개의 댓글
post-thumbnail

Apache Kafka (2) - 프로듀서 및 컨슈머

두번째 포스트로 카프카에서 제공하는 콘솔 프로듀서와 컨슈머로 메시지를 발행 & 구독하는 과정을 정리한다.생각보다 매우 간단하다.카프카에 메시지를 발행하는 역할을 한다. 대부분 사람들이 Producer라고 명명하지만 Sender라고 사용하기도 한다.

2022년 4월 8일
·
0개의 댓글
post-thumbnail

[Java] 람다식 ③

Consumer, Supplier, Function, Operator, Predicate

2022년 2월 19일
·
0개의 댓글

Kafka Partition 정보와 java volatile

나는 Spring kafka를 사용하며, KafkaMessageListenerContainer를 직접 설정해주고 선언해서 사용하고 있다. (다른 사용법으로도 Spring Context 객체를 이용해 KafkaMessageListenerContainer를 접근할 수 있다

2022년 2월 10일
·
0개의 댓글

Kafka Consumer Fetch Interval 관련 설정

spring.kafka.consumer 하위 설정1) fetch-min-bytes : Record를 fetch 해올 최소 용량. Record를 너무 잘게 가져오지 않도록 설정2) fetch-max-wait-ms : Record를 fetch 하는 걸 기다리는 최대 시간.

2022년 1월 12일
·
0개의 댓글
post-thumbnail

Kafka Consumer Rebalancing 관리

Kafka Consumer Group Coodinator는 Kafka Consumer 연결을 관리하면서, Consumer로부터, session-timeout-ms 이내에 heartbeat를 한번도 받지 못하면, Consumer가 죽었다고 생각해 Rebalancing

2022년 1월 7일
·
0개의 댓글

[Kafka] Consumer 주요 설정

kafka broker IP 목록각각 message key, message를 역직렬화하는 클래스 지정producer 에서 지정한 serializer 와 대응하도록 지정대응하지 않을 경우 exception 발생consumer 그룹을 정의true 설정시 설정 주기에 따라

2021년 12월 28일
·
0개의 댓글

[Kafka] Consumer 의 역할

topic을 구독하면, 컨슈머 그룹에 할당된 파티션에서 데이터를 읽는다.레코드를 가져오기 위해 카프카 서버를 조사하는 과정을 폴 루프(poll loop)라 함kafka는 메시지 offset 을 보유하지 않는다.각 consumer 는 자신의 consumer offset

2021년 12월 28일
·
0개의 댓글

Kafka 컨슈머 config

기본 설정 외에 필요해서 추가한 설정 new ObjectMapper().configure(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES, false);consumer 이하 에서 발생한 error handler 잡는 부분.나는

2021년 11월 19일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 컨슈머(Consumer) 커밋(commit)과 offset [12]

이번 포스팅을 통해서 컨슈머의 커밋과 오프셋에 대해서 알아보도록 하겠습니다.카프카가 다른 메시지 큐 솔류션과 차별화되는 특징은 하나의 토픽에 대해 여러 용도로 사용할 수 있다는 점입니다. 일반적인 큐 솔로션은 특정 컨슈머가 메시지를 가져가면 큐에서 메시지가 삭제되어 다

2021년 9월 7일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 컨슈머(Consumer) 파티션(partition)과 메시지 순서[10]

이번 포스팅을 통해서 컨슈머(Consumer)의 파티션과 메시지 순서에 대해 알아보겠습니다.일단 파티션과 메시지 순서 메커니즘을 알아보기 위해 생성한 토픽에 파티션 수가 3이고 리플리케이션 팩터 옵션은 1로 설정 후 메시지를 전송해보겠습니다.출력을 해본 결과 a부터 순

2021년 9월 7일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 컨슈머(Consumer) [9]

이번 포스팅을 통해서 아파치 카프카의 컨슈머(Consumer)에 대해 알아보겠습니다. 여기서 컨슈머는 토픽의 메시지를 가져와서 소비(consume)하는 역할을 하는 애플리케이션, 서버 등을 지칭하여 컨슈머라 일컫습니다. 이 컨슈머의 주요 기능은 특정 파티션을 관리하고

2021년 9월 7일
·
0개의 댓글
post-thumbnail

Apache Kafka(아파치 카프카)란 무엇인가?

기존 링크드인의 데이터 처리 시스템은 각 파이프라인이 파편화되고 시스템 복잡도가 높아 새로운 시스템을 확장하기 어려운 상황이였음기존 메시징 큐 시스템인 ActiveMQ를 사용했지만, 링크드인의 수많은 트래픽과 데이터를 처리하기에는 한계가 있었음이로 인해 새로운 시스템의

2021년 7월 18일
·
0개의 댓글

카프카 컨슈머에서 poll() 을 요청하면 어떤 일이 일어날까

컨슈머 poll 이 어떤 방식으로 진행되는지 테스트 후 동작방식을 정리해보겠다. 

2020년 9월 30일
·
0개의 댓글

consumer startOffset 안먹는 현상

이렇게 해놔도 latest가 아닌 earlist부터 가져옴. group명을 지정하면 startOffset이 earlist로 세팅됨.그래서 그간 쌓인 몇십만개를 다 읽어오려고함.. @.@https://cloud.spring.io/spring-cloud-strea

2020년 9월 3일
·
0개의 댓글