# consumer

31개의 포스트

[API] Stream

Java 8부터는 컬렉션 및 배열의 요소를 반복 처리하기 위해 스트림을 사용할 수 있게 되었다. 스트림은 요소들이 하나씩 흘러가면서 처리된다는 의미를 가지고 있다.Stream은 Iterator와 비슷한 반복자이지만 차이점이 있다.1\. 내부 반복자이므로 처리 속도가 빠

2023년 3월 25일
·
0개의 댓글
·

[Kafka] Consumer Group Rebalancing

컨슈머그룹에 컨슈머가 추가되거나 삭제되었을 때 카프카 브로커가 어떻게 동작하는지 알아보자.다음과 같은 상황을 가정한다컨슈머 그룹 이름 : schedule-log-group-test토픽 이름 : JobLogDev파티션 개수 : 3개컨슈머 개수 : 3개카프카 컨슈머의 특성

2023년 2월 4일
·
0개의 댓글
·
post-thumbnail

카프카 소비자 서비스 느린 로딩 문제 해결하기

언제나처럼 코드를 작성한 후 JUnit으로 테스트를 실시하고 있었다. 그런데 run을 했는데도, 스프링 부트가 매우 오래 로딩되고 있었다!로그는 다음과 같았다.그리고는 다음 로그가 진행되지 않았다.좀 시간 지나고 나서야 테스트가 진행됬다. 너무 오래 걸리는 시간이었다.

2023년 1월 1일
·
0개의 댓글
·

forEach: ArrayList

문법 public void forEach(Consumer<? super E> action)\-> 함수형 인터페이스(FunctionalInterface): 추상메소드를 한개만 가지고 있는 인터페이스\-> 익명의 내부클래스, 람다식을 사용해볼 수 있겠다.\-> 추상메

2022년 11월 15일
·
0개의 댓글
·

Kafka Consumer Config

한번에 가져올 수 있는 최소 데이터 사이즈지정한 크기보다 작다면 데이터가 누적될 때까지 기다림한번에 가져올 수 있는 최대 데이터 사이즈요청에 대해 응답을 기다리는 최대 시간컨슈머가 살아있는 것으로 판단하는 시간10초 안에 컨슈머가 그룹 코디네이터에게 하트비트를 보내야함

2022년 10월 23일
·
0개의 댓글
·
post-thumbnail

창 3기 - 현실적인 창업의 시작

아이디어, 사람, 의지 중 '아이디어', '사람'이 우선!프리토 타이핑, 사업검증을 바로바로 해야 한다잘 되면 어떻게 되는 건가? 하는 고민을 해야한다.사업적으로 보완이 되는 친구우리 사업의 가장 중요한 부분에 대한 능력/자산을 갖고 있음=> 단, 가장 중요한 부분

2022년 9월 24일
·
0개의 댓글
·

Kafka 명령어 모음 (Window & Linux)

Window 버전topic : test, consumer-group: Test\-- Kafka 수행 위치 (kafka 설치 경로)cd C:\\monitoring\\kafka\-- ZK SERVER START.\\bin\\windows\\zookeeper-server-s

2022년 7월 27일
·
0개의 댓글
·
post-thumbnail

[Kafka] .Net으로 Consumer 개발

개요 Spark -> Kafka -> Unity Spark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함 Install NuGet 설치가 필요함 코드 Unity(.Net) Consumer 역할 결과

2022년 6월 30일
·
0개의 댓글
·
post-thumbnail

[Kafka] Consumer(Kafka-Spark)

S3 -> Kafka -> SparkKafka에 메세지 큐(MQ) Subcribe하여 broker로부터 데이터를 가져옴Kafka-python API를 사용하여 Python Consumer 개발 예정Consumer(Python)ConsumerWalker

2022년 6월 30일
·
0개의 댓글
·
post-thumbnail

[Fluentd] Consumer2

개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 Consumer를 Fluentd를 사용할 예정 Kafka -> Fluentd -> Elastic Search로 전달 예정 따라서 Consumer를 표준출력을 ES로 보내기 위해 conf파일 수정 예정 제한사항 topic 이름은 news(대문자가 들어가면 안됨) 보낼 데이터(네이버 뉴스) 뉴스 ...

2022년 6월 27일
·
0개의 댓글
·
post-thumbnail

[Fluentd] Consumer

개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 Consumer를 Fluentd를 사용할 예정 EC2(Python) -> Kafka -> Fluentd -> Elastic Search로 전달 예정 Fluentd로 보낸 데이터는 다시 ES(Elastic Search)로 전달할 예정 크롤러 url : 크롤러 따라서 Consumer를 Fluentd로 ...

2022년 6월 27일
·
0개의 댓글
·

맥에서 카프카 컨슈머 사용하기

맥 터미널에서 원하는 토픽이 정상적으로 데이터가 들어 오는지 등을 확인 할 필요가 있을 때 kafka-console-consumer를 사용해 주면 된다.homebrew를 이용 brew install kafka\- kafka-console-consumer --bootst

2022년 5월 27일
·
0개의 댓글
·

개발일기 - 2022-05-19

몸상태 안좋은지 10일째 - 약간의 컨디션 난조정도로 많이 괜찮아 졌다. 마지막 날일듯 사무실 출근DailyScrumCodeReview SQS Consumer 처리 로직 개발ThingDetailService 오류 수정CodeReview - CodeReview 오랜만에

2022년 5월 19일
·
0개의 댓글
·

Consumer 주요 옵션

Consumer 주요 옵션

2022년 4월 19일
·
0개의 댓글
·
post-thumbnail

Apache Kafka (2) - 프로듀서 및 컨슈머

두번째 포스트로 카프카에서 제공하는 콘솔 프로듀서와 컨슈머로 메시지를 발행 & 구독하는 과정을 정리한다.생각보다 매우 간단하다.카프카에 메시지를 발행하는 역할을 한다. 대부분 사람들이 Producer라고 명명하지만 Sender라고 사용하기도 한다.

2022년 4월 8일
·
0개의 댓글
·
post-thumbnail

[Java] 람다식 ③

Consumer, Supplier, Function, Operator, Predicate

2022년 2월 19일
·
0개의 댓글
·

Kafka Partition 정보와 java volatile

나는 Spring kafka를 사용하며, KafkaMessageListenerContainer를 직접 설정해주고 선언해서 사용하고 있다. (다른 사용법으로도 Spring Context 객체를 이용해 KafkaMessageListenerContainer를 접근할 수 있다

2022년 2월 10일
·
0개의 댓글
·

Kafka Consumer Fetch Interval 관련 설정

spring.kafka.consumer 하위 설정1) fetch-min-bytes : Record를 fetch 해올 최소 용량. Record를 너무 잘게 가져오지 않도록 설정2) fetch-max-wait-ms : Record를 fetch 하는 걸 기다리는 최대 시간.

2022년 1월 12일
·
0개의 댓글
·