# consumer

jason_lee

Java 8부터는 컬렉션 및 배열의 요소를 반복 처리하기 위해 스트림을 사용할 수 있게 되었다. 스트림은 요소들이 하나씩 흘러가면서 처리된다는 의미를 가지고 있다.Stream은 Iterator와 비슷한 반복자이지만 차이점이 있다.1\. 내부 반복자이므로 처리 속도가 빠

mingeon

KIP-881 번역 및 정리

valentin123

컨슈머그룹에 컨슈머가 추가되거나 삭제되었을 때 카프카 브로커가 어떻게 동작하는지 알아보자.다음과 같은 상황을 가정한다컨슈머 그룹 이름 : schedule-log-group-test토픽 이름 : JobLogDev파티션 개수 : 3개컨슈머 개수 : 3개카프카 컨슈머의 특성

dasd412

언제나처럼 코드를 작성한 후 JUnit으로 테스트를 실시하고 있었다. 그런데 run을 했는데도, 스프링 부트가 매우 오래 로딩되고 있었다!로그는 다음과 같았다.그리고는 다음 로그가 진행되지 않았다.좀 시간 지나고 나서야 테스트가 진행됬다. 너무 오래 걸리는 시간이었다.

noljis95

문법 public void forEach(Consumer<? super E> action)\-> 함수형 인터페이스(FunctionalInterface): 추상메소드를 한개만 가지고 있는 인터페이스\-> 익명의 내부클래스, 람다식을 사용해볼 수 있겠다.\-> 추상메

dobby

한번에 가져올 수 있는 최소 데이터 사이즈지정한 크기보다 작다면 데이터가 누적될 때까지 기다림한번에 가져올 수 있는 최대 데이터 사이즈요청에 대해 응답을 기다리는 최대 시간컨슈머가 살아있는 것으로 판단하는 시간10초 안에 컨슈머가 그룹 코디네이터에게 하트비트를 보내야함

sbkyo88

아이디어, 사람, 의지 중 '아이디어', '사람'이 우선!프리토 타이핑, 사업검증을 바로바로 해야 한다잘 되면 어떻게 되는 건가? 하는 고민을 해야한다.사업적으로 보완이 되는 친구우리 사업의 가장 중요한 부분에 대한 능력/자산을 갖고 있음=> 단, 가장 중요한 부분

lsang89

Window 버전topic : test, consumer-group: Test\-- Kafka 수행 위치 (kafka 설치 경로)cd C:\\monitoring\\kafka\-- ZK SERVER START.\\bin\\windows\\zookeeper-server-s

spamdong

개요 Spark -> Kafka -> Unity Spark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함 Install NuGet 설치가 필요함 코드 Unity(.Net) Consumer 역할 결과

spamdong

S3 -> Kafka -> SparkKafka에 메세지 큐(MQ) Subcribe하여 broker로부터 데이터를 가져옴Kafka-python API를 사용하여 Python Consumer 개발 예정Consumer(Python)ConsumerWalker

spamdong

개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 Consumer를 Fluentd를 사용할 예정 Kafka -> Fluentd -> Elastic Search로 전달 예정 따라서 Consumer를 표준출력을 ES로 보내기 위해 conf파일 수정 예정 제한사항 topic 이름은 news(대문자가 들어가면 안됨) 보낼 데이터(네이버 뉴스) 뉴스 ...

spamdong

개요 실시간 크롤링한 뉴스 데이터를 전달할 플랫폼이 필요함 Consumer를 Fluentd를 사용할 예정 EC2(Python) -> Kafka -> Fluentd -> Elastic Search로 전달 예정 Fluentd로 보낸 데이터는 다시 ES(Elastic Search)로 전달할 예정 크롤러 url : 크롤러 따라서 Consumer를 Fluentd로 ...

coral2cola

Lock-based Concurrent Data Structure, Condition Variables

chihunlee

맥 터미널에서 원하는 토픽이 정상적으로 데이터가 들어 오는지 등을 확인 할 필요가 있을 때 kafka-console-consumer를 사용해 주면 된다.homebrew를 이용 brew install kafka\- kafka-console-consumer --bootst

judekim

몸상태 안좋은지 10일째 - 약간의 컨디션 난조정도로 많이 괜찮아 졌다. 마지막 날일듯 사무실 출근DailyScrumCodeReview SQS Consumer 처리 로직 개발ThingDetailService 오류 수정CodeReview - CodeReview 오랜만에

mint-melon

Consumer 주요 옵션

deogicorgi

두번째 포스트로 카프카에서 제공하는 콘솔 프로듀서와 컨슈머로 메시지를 발행 & 구독하는 과정을 정리한다.생각보다 매우 간단하다.카프카에 메시지를 발행하는 역할을 한다. 대부분 사람들이 Producer라고 명명하지만 Sender라고 사용하기도 한다.

mmy789

Consumer, Supplier, Function, Operator, Predicate

lsang89

나는 Spring kafka를 사용하며, KafkaMessageListenerContainer를 직접 설정해주고 선언해서 사용하고 있다. (다른 사용법으로도 Spring Context 객체를 이용해 KafkaMessageListenerContainer를 접근할 수 있다

lsang89

spring.kafka.consumer 하위 설정1) fetch-min-bytes : Record를 fetch 해올 최소 용량. Record를 너무 잘게 가져오지 않도록 설정2) fetch-max-wait-ms : Record를 fetch 하는 걸 기다리는 최대 시간.