# kafka
Kafka 개념과 기본 세팅
데이터 스트림을 레코드로 유지하는 방식으로 동작하는 브로커 기반 솔루션.서버 컴포넌트가 서로 직접 의존되어 있는 경우 상대방 시스템의 변경에 따라 의존하는 시스템도 변경해주어야한다.의존되는 시스템에 장애가 발생할 경우 의존하는 시스템도 영향을 받아서 장애가 발생할 수
카프카 1 - 아파치 카프카 시작하기
출처 : 데브원영 - 아파치 카프카 강좌 카프카 설치 EC2 인스턴스에 들어가서 카프카 설치 설정 조작 server.properties broker.id=0 (24열) : 브로커 고유값. 클러스터로 형성할 시 각각의 아이디가 달라야 한다. 34열 주석해제하기
적정 파티션 개수
토픽은 파티션으로 나누어지고, 파티션은 어플리케이션의 컨슈머와 연결되고, 컨슈머는 레코드를 읽어들여 데이터를 처리합니다.파티션의 개수는 데이터 처리량과 깊은 관련이 있습니다.위에서 적었듯이 파티션은 컨슈머와 연결되는데, 파티션의 개수가 많아지면 많아질수록 1:1로 매핑
윈도우에 kafka 설치하기
사이트에 들어가면 카프카를 버전별로 다운받을 수 있습니다.저는 현재 최신버전인 3.3.2 버전을 다운받았습니다. 카프카 다운로드카프카 파일을 원하는 위치에 압축 해제하면 아래와 같은 파일들이 나옵니다
[kafka] python으로 kafka 실행하기
이전 내용에 이어 이번에는 실제 파이썬 코드를 통해 카프카를 실행해보자. 이번에는 로컬에서 파이썬 코드로 테이블에 데이터를 insert한다. 1. 파이썬-카프카 라이브러리 설치 먼저, 파이썬에서 카프카를 사용하기 위해 라이브러리를 설치한다. 2. producer 생
카프카(Kafka)
Kafka는 고성능 데이터 파이프라인, 스트리밍 분석 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 오픈 소스 분산 이벤트 스트리밍 플랫폼이다.이벤트 스트리밍은 인체의 중추 신경계에 해당하는 디지털 처리 방식이다.는 비즈니스가 점점 더 소프트웨어화, 자동화되는 'a
kafka 포트포워딩으로 client 접속 안 될 때 해결법
로컬에 떠 있지 않은 kafka(AWS의 kafka나 회사의 kubernetes 위에 떠 있는 kafka 등)에 접속해야 할 일이 가끔 있다. 여느 ssh 서버 접속하듯이 단순히 그 경로를 포트포워딩하여 로컬 주소와 매핑하여 연결하려고 하면 안 되는 경우가 있다. 가령
kafka.common.InconsistentClusterIdException
해당 문제는 명시된 클러스터 아이디와 브로커에 등록된 클러스터 아이디가 일치하지 않아서 발생하는 문제입니다. meta 데이터의 문제로 인하여 kafka는 controller broker가 선언되지 않았고 controller broker의 부재로 인하여 Topic과 Pa
Apache Kafka 에서 사용자 인증과 인가 프로세스
아파치 카프카에서 기본 제공하는 두가지 보안기능은 사용자 액세스 제어와 데이터 암호화입니다.운영환경에서의 카프카 클러스터는 보통 두가지 기능을 모두 사용하지만, 개발용/테스트용/실험용 환경에서 필수적으로 구성할 필요는 없습니다. 또한 일부 운영환경 (ex. 방화벽 설정
KStream, KTable, GlobalKTable 비교
Kafka Streams DSL 에는 레코드의 흐름을 추상화한 개념들이 3가지 존재한다. Kstream데이터 조회 시 토픽에 존재하는 모든 레코드가 출력됨. 컨슈머로 토픽을 구독하여 데이터를 컨슈밍하는 것과 같은 효과.KTable메시지 키를 기준으로 묶어서 사용하므로,
Kafka event bus 도입 리서치-1
다량의 복잡한 event Pub/Sub 구조와 및 마이크로서비스로 인해 파편화 되고 복잡해진 아키텍처를 Kafka를 중간에 이벤트 버스로 두고 사용한다면 전체 아키텍처를 심플화 할 수 있을 것사용 및 운영 편의성을 위해 Confluent와 같은 SaaS 서비스를 고려다
[ERROR] Kafka Zookeeper 실행 오류 : Classpath is empty. Please build the project first e.g. by running './gradlew jar -PscalaVersion=2.13.8'
Kafka Zookeeper 실행 오류 : Classpath is empty. Please build the project first e.g. by running './gradlew jar -PscalaVersion=2.13.8'
