실전 아파치 카프카

아파치 카프카가 탄생한 배경에 대해서 알아보았다.카프카는 여러 대의 분산 서버에서 대량의 데이터를 처리하는 분산 메시징 시스템이다. 메시지를 받고, 받은 메시지를 다른 시스템이나 장치에 보내기 위해 사용된다.카프카는 대량의 데이터를 높은 처리량과 실시간으로 취급하기 위

카프카의 송수신 구조와 카프카의 기본 용어를 배운다. 주요 내용은 다음과 같다.메시지 송수신 기본시스템 구성분산 메시징을 위한 구조데이터 견고함을 담보하는 복제의 구조카프카의 주요 구성 요소는 다음 5가지다.브로커 \- 데이터를 수신, 전달하는 서비스메시지 \- 카

이 장에서는 카프카 클러스터 환경을 구축하고 프로듀서에서 컨슈머로 메시지를 보내는 실습을 했다.카프카 클러스터 구성은 서버 3대로 카프카 클러스터, 프로듀서와 컨슈머 그리고 카프카 클라이언트로 구성했다. 카프카 컨플루언트를 사용했고 자바는 openjdk1.8로 구성했다

4장도 3장과 마찬가지로 실습하는 장이었다. 메이븐을 설치하고 메이븐 프로젝트를 생성했다. 그리고 카프카의 자바 API를 이용하기 위해서 필요한 라이브러리가 있으므로 pom.xml에 의존관계를 추가하여 메이븐 빌드 정보를 작성하였다.프로듀서 애플리케이션의 핵심 부분에

카프카의 특징을 복습하면서 카프카 적용 사례를 통해 카프카가 적합하게 사용된 이유를 알아보았다.데이터허브여러 시스템 사이에서 데이터를 상호 교환한다.로그 수집BI 도구를 이용한 리포팅과 인공지능 분석을 위해 여러 서버에서 생긴 로그를 수집하고 축적할 곳에 연결한다.웹

카프카는 분산 메시징 시스템으로 다른 시스템이나 도구에서 보낸 메시지를 받아 다른 시스템이나 도구의 요청에 근거해 메시지를 전달하는 기능을 제공하고 있다. 이 데이터가 전달되는 경로나 처리를 위한 기반 전체를 데이터 파이프라인이라고 한다.카프카는 하나 이상의 브로커로