윈도우에 kafka 설치하기

테크·2023년 1월 29일
0

카프카(Kafka)

목록 보기
7/8

카프카 다운로드

https://kafka.apache.org/downloads 사이트에 들어가면 카프카를 버전별로 다운받을 수 있습니다.
저는 현재 최신버전인 3.3.2 버전을 다운받았습니다.

파일 확인

카프카 파일을 원하는 위치에 압축 해제하면 아래와 같은 파일들이 나옵니다. (저는 D드라이브의 kafka 폴더를 만들어서 압축해제했습니다)

여기서 bin과 config가 주요하게 살펴볼 부분입니다.

bin 폴더

bin 폴더에는 콘솔에서 사용가능한 명령어들이 모여있습니다.
bin의 가장 바깥쪽에는 linux에서 사용 가능한 명령어들이 있고, windows 폴더에는 윈도우에서 사용 가능한 명령어들이 있습니다.

config 폴더

config 폴더에는 카프카의 설정 파일들이 존재합니다.
카프카와 주키퍼를 실행하면 로그와 데이터들을 저장할 위치가 필요한데 기본적으로 tmp/logs 폴더에 저장하므로 데이터가 분산되어서 저는 하나의 폴더에 몰아넣게 수정했습니다.
카프카 서버의 로그는 server.properties에서 아래와 같이 수정하고

zookeeper의 데이터는 zookeeper.properties에서 아래와 같이 수정하였습니다.

실행

윈도우 cmd 창으로도 실행 가능하지만 화면이 조금 더 이쁜 git bash를 사용해서 실행하겠습니다.

주키퍼 실행

먼저 kafka 폴더로 이동한 후에 (cd d:/kafka/kafka_2.13-3.3.2) 아래 명령어를 입력해서 주키퍼를 실행합니다.

bin/windows/zookeeper-server-start.bat config/zookeeper.properties

카프카 실행

새로 git bash 창을 띄운 다음에 동일하게 kafka 폴더로 이동 후 (cd d:/kafka/kafka_2.13-3.3.2) 아래 명령어를 입력해서 카프카를 실행합니다.

bin/windows/kafka-server-start.bat config/server.properties

카프카 실행 확인

설정을 아무것도 수정하지 않았으면 카프카는 기본적으로 9092 포트에서 실행됩니다.
아래 명령어를 콘솔에서 실행하면 카프카가 실행되었나 확인할 수 있습니다.

netstat -na | findstr "9092"

토픽 생성 및 확인

## 폴더 이동
cd d:/kafka/kafka_2.13-3.3.2

## hello-kafka 토픽 생성
bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --topic hello-kafka

## 생성된 토픽 확인
bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092

프로듀싱

bin/windows/kafka-console-producer.bat --bootstrap-server localhost:9092 --topic hello-kafka

컨슈밍

bin/windows/kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic hello-kafka --from-beginning

실행 중 오류

kraft 모드가 새로 생겨서 zookeeper를 빼고 kraft 모드로 그냥 실행하려 했는데 아래와 같은 오류가 나왔었습니다.

다른 프로세스가 파일을 사용중이기 때문에 프로세스가 액세스 할 수 없습니다.
(the process cannot access the file because it is being used by another process)

관리자 모드로 cmd를 실행해보고 컴퓨터 껏다 켜보고 다 해봤지만 제대로 안 되어서 예전 방식대로 zookeeper와 kafka 따로 실행했습니다.

다른 버전을 다운받아서 실행해봐도 되고 최후의 방법으로 linux 가상머신으로 띄우셔도 됩니다.

profile
공부하는 개발자

0개의 댓글