kafka 클러스터 설치

zookeeper가 미리 설치되어 있다고 가정한다.

필요 서버 대수 3대

single 설치와 같이 kafka 바이너리 파일을 다운로드 하여 3대 서버에 압축을 푼다.

1) 설정 파일을 열어서 아래 라인을 변경한다.

broker.id는 서버별로 번호가 달라야 한다.

$ vi ~/usr/local/kafka_2.13-3.0.0/config/server.properties
broker.id=1
log.dirs=$KAFKA_HOME/logs
zookeeper.connect=192.168.10.101:2181,192.168.10.102:2181,192.168.10.103:2181/kafka-cluster

2) kafka 실행 후 클러스터 테스트

# 1,2,3번 서버에서 카프카 실행
$ $KAFKA_HOME/bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

# 1번 서버에서 토픽 생성
$ ./kafka-topics.sh --create --bootstrap-server dwkafap03:9092 --replication-factor 1 --partitions 3 --topic mytest
Created topic mytest.

# 2번 서버에서 토픽 조회
$ ./kafka-topics.sh --bootstrap-server dwkafap04:9092 --list
mytest

# 3번 서버에서 프로듀서 실행하여 메시지 전송
$ ./kafka-console-producer.sh --broker-list dwkafap05:9092 --topic mytest
>a
>b
>c
>d

# 2번 서버에서 컨슈머 실행하여 메시지 수집 확인
$ ./kafka-console-consumer.sh --bootstrap-server dwkafap04:9092 --topic mytest
a
b
c
d