kafka manager

kafka manager ?

Kafka 를 CLI 환경에서 운영을 할 수 있지만, 대세는 웹 GUI환경이다. 하지만, kafka 자체적으로 웹 GUI환경을 제공하지 않고 있다. 

그래서 yahoo 에서 자체적으로 운영 하던 kafka  manager 라는  웹GUI를 오픈소스로 공개 하였으며, 실제로 많은  Kafka운영에서 적용되고 있다.

kafka manager를 통하여 클러스터 상태를확인 하고 여러가지 운영에 필요한 기능을 웹GUI환경에서 설정 할 수 있도록 도와 주고 있다.

https://github.com/yahoo/kafka-manager

 kafka manager install 

가장 최신 버전으로 릴리즈된 1.3.3.18 버전 다운로드하여 진행 한다.

*JAVA-HOME 환경 변수 설정이 사전에 설정 

Download kafka manager

# wget https://github.com/yahoo/kafka-manager/archive/1.3.3.18.tar.gz # tar xvzf 1.3.3.18.tar.gz # cd kafka-manager-1.3.3.18/

sbt dist clean을 통하여 생성된 파일을 확인한다.

sbt

# ./sbt dist clean ...생략... [info] Your package is ready in /root/kafka-manager/target/universal/kafka-manager-1.3.3.18.zip [info] [success] Total time: 66 s, completed Jul 8, 2018 3:09:37 AM

생성된 파일을 /usr/local 디렉토리로 이동 시킨다.

unzip/move kafka-manager

# cp -aR /root/kafka-manager/target/universal/kafka-manager-1.3.3.18.zip /usr/local/ # cd /usr/local # unzip kafka-manager-1.3.3.18.zip # ln -s /usr/local/kafka-manager-1.3.3.18 /usr/local/kafka-manager # cd kafka-manager

application.conf를 zookeeper 앙상블 정보로 수정한다.

/usr/local/kafka-manager/conf/application.conf

... 생략... kafka-manager.zkhosts="kafka-01:2181,kafka-02:2181,kafka-03:2181" ... 생략...

아래와 같이 9000포트로 실행 

start kafka manager

# /usr/local/kafka-manager-1.3.3.18/bin/kafka-manager -Dconfig.file=/usr/local/kafka-manager-1.3.3.18/conf/application.conf -Dhttp.port=9000

위 방법 말고, 아래와 같이 관리 편의성을 위하여 systemd에 등록하여 사용 할 수도 있다.

/usr/lib/systemd/system/kafka-manager.service

[Unit]  Description=Kafka manager  After=network.target   [Service]  User=root  Group=root  ExecStart=/usr/local/kafka-manager/bin/kafka-manager -Dconfig.file=/usr/local/kafka-manager/conf/application.conf  ExecStop=/usr/local/kafka-manager/bin/kafka-manager stop  Restart=always   [Install]  WantedBy=multi-user.target

systemctl로 실행 한다.

systemctl

# systemctl daemon-reload # systemctl enable kafka-manager # systemctl start kafka-manager

실행후 처음에는 클러스터 정보를 확인 할 수 없다.

실행후 처음에는 클러스터 정보를 확인 할 수 없다.

Add Cluster 탭에 들어가서 클러스터 정보를 입력 한다.

입력후 아래와 같이 topic 이나 여러 정보를 확인 하거나 수정/추가가 가능 하다.