카프카 명령어 정리

[1. 개요]

카프카 설치 시, 기본적으로 제공하는 명령어를 통해 카프카 관리

[2. 주키퍼 관련 명령어]

zookeeper-server-start.sh
# 주키퍼 서버 실행
zookeeper-server-stop.sh
# 주키퍼 서버 종료
zookeeper-shell.sh
# 주키퍼 서버 접속 클라이언트
# 아래와 같은 형태로 서버 접속 정보를 입력할 수 있다.
# -server ip:port
zookeeper-security-migration.sh
#

[3. 카프카 관련 명령어]

kafka-server-start.sh
kafka-server-stop.sh
kafka-run-class.sh
# 다른 툴들은 결과적으로 이 명령어를 이용하여 실행 된다.
# USAGE: kafka-run-class.bat classname [opts]
# ref) https://cwiki.apache.org/confluence/display/KAFKA/System+Tools
kafka-topics.sh
# 카프카 토픽 생성, 삭제 등에 대한 작업을 진행
# 파티션 개수, 레플리케이션 등을 지정할 수 있다.
kafka-consumer-groups.sh
# consumer group 를 관리 할 수 있다.
# 생성, 삭제, 조회 ...
kafka-console-consumer.bat
kafka-console-producer.bat
kafka-acls.sh
# ACL : Access Control List
kafka-broker-api-versions.sh
# kafka broker 버전 정보 확인 시 사용
kafka-cluster.sh
kafka-configs.sh
kafka-consumer-perf-test.sh
#
kafka-delegation-tokens.sh
# kafka delegation token 관리
kafka-delete-records.sh
# 특정 파티션에 대해서 명시된 offset 까지 record 를 삭제.
# 쓸일이 많지 않을 듯(?)
kafka-dump-log.sh
# 오염된 카프카 log segment 를 디버깅할 때 유용한 툴
kafka-get-offsets.sh
# topic-partitoin offset 을 얻기 위하여 상호작용 하는 툴
kafka-leader-election.sh
# topic 의 partition 에 대한 새로운 leader 선출 시 사용
#
kafka-log-dirs.sh
# 특정 브로커가 사용 중인 log directory 경로 확인 시 사용
# 기타 다른 명령어들 존재..., 다른 것들은 일단 생략

[4. 활용 법]

특정 topic 의 마지막 offset 확인 시 (producer 가 생산한)
# ./bin/kafka-run-class kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic mytopic
현재 카프카 서버에 있는 모든 토픽 목록 조회 시
특정 토픽 생성 시
특정 토픽의 자세한 정보 조회 시
특정 토픽 파티션 개수 변경 시
# (파티션 개수는 증가하는 방향으로만 변경 가능하다.)
특정 토픽 설정 변경 시
현재 카프카 서버에 있는 모든 consumer group 조회 시
특정 consumer group 조회 시
카프카 클러스터 상태 확인
# zookeeper 접속
# ls /brokers/ids
# get /brokers/ids/"${broker id}"

test_kernelv2