카프카에서 토픽을 삭제하는 방법은 아래와 같습니다. (Kafka 버전 2.2 이하)

Kafka server properties에서 아래 내용 변경.

delete.topic.enable = true

 

윈도우 CMD를 관리자 권한으로 실행하고 아래 명령 수행.

kafka-topics.bat --describe --zookeeper localhost:2181 --topic ngm-topic

kafka-topics.bat --zookeeper localhost:2181 --delete --topic ngm-topic

 

topic list를 다시 확인해보면, 아래와 같이 marked for deletion으로 표시됩니다. 토픽을 다시 생성하려해도 이미 토픽이 있어서 생성할 수 없다고 합니다. 이런 문제가 발생하는 이유는 토픽을 생성할 때 파티션도 같이 생성했기 때문인데요. 실제 토픽은 삭제 되었지만, 토픽을 처리하는 파티션은 그대로 남아있기 때문입니다.

E:\kafka\bin\windows>kafka-topics.bat --list --zookeeper localhost:2181
__consumer_offsets
ngm-topic - marked for deletion
ngmtopic - marked for deletion
test - marked for deletion
test20191206 - marked for deletion

 

토픽을 완전히 삭제하려면 주키퍼 쉘을 이용해야 합니다. 아래 명령으로 주키퍼 쉘에 접속합니다.

E:\kafka\bin\windows>zookeeper-shell.bat localhost:2181 

 

ls /brokers/topics 명령으로 현재 토픽을 확인할 수 있습니다.

E:\kafka\bin\windows>zookeeper-shell.bat localhost:2181
Connecting to localhost:2181
Welcome to ZooKeeper!
JLine support is disabled

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
ls /brokers/topics
[test20191206, ngmtopic, test, ngm-topic, __consumer_offsets]

 

rmr /brokers/topics/토픽이름 명령으로 토픽을 모두 삭제하세요.

E:\kafka\bin\windows>zookeeper-shell.bat localhost:2181
Connecting to localhost:2181
Welcome to ZooKeeper!
JLine support is disabled

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
rmr /brokers/topics/ngm-topic
rmr /brokers/topics/ngmtopic
rmr /brokers/topics/test
rmr /brokers/topics/test20191206

 

다시 토픽을 조회 해보면, 모두 사라진 것을 확인할 수 있습니다.

kafka-topics.bat --list --zookeeper localhost:2181

 

새로운 토픽을 생성하면 정상적으로 만들어집니다.

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic ngm-topic

 

참고로, 토픽 리스트와 토픽 생성은 버전에 따라 약간 차이가 있습니다. 에러가 난다면 버전을 확인 해보시고, 아래 글을 참고해서 다시 해보세요.

[ 버전별 토픽 관리 방법 ]

 

이 글이 도움이 되셨다면~ 커피 한잔이라도 후원 부탁드립니다^^

개발자에게 후원하기

 

추천, 구독, 홍보 꼭~ 부탁드립니다.

여러분의 후원이 빠른 귀농을 가능하게 해줍니다~ 답답한 도시를 벗어나 귀농하고 싶은 개발자~

감사합니다~

추천0 비추천0