[Kafka 에러] LEADER_NOT_AVAILABLE

 

상황

 

카프카 클러스터 구축 중 발생한 에러. 

도커 컴포즈를 활용해 브로커 3대, 주키퍼 1대 조합으로 카프카 클러스터를 구성했다.

브로커 내부에서 kafka-console-producer 로 topic 에 메시지를 발행했는데 에러가 발생했다.

 

에러 메시지

WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 3 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)

 

원인과 해결

메시지를 발행하고자 한 토픽이 아직 생성되지 않았기 때문에 발생한 에러였다.

도커 컴포즈 yml 작성 시 아래 옵션을 true 로 설정하면 토픽이 자동으로 생성된다. 

auto.create.topics.enable=true

 

하지만 이 방법은 권하지 않는데 토픽을 잘못 설정하여 메시지를 보내더라도, 아무런 에러없이 토픽이 생성되기 때문이다. 

물론 간편한 방법이라고 생각할 수도 있지만, 브로커 내부에 관리되지 않는 토픽이 여러개 생기고 추후에는 메모리 문제도 우려되기 때문에 권장하지 않는다.

 

그래서 카프카 내부에서 직접 토픽을 생성하는 방법을 권장한다.

$ kafka-console-producer --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic TOPIC-1

 

 

 

ref

- https://veneas.tistory.com/entry/Spring-for-Apache-Kafka-Error-while-fetching-metadata-with-correlation-id

- https://twowinsh87.github.io/etc/2019/09/28/etc-kafka2019-3-1/