개요카프카 컨슈머는 브로커의 메시지를 가져와 처리하는 역할을 맡는다. 개별 컨슈머를 그룹으로 묶어 컨슈머 그룹으로 관리할 수도 있으며 컨슈머 그룹 내에서 어떤 토픽의 파티션과 매칭되는지를 특정 전략에 따라 지정할 수 있다. 특정 컨슈머에 문제가 발생하면 해당 컨슈머가 처리하던 파티션을 그룹 내 다른 컨슈머에게 매칭해야 되는 상황이 발생할 수 있다. 이런 '리밸런싱' 과정은 아래의 상황에서 발생할 수 있다. 1. 컨슈머 그룹에 신규 컨슈머가 추가 될 때2. 컨슈머 그룹의 기존 컨슈머가 이탈할 때3. 토픽에 파티션의 수가 변경될 때 (추가/감소)4. 컨슈머가 구독하는 토픽이 변경될 때 (물론 스태틱 멤버십을 적용하면 컨슈머 그룹 이탈 후 재합류해도 리밸런싱이 일어나지 않는다.) 리밸런싱을 단순히 컨슈머의 담..

서론 데이터를 파일에 쓰거나 네트워크를 통해 전송하려면 바이트열 형태로 encoding 작업이 필요하다. 인메모리 표현에서 바이트열로 전환하는 작업을 인코딩(encoding, 부호화, serializing) 이라 하며, 그 반대를 디코딩(decoding, 복호화, deserializing) 이라 한다. Binary Encoding 여러 인코딩 방법이 존재하지만 우선 이진 부호화 방식을 살펴보자. 이진 부호화는 데이터를 이진 숫자(0, 1)로 표현하는 과정을 의미한다. 데이터를 이진 형태로 표현하기 때문에 JSON, XML 같은 부호화 방법보다 효율적인 데이터 저장 및 전송이 가능하다. 가독성이 뛰어난 JSON 방식보다 읽기는 어렵겠지만 대규모 데이터셋을 저장해야 하는 상황이라면 이진 부호화가 좋은 선택이..

상황 카프카 클러스터 구축 중 발생한 에러. 도커 컴포즈를 활용해 브로커 3대, 주키퍼 1대 조합으로 카프카 클러스터를 구성했다. 브로커 내부에서 kafka-console-producer 로 topic 에 메시지를 발행했는데 에러가 발생했다. 에러 메시지 WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 3 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) 원인과 해결 메시지를 발행하고자 한 토픽이 아직 생성되지 않았기 때문에 발생한 에러였다. 도커 컴포즈 yml 작성 시 아래 옵션을 true 로 설정하면 토픽이 자..