[kafka] 리밸런싱 종류와 컨슈머 파티션 할당 전략

개요카프카 컨슈머는 브로커의 메시지를 가져와 처리하는 역할을 맡는다. 개별 컨슈머를 그룹으로 묶어 컨슈머 그룹으로 관리할 수도 있으며 컨슈머 그룹 내에서 어떤 토픽의 파티션과 매칭되는지를 특정 전략에 따라 지정할 수 있다. 특정 컨슈머에 문제가 발생하면 해당 컨슈머가 처리하던 파티션을 그룹 내 다른 컨슈머에게 매칭해야 되는 상황이 발생할 수 있다. 이런 '리밸런싱' 과정은 아래의 상황에서 발생할 수 있다. 1. 컨슈머 그룹에 신규 컨슈머가 추가 될 때2. 컨슈머 그룹의 기존 컨슈머가 이탈할 때3. 토픽에 파티션의 수가 변경될 때 (추가/감소)4. 컨슈머가 구독하는 토픽이 변경될 때 (물론 스태틱 멤버십을 적용하면 컨슈머 그룹 이탈 후 재합류해도 리밸런싱이 일어나지 않는다.) 리밸런싱을 단순히 컨슈머의 담..

2024.05.04