[kafka] 리밸런싱 종류와 컨슈머 파티션 할당 전략

 

개요

카프카 컨슈머는 브로커의 메시지를 가져와 처리하는 역할을 맡는다. 개별 컨슈머를 그룹으로 묶어 컨슈머 그룹으로 관리할 수도 있으며 컨슈머 그룹 내에서 어떤 토픽의 파티션과 매칭되는지를 특정 전략에 따라 지정할 수 있다. 

특정 컨슈머에 문제가 발생하면 해당 컨슈머가 처리하던 파티션을 그룹 내 다른 컨슈머에게 매칭해야 되는 상황이 발생할 수 있다. 이런 '리밸런싱' 과정은 아래의 상황에서 발생할 수 있다.

 

1. 컨슈머 그룹에 신규 컨슈머가 추가 될 때

2. 컨슈머 그룹의 기존 컨슈머가 이탈할 때

3. 토픽에 파티션의 수가 변경될 때 (추가/감소)

4. 컨슈머가 구독하는 토픽이 변경될 때

 

(물론 스태틱 멤버십을 적용하면 컨슈머 그룹 이탈 후 재합류해도 리밸런싱이 일어나지 않는다.)

 

리밸런싱을 단순히 컨슈머의 담당 파티션이 변경되는 것으로 생각하기엔 여러 문제점이 있다.

- 리밸런싱이 진행되는 동안 컨슈머는 브로커로부터 메시지를 가져오지 못한다. 프로듀서는 지속적으로 메시지를 보내고 있기 때문에 컨슈머가 메시지를 처리하지 못하는 만큼 Lag 이 발생한다. 

- 리밸런싱 과정에서 파티션의 어느 위치에서 메시지를 가져와야 하는지 결정하는 프로세스가 복잡해질 수 있다. 이 과정에서 메시지가 중복되거나 누락될 수 있다.

 

리밸런싱은 컨슈머 그룹의 각 컨슈머에게 파티션을 균등하게 분배하는 작업으로 많은 리소스를 소모하여 시스템에 부담이 될 수 있다. 이번 글에서는 리밸런싱을 최소화 할 수 있는 컨슈머의 파티션 할당 전략 4가지를 알아보겠다.

 

 

컨슈머 파티션 할당 전략

 

파티션 할당 전략이란 카프카 컨슈머가 구독하는 대상 토픽 중 어느 파티션의 레코드를 읽을지 결정하는 방식을 의미한다. 총 4가지 전략이 알려져 있으며, 컨슈머 그룹에 설정된 전략에 따라 컨슈머-파티션 간의 매칭이 결정된다. 즉 리밸런싱 시 발생하는 모든 동작은 컨슈머(리더)가 관장한다.

리밸런싱은 크게 2가지 방식이 존재한다. 

 

Eager Rebalance

컨슈머 그룹에서 컨슈머 수가 변경되면 모든 작업을 멈추고 다시 새로운 파티션을 할당하는 방식이다. 즉 해당 컨슈머 그룹의 모든 작업이 일시 정지되고 파티션을 재분배한 후 다시 동작한다. 이 시간동안 컨슈머 그룹은 유휴 상태가 되어 메시지 컨슈밍과 오프셋 커밋이 불가능하다. 

figure01

 

1. Detection 단계에서 consumer02 의 장애를 감지하면,

2. Stopping 단계에서 컨슈머에게 할당된 모든 파티션을 제거한다. 잘 동작하고 있던 다른 컨슈머의 connection 도 끊기게 된다.(연대 책임 유노) 이 때 부터 컨슈머에게 할당된 파티션이 없으므로 컨슈머의 다운타임이 시작된다.

3. Restart 단계에서 구독한 파티션이 컨슈머들에게 재할당된다. 이 순간 부터 컨슈머들은 각자 재할당받은 파티션에서 메시지를 컨슘하기 시작한다. 

 

figure01 에서 볼 수 있듯이 기존에 consumer02 와 매칭됐던 partition1 은 consumer01 로 재할당됐다. 이처럼 리밸런싱 이후에는 컨슈머가 이전에 가졌던 파티션을 반드시 다시 가질 수 있다는 보장을 할 수 없다.

 

 

Cooperative Rebalance

Cooperative Rebalancing 은 Apache Kafka 2.4 버전부터 도입된 진보된 형태의 리밸런싱 방식으로, 컨슈머 그룹의 중지 없이 파티션 재분배가 일어난다. 

기존에 할당된 파티션을 새롭게 들어오는 컨슈머에게 양도하는 형태로 동작한다. 

 

figure02

 

1. Detection 단계 - 컨슈머 그룹에 Consumer02 가 합류하며 리밸런싱이 트리거 된다. 그룹 코디네이터는 해당 정보를 조합해 컨슈머 그룹의 리더에게 전송한다. 

2. First Rebalancing - 컨슈머 그룹의 리더는 현재 컨슈머가 소유한 파티션 정보를 활용해 제외할 파티션 정보를 담은 새로운 파티션 할당 정보를 컨슈머 그룹 멤버들에게 전달한다.

새로운 파티션 할당 정보를 받은 컨슈머 그룹 멤버들은 필요없는 파티션을 골라 제외한다. 이전의 파티션 할당 정보와 새로운 파티션 할당 정보가 동일한 파티션들에 대해서는 어떤 작업도 수행할 필요가 없다.

3. Second Rebalancing - 제외한 파티션 할당을 위해 컨슈머들은 다시 합류 요청을 전송한다. 이 때 두 번재 리밸런싱이 트리거 된다. 컨슈머 그룹의 러디는 제외된 파티션을 적절한 컨슈머에게 할당한다.

 

Cooperative 방식의 중요한 점은 파티션 재배치가 필요하지 않은 컨슈머는 다운타임 없이 계속 동작하며, 두번의 리밸런싱이 일어났다는 점이다. 비록 리밸런싱 동작이 2번 발생하지만 정상 동작하는 다른 컨슈머에게는 아무런 영향을 주지 않았다.

Eager 방식과 달리 전체가 중단되지 않기 때문에 효율적일 수 있지만, 파티션 할당이 안정적인 상태가 될 때 까지 몇 번의 반복이 필요할 수 있다는 점을 인지해야 한다.

정리하면 Cooperative 방식은 컨슈머 그룹이 중단되는 상황을 피해야하는 서비스에서 전체 그룹의 성능을 유지하면서 파티션 할당 전략을 유연하게 조절할 수 있는 장점이 있다. 

 

1. 레인지 파티션 할당 전략

figure03

 

Apache Kafka 2.3 버전까지 디폴트로 설정된 파티션 할당 전략이다. 레인지 파티션 할당 전략은 다음 순서로 진행된다.

1. 구독 중인 토픽의 파티션과 컨슈머를 순서대로 나열한다.

2. 각 컨슈머가 받아야 할 파티션 수를 결정하는데, 이는 해당 토픽의 전체 파티션 수를 컨슈머 그룹의 총 컨슈머 수로 나눈 값이다. 

3. 만약 컨슈머 수와 파티션 수가 정확히 일치하면 모든 컨슈머는 파티션을 균등하게 할당 받는다 (일대일 ?)

4. 그러나 파티션 수가 컨슈머 수로 균등하게 나누어지지 않으면, 앞 순서의 컨슈머들이 추가로 파티션을 할당 받는다. 이는 파티션이 한쪽으로 몰릴 수 있는 문제점이 있다. 

 

consumer01은 4개의 파티션이 할당된 반면 consumer02 는 2개의 파티션밖에 할당받지 못했다. 불균형이 발생할 수 있는 위 전략은 왜 사용하는 것일까? 우선 장점을 살펴보면, 특정 도메인에 대한 데이터 처리를 한 컨슈머에서 일관되게 처리할 수 있다. 예를 들어 정상 로그와 에러 로그를 각각 처리하는 두 토픽(topic01, topic02)이 있다고 가정하자. 두 토픽의 파티션 수가 같을 때 로그 프로듀서가 동일한 메시지key 를 사용하면 메시지는 동일한 파티션(ex partition0) 으로 전송된다. 두 토픽의 partition0 은 모두 consumer01 에서 처리되기 때문에 일관된 데이터 처리/관리가 가능하다. 단점으로는 컨슈머의 파티션 할당이 불균형하기 때문에 특정 컨슈머에 부하가 몰릴 수 있다. 또한 위에서 언급한 Eager 프로토콜로 동작하기 때문에 리밸런싱 발생시 모든 컨슈머가 작업을 중단하게 된다.

 

 

2. 라운드 로빈 파티션 할당 전략

 

figure04

 

가장 간단한 파티션 할당 전략으로 파티션을 컨슈머 그룹 내 모든 컨슈머에게 균등하게 분배한다.

Consumer01 과 Consumer02 가 반복되면서 매핑되기 때문에 레인지 할당 전략과 달리 균등한 파티션 분배가 가능하다. 

파티션	매핑된 컨슈머
Topic01-Partition0	Consumer01
Topic01-Partition1	Consumer02
Topic01-Partition2	Consumer01
Topic02-Partition0	Consumer02
Topic02-Partition1	Consumer01
Topic02-Partition2	Consumer02

 

 

라운드 로빈의 전략의 장점은 모든 컨슈머에 균등한 파티션 분배가 이뤄지기에 컨슈머를 효과적으로 활용해 성능을 향상시킬 수 있다.

라운드 로빈 전략의 문제점은 프로토콜을 사용하기에 리밸런싱이 발생할 때 모든 컨슈머가 중단된다. 또한 모든 파티션을 균등하게 분배하려 하기 때문에 하나의 컨슈머만 다운되더라도 모든 컨슈머의 리밸런싱이 발생하는 단점이 존재한다.

 

3. 스티키 파티션 할당 전략

앞서 설명한 두 전략은 리밸런싱이 발생 시 기존 매핑정보와 전혀 다른 매핑이 맺어진다. 스티키 파티션 할당 전략은 이와 달리 리밸런싱이 발생하더라도 기존 매핑 정보를 최대한 유지하는 컨슈머-파티션 할당 전략이다.

 

스티키 파티션 할당 전략은 2가지 목적으로 컨슈머에 파티션을 할당한다.

첫 번째는 가능한 한 균형 잡힌 파티션 할당이고, 두 번째는 리밸런싱이 발생할 때 되도록 기족의 할당된 파티션 정보를 보장하는 것이다. 이 중 첫 번째 목적의 우선순위가 더 높기 때문에 스티키 파티션 할당 전략이라 해서 항상 기존 파티션과 컨슈머 매핑을 보장하는 것은 아니다.

 

스티키 파티션 할당 전략이 이상적으로 동작하는 이유는 아래의 규칙에 따라 재할당 동작을 수행하기 때문이다.

 

- 컨슈머간 최대 할당된 파티션 수의 차이는 1

- 기존에 존재하는 파티션 할당은 최대한 유지

- 재할당 동작 시 유효하지 않은 모든 파티션 할당은 제거

- 할당되지 않은 파티션들은 균형을 맞추는 방법으로 컨슈머들에 할당

 

figure05

 

figure05는 스티키 파티션 할당 전략의 과정을 나타낸다. Consumer02 에 장애가 생겨 컨슈머 그룹에서 이탈하면 리밸런싱이 발생한다.  이 상황에서 라운드 로빈 방식은 멀쩡히 잘 동작하는 나머지 두 컨슈머(Consumer01, Consumer03)도 리밸런싱에 동참하여 기존 파티션 매핑이 모두 해제되고 다시 할당된다. 하지만 스티키 파티션 전략은 정상 동작하는 두 컨슈머의 매핑은 최대한 유지한채 매핑이 해제된 파티션만 재할당된다.

 

4. 협력적 스티키 파티션 할당 전략

Kafka version 2.4 부터 디폴트 파티션 할당 전략으로 스티키 파티션 할당 전략과 결과적으로 동일하지만 컨슈머 그룹 내부의 리밸런싱 동작은 한층 더 고도화 됐다. 앞서 설명한 3가지 전략은 내부적으로 EAGER 프로토콜을 사용하여 리밸런싱 발생 시 모든 컨슈머는 메시지를 구독할 수 없는 Stop the world 현상이 발생했다.

 

figure06

 

이와 달리 협력적 스티키 전략은 COOPERATIVE 프로토콜을 사용하여 리밸런싱이 필요한 특정 파티션에만 집중하며 그 외의 나머지 파티션들은 컨슈머와 매핑을 그대로 유지한다. 즉 문제가 있는 파티션의 메시지 컨슈밍만 중단될 뿐 이외의 파티션은 모두 정상적으로 메시지 컨슈밍이 동작하기에 전체적인 데이터 처리 성능을 크게 저해하지 않는다. 

이와 같은 특징 덕분에 협력적 스티키 전략은 컨슈머 그룹의 구성 변경이 자주 발생하는 환경에 특히 유용하며 효율적인 리밸런싱을 수행할 수 있다. 

 

정리

파티션 할당 전략	설명	Rebalancing Protocol
Range Partition	Topic 별로 동일한 Partition을 특정 Consumer에게 할당	EAGER
Round Robin Partition	사용 가능한 Partition과 Consumer를 순차적으로 할당	EAGER
Sticky Partition	Consumer가 구독 중인 Partition을 계속 유지하게 끔 할당	EAGER
Cooperative Sticky Partition	Sticky와 유사하지만, 전체 Rebalancing이 아닌 필요한 Partition끼리 점진적으로 Rebalancing 하는 방식입니다.	COOPERATIVE

 

 

 

Ref

- https://devocean.sk.com/community/detail.do?ID=165478&boardType=DEVOCEAN_STUDY&page=1