엔터프라이즈 솔루션 목적으로 Kafka를 배우기 시작했습니다.
독서 중에 몇 가지 질문이 떠 올랐습니다.
각 소비자 그룹에 브로커에 해당 파티션이 있습니까? 아니면 각 소비자 그룹에 있습니까?
파티션이 브로커에 의해 생성되었으므로 소비자가 걱정하지 않습니까?
이것은 각 파티션에 대한 오프셋이있는 큐이므로, 읽고 싶은 메시지를 지정하는 것은 소비자의 책임입니까? 상태를 저장해야합니까?
메시지가 대기열에서 삭제되면 어떻게됩니까? -예를 들어 : 보존 시간이 3 시간이고 시간이 지나면 오프셋이 양쪽에서 어떻게 처리됩니까?
답변:
이 게시물에는 이미 답변이 있지만 Kafka Definitive Guide의 몇 가지 그림으로 내 견해를 추가하고 있습니다.
각 질문에 대답하기 전에 제작자 구성 요소에 대한 개요를 추가하십시오.
1. 제작자가 메시지를 작성할 때-메시지를 보내려는 주제를 지정합니다. 맞습니까? 파티션에 관심이 있습니까?
생산자는 다음에 따라 메시지를 배치 할 대상 파티션을 결정합니다.
2. 가입자가 실행 중일 때-동일한 소비자 그룹 또는이 소비자 그룹이 관심을 갖는 여러 주제의 소비자 클러스터에 속할 수 있도록 그룹 ID를 지정합니까?
간단한 할당 API를 사용하지 않고 Kafka에 오프셋을 저장할 필요가없는 한 항상 group.id를 구성 해야합니다. 어떤 그룹에도 속하지 않습니다. 출처
3. 각 소비자 그룹에 브로커에 해당 파티션이 있습니까? 아니면 각 소비자 그룹에 있습니까?
하나의 소비자 그룹에서 각 파티션은 하나의 소비자 만 처리합니다 . 가능한 시나리오는 다음과 같습니다
4. 브로커가 생성 한 파티션으로서 소비자에 대한 걱정이 없습니까?
소비자는 질문 3에서 설명한대로 파티션 수를 알고 있어야합니다 .
5. 각 파티션에 대한 오프셋이있는 큐이므로 소비자가 읽고 싶은 메시지를 지정해야합니까? 상태를 저장해야합니까?
카프카 (구체적으로하는 그룹 코디네이터 ) 내부에 메시지 생산하여 오프셋 상태를 돌봐 __consumer_offsets의 주제를,이 동작을 수동으로 구성 할뿐만 아니라에 의해 설정 될 수 있습니다 enable.auto.commit로 false. 이 경우 consumer.commitSync()및 consumer.commitAsync()오프셋 관리에 도움이 될 수 있습니다.
그룹 코디네이터 에 대한 추가 정보 :
6. 메시지가 대기열에서 삭제되면 어떻게됩니까? -예를 들어 : 보존 시간은 3 시간이고 시간이 지나면 오프셋이 양쪽에서 어떻게 처리됩니까?
보존 기간 이후에 소비자가 시작되면 auto.offset.reset구성에 따라 메시지가 사용될 수 있습니다 latest/earliest. 기술적으로 그것은 latest(새로운 메시지 처리를 시작합니다) 그 시간까지 모든 메시지가 만료되었으며 보존 은 주제 레벨 구성 이기 때문 입니다.
그것들을 순서대로 보자. :)
1-제작자가 메시지를 작성할 때-메시지를 보내려는 주제를 지정합니다. 맞습니까? 파티션에 관심이 있습니까?
기본적으로 생산자는 파티셔닝에 신경 쓰지 않습니다. 더 나은 제어를 위해 사용자 정의 된 파티 셔 너를 사용할 수있는 옵션이 있지만 완전히 선택 사항입니다.
2-구독자가 실행 중일 때-동일한 주제 또는이 소비자 그룹이 관심을 갖는 여러 주제의 소비자 클러스터의 일부가 될 수 있도록 그룹 ID를 지정합니까?
그렇습니다. 소비자는 부하를 공유하기 위해 소비자 그룹에 가입하거나 혼자 인 경우 만듭니다. 같은 그룹의 두 소비자는 같은 메시지를받지 않습니다.
3-각 소비자 그룹에 브로커에 해당 파티션이 있습니까? 아니면 각 소비자 그룹에 있습니까?
둘 다. 소비자 그룹의 모든 소비자에게는 두 가지 조건에서 파티션 세트가 할당됩니다. 동일한 그룹의 두 소비자는 공통된 파티션을 갖지 않으며 소비자 그룹 전체는 기존 파티션마다 할당됩니다.
4-파티션이 브로커에 의해 생성되었으므로 소비자가 걱정하지 않습니까?
그렇지는 않지만 기존 파티션보다 더 많은 소비자를 갖는 것이 전혀 쓸모가 없다는 것을 알 수 있습니다. 따라서 소비에 대한 최대 병렬 수준입니다.
5-각 파티션에 대해 오프셋이있는 큐이므로 소비자가 읽고 싶은 메시지를 지정해야합니까? 상태를 저장해야합니까?
예. 소비자는 파티션 당 주제별로 오프셋을 저장합니다. 이것은 Kafka가 완전히 처리하므로 걱정할 필요가 없습니다.
6-메시지가 대기열에서 삭제되면 어떻게됩니까? -예를 들어 : 보존 시간은 3 시간이고 시간이 지나면 오프셋이 양쪽에서 어떻게 처리됩니까?
소비자가 브로커의 파티션에 사용할 수없는 오프셋을 요청한 경우 (예 : 삭제로 인해) 오류 모드로 전환되어 궁극적으로이 파티션에 대해 가장 최근 또는 가장 오래된 메시지로 재설정됩니다 (에 따라 다름) auto.offset.reset 구성 값) 및 작업을 계속하십시오.
Kafka는 메시지 흐름에 질서를 부여하기 위해 주제 개념을 사용합니다 .
로드 균형을 맞추기 위해 주제를 여러 파티션으로 나누고 브로커간에 복제 할 수 있습니다.
파티션은 순서대로, 불변의 일련의 메시지, 즉 커밋 로그가 계속 추가됩니다.
파티션의 메시지에는 파티션 내의 각 메시지를 고유하게 식별하는 순차 ID 번호가 있습니다.
파티션을 사용하면 토픽의 로그를 단일 서버 (브로커)에 맞는 크기 이상으로 확장하여 병렬 처리 단위로 사용할 수 있습니다.
토픽의 파티션은 각 브로커가 파티션 공유에 대한 데이터 및 요청을 처리하는 Kafka 클러스터의 브로커를 통해 분산됩니다.
각 파티션은 구성 가능한 개수의 브로커에 복제되어 내결함성을 보장합니다.
이 기사에서 잘 설명했습니다 : http://codeflex.co/what-is-apache-kafka/