의 모든 예제 의 카프카 | 생산자 는 ProducerRecord의 키 / 값 쌍이 동일한 유형 (모든 예가 표시됨 <String,String>) 일뿐만 아니라 동일한 값인 것으로 표시 합니다 . 예를 들면 :
producer.send(new ProducerRecord<String, String>("someTopic", Integer.toString(i), Integer.toString(i)));
그러나 Kafka 문서에서 키 / 값 개념 (및 기본 목적 / 유틸리티)이 설명 된 위치를 찾을 수없는 것 같습니다. 전통적인 메시징 (ActiveMQ, RabbitMQ 등)에서 저는 항상 특정 주제 / 대기열 / 교환에서 메시지를 실행했습니다. 그러나 Kafka는 일반적인 'ole string 메시지 대신 키 / 값 쌍이 필요한 것으로 보이는 최초의 브로커입니다.
그래서 저는 묻습니다 : 생산자들에게 KV 쌍을 보내도록 요구하는 목적 / 유용성은 무엇입니까?
답변:
Kafka는 파티션으로 구성된 분산 로그 의 추상화를 사용합니다 . 로그를 파티션으로 분할하면 시스템을 확장 할 수 있습니다.
키 는 메시지가 추가되는 로그 내의 파티션을 결정하는 데 사용됩니다. 값은 메시지의 실제 페이로드입니다. 예제는 실제로 이와 관련하여 매우 "좋은"것이 아닙니다. 일반적으로 복잡한 유형을 값으로 사용하고 (튜플 유형 또는 JSON 또는 유사) 하나의 필드를 키로 추출합니다.
참조 : http://kafka.apache.org/intro#intro_topics 및 http://kafka.apache.org/intro#intro_producers
일반적으로 키 및 / 또는 값도 일 수 있습니다 null. 키가 null임의 파티션이면 선택됩니다. 값이있는 경우 null가 있습니다 경우 특별한 "삭제"의미를 가지고 당신은 주제 (대한 로그 압축 대신 로그 보존 정책 있도록 http://kafka.apache.org/documentation#compaction을 ).
partition매개 변수 를 지정하면이 매개 변수가 사용되며 키는 "무시"됩니다 (또는 물론 키는 주제에 계속 기록됩니다). -이렇게하면 키가 있어도 사용자 정의 파티션을 가질 수 있습니다.
또 다른 흥미로운 사용 사례
user_ids를 보내기 위해 Kafka 토픽의 key 속성을 사용할 수 있으며, 그런 다음 소비자를 연결하여 스트리밍 이벤트 (값 속성에 저장된 이벤트)를 가져올 수 있습니다. 이를 통해 기계 학습 모델에서 기능을 생성하기 위해 사용자 이벤트 시퀀스의 최대 기록을 처리 할 수 있습니다.
나는 이것이 가능한지 알아 내야한다. 자세한 내용으로 내 답변을 계속 업데이트합니다.
KStream하고KTable- 참조 여기에 .