«kafka-consumer-api» 태그된 질문

엔터프라이즈 솔루션 목적으로 Kafka를 배우기 시작했습니다. 독서 중에 몇 가지 질문이 떠 올랐습니다. 제작자가 메시지를 작성할 때-메시지 를 보내려는 주제 를 지정합니다. 맞습니까? 파티션에 관심이 있습니까? 구독자가 실행 중일 때 동일한 주제의 소비자 클러스터 또는이 소비자 그룹에 관심이있는 여러 주제의 일부가되도록 그룹 ID를 지정합니까? 각 소비자 그룹에 브로커에 해당 파티션이 …

185 apache-kafka  kafka-consumer-api  kafka-producer-api 

나는 최근에 Kafka를 배우기 시작했고 이러한 질문으로 끝났습니다. 소비자와 스트림의 차이점은 무엇입니까? 나에게 어떤 도구 / 애플리케이션이 Kafka의 메시지를 소비한다면 Kafka 세계의 소비자입니다. 이것이 Kafka에서 메시지를 소비하거나 생성하기 때문에 Stream은 어떻게 다른가요? 소비자 API를 사용하여 자체 소비자 애플리케이션을 작성하고 필요에 따라 처리하거나 소비자 애플리케이션에서 Spark로 보낼 수있는 이유는 무엇입니까? 나는 …

103 apache-kafka  kafka-consumer-api  apache-kafka-streams 

KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); 현재 키가있는 메시지의 일부로 키없이 메시지를 보내고 있는데, 여전히 작동 delete.retention.ms합니까? 메시지의 일부로 키를 보내야합니까? 메시지의 일부로 키를 만드는 것이 좋은가요?

101 apache-kafka  kafka-consumer-api 

Confluent.Kafka .NET 클라이언트 버전 1.3.0을 사용하고 있습니다. 나는 문서를 따르고있다 : var consumerConfig = new ConsumerConfig { BootstrapServers = "server1, server2", AutoOffsetReset = AutoOffsetReset.Earliest, EnableAutoCommit = true, EnableAutoOffsetStore = false, GroupId = this.groupId, SecurityProtocol = SecurityProtocol.SaslPlaintext, SaslMechanism = SaslMechanism.Plain, SaslUsername = this.kafkaUsername, SaslPassword = this.kafkaPassword, }; using (var consumer = …

10 c#  apache-kafka  kafka-consumer-api