«apache-kafka» 태그된 질문

Kafka 대신 RabbitMQ를 평가하라는 요청을 받았지만 Kafka보다 더 나은 일을하는 이유를 찾기가 어렵다는 것을 알았습니다. 처리량, 내구성, 대기 시간 또는 사용 편의성이 실제로 더 나은지 아는 사람이 있습니까?

332 rabbitmq  apache-kafka  message-queue 

내가 건너 왔어요하지만 카프카 전에, 나는 최근 카프카가 아마도 (기초)을 사용할 수있다 실현 CQRS , eventstore . Kafka가 지원하는 주요 요점 중 하나 : 물론 이벤트 캡처 / 저장, 모든 HA. 펍 / 서브 아키텍처 사실 이후에 새로운 가입자가 시스템에 등록 할 수있는 이벤트 로그 재생 기능. 분명히 나는 ​​100 …

219 cqrs  event-sourcing  apache-kafka  dddd 

kafka에서 주제를 제거하는 방법이 있습니까? 로컬 컴퓨터의 kafka 메시지 주제로 너무 큰 메시지를 푸시했는데 오류가 발생했습니다. kafka.common.InvalidMessageSizeException: invalid message size fetch.size실제로는 큰 메시지를 수락하고 싶지 않기 때문에 여기서 증가시키는 것은 이상적이지 않습니다.

185 apache-kafka  purge 

엔터프라이즈 솔루션 목적으로 Kafka를 배우기 시작했습니다. 독서 중에 몇 가지 질문이 떠 올랐습니다. 제작자가 메시지를 작성할 때-메시지 를 보내려는 주제 를 지정합니다. 맞습니까? 파티션에 관심이 있습니까? 구독자가 실행 중일 때 동일한 주제의 소비자 클러스터 또는이 소비자 그룹에 관심이있는 여러 주제의 일부가되도록 그룹 ID를 지정합니까? 각 소비자 그룹에 브로커에 해당 파티션이 …

185 apache-kafka  kafka-consumer-api  kafka-producer-api 

Kafka를 사용하려고합니다. 모든 구성이 올바르게 완료되었지만 콘솔에서 메시지를 생성하려고하면 다음 오류가 계속 발생합니다. WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) 카프카 버전 : 2.11-0.9.0.0

172 apache-kafka  producer 

저는 Kafka를 처음 접합니다. 나는 그것에 대해 약간의 실험을했지만 소비자 오프셋과 관련하여 몇 가지 분명하지 않습니다. 지금까지 내가 이해 한 바에 따르면, 소비자가 시작할 때, 소비자가 읽을 시작 오프셋은 구성 설정에 따라 결정됩니다 auto.offset.reset(잘못된 경우 수정). 예를 들어 주제에 10 개의 메시지 (오프셋 0 ~ 9)가 있고 소비자가 다운되기 전 …

169 java  distributed-computing  apache-kafka 

비 RDBMS 데이터 저장소 또는 메시지 대기열과 같은 새 서비스를 사용할 때 가장 먼저 생각하는 것 중 하나는 "데이터를 어떻게 구성해야합니까?"입니다. 소개 자료를 읽고 봤습니다. 특히 Kafka : 로그 처리를위한 분산 메시징 시스템을 예로 들어 보겠습니다 . "주제는 메시지와 관련된 컨테이너입니다" "가장 작은 병렬 처리 단위는 주제의 파티션입니다. 이는 주제의 …

168 apache-kafka 

Kafka에서는 단일 브로커, 단일 주제 및 하나의 생산자 및 여러 소비자 (각 소비자가 브로커에서 자체 데이터 사본을 가져옴)가있는 단일 파티션 만 사용하고 싶습니다. 이를 감안할 때 Zookeeper를 사용하는 오버 헤드를 원하지 않습니다. 브로커 만 사용할 수 있습니까? 동물원 사육사는 왜해야합니까?

134 partitioning  apache-zookeeper  producer-consumer  apache-kafka  broker 

Java Producer API를 사용하여 문자열 메시지를 Kafka V. 0.8로 보냅니다. 메시지 크기가 약 15MB이면 MessageSizeTooLargeException. message.max.bytes40MB 로 설정하려고 했지만 여전히 예외가 발생합니다. 작은 메시지는 문제없이 작동했습니다. (프로듀서에 예외가 나타납니다.이 애플리케이션에는 소비자가 없습니다.) 이 예외를 제거하려면 어떻게해야합니까? 내 예제 생산자 구성 private ProducerConfig kafkaConfig() { Properties props = new Properties(); props.put("metadata.broker.list", …

118 java  apache-kafka 

Linux에서 kafka 버전을 찾는 방법은 무엇입니까? 다운로드하는 동안 버전을 언급하는 것 외에 설치된 kafka 버전을 찾는 방법이 있는지 여부

107 apache-kafka 

나는 최근에 Kafka를 배우기 시작했고 이러한 질문으로 끝났습니다. 소비자와 스트림의 차이점은 무엇입니까? 나에게 어떤 도구 / 애플리케이션이 Kafka의 메시지를 소비한다면 Kafka 세계의 소비자입니다. 이것이 Kafka에서 메시지를 소비하거나 생성하기 때문에 Stream은 어떻게 다른가요? 소비자 API를 사용하여 자체 소비자 애플리케이션을 작성하고 필요에 따라 처리하거나 소비자 애플리케이션에서 Spark로 보낼 수있는 이유는 무엇입니까? 나는 …

103 apache-kafka  kafka-consumer-api  apache-kafka-streams 

Apache Kafka : 분산 메시징 시스템 Apache Storm : 실시간 메시지 처리 이벤트 데이터를 처리하기 위해 실시간 데이터 파이프 라인에서 두 기술을 어떻게 사용할 수 있습니까? 실시간 데이터 파이프 라인 측면에서 두 가지 모두 동일한 작업을 수행하는 것 같습니다. 데이터 파이프 라인에서 두 기술을 어떻게 사용할 수 있습니까?

102 apache-storm  apache-kafka  data-integration 

KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); 현재 키가있는 메시지의 일부로 키없이 메시지를 보내고 있는데, 여전히 작동 delete.retention.ms합니까? 메시지의 일부로 키를 보내야합니까? 메시지의 일부로 키를 만드는 것이 좋은가요?

101 apache-kafka  kafka-consumer-api 

닫힘 . 이 질문은 더 집중되어야 합니다. 현재 답변을 받고 있지 않습니다. 이 질문을 개선하고 싶으십니까? 이 게시물 을 편집 하여 한 가지 문제에만 집중하도록 질문을 업데이트하십시오 . 휴일 기각 . 이 질문 개선 의 모든 예제 의 카프카 | 생산자 는 ProducerRecord의 키 / 값 쌍이 동일한 유형 (모든 …

98 apache-kafka  message-queue  messaging  key-value  messagebroker 

testApache Kafka 0.8.1.1에서 주제를 삭제해야합니다 . 여기 문서에 표현 된대로 다음을 실행했습니다. bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test 그러나 이로 인해 다음 메시지가 표시됩니다. Command must include exactly one action: --list, --describe, --create or --alter 이 주제를 어떻게 삭제할 수 있습니까?

94 apache-kafka