«apache-kafka» 태그된 질문

메시징에 Apache kafka를 사용하고 있습니다. 저는 생산자와 소비자를 Java로 구현했습니다. 주제의 메시지 수를 어떻게 얻을 수 있습니까?

93 java  messages  apache-kafka 

닫힘 . 이 질문은 더 집중되어야 합니다. 현재 답변을 받고 있지 않습니다. 이 질문을 개선하고 싶으십니까? 이 게시물 을 편집 하여 한 가지 문제에만 집중하도록 질문을 업데이트하십시오 . 휴일 3 개월 전 . 이 질문 개선 Redis는 Kafka와 마찬가지로 실시간 pub-sub로 사용할 수 있습니다. 언제 사용할지 혼란 스럽습니다. 모든 사용 …

91 redis  apache-kafka  publish-subscribe 

실행하기 전에 토픽에서 모든 데이터를 삭제하거나 토픽을 삭제하는 방법이 있습니까? logRetentionHours속성 을 변경하기 위해 KafkaConfig.scala 파일을 수정할 수 있습니까 ? 소비자가 메시지를 읽는 즉시 메시지가 삭제되는 방법이 있습니까? 생산자를 사용하여 어딘가에서 데이터를 가져오고 소비자가 소비하는 특정 주제로 데이터를 보내고 있는데, 실행할 때마다 해당 주제의 모든 데이터를 삭제할 수 있습니까? 나는 …

89 apache-kafka  apache-zookeeper 

닫힘 . 이 질문은 더 집중되어야 합니다. 현재 답변을 받고 있지 않습니다. 이 질문을 개선하고 싶으십니까? 이 게시물 을 편집 하여 한 가지 문제에만 집중하도록 질문을 업데이트하십시오 . 휴일 일년 전에 . 이 질문 개선 나는 kafka에서 많이 작업하지는 않았지만 GCE에서 데이터 파이프 라인을 구축하고 싶었습니다. 그래서 우리는 Kafka 대 …

82 apache-kafka  google-cloud-pubsub 

폐쇄되었습니다 . 이 질문은 더 집중되어야 합니다. 현재 답변을받지 않습니다. 이 질문을 개선하고 싶습니까? 이 게시물 을 편집 하여 한 가지 문제에만 집중할 수 있도록 질문을 업데이트하십시오 . 휴일 4 일 전 . 나는 데이터 엔지니어 면접에 갔다. 면접관이 나에게 질문을했다. 그는 나에게 상황을 알려주고 해당 시스템의 데이터 흐름을 설계하도록 …

20 apache-spark  apache-kafka  stream-processing 

Confluent.Kafka .NET 클라이언트 버전 1.3.0을 사용하고 있습니다. 나는 문서를 따르고있다 : var consumerConfig = new ConsumerConfig { BootstrapServers = "server1, server2", AutoOffsetReset = AutoOffsetReset.Earliest, EnableAutoCommit = true, EnableAutoOffsetStore = false, GroupId = this.groupId, SecurityProtocol = SecurityProtocol.SaslPlaintext, SaslMechanism = SaslMechanism.Plain, SaslUsername = this.kafkaUsername, SaslPassword = this.kafkaPassword, }; using (var consumer = …

10 c#  apache-kafka  kafka-consumer-api 

주제를 듣고 다른 하나는 웹 끝점을위한 두 가지 기능이있는 간단한 응용 프로그램이 있습니다. 클라이언트 측에서 EventSource를 사용하여들을 수 있도록 SSE (Server Side Event Streaming) 즉 텍스트 / 이벤트 스트림을 만들고 싶습니다. 각 함수가 특정 작업을 수행하는 다음 코드가 있습니다. import faust from faust.web import Response app = faust.App("app1", broker="kafka://localhost:29092", value_serializer="raw") …

9 python  python-3.x  apache-kafka  aiohttp  faust 

FETCH_SESSION_ID_NOT_FOUND를 지속적으로 받고 있습니다. 왜 그런지 잘 모르겠습니다. 누구든지 문제가 무엇인지, 소비자와 중개인에게 어떤 영향을 미칠지 저를 기쁘게 여길 수 있습니까? 카프카 서버 로그 : INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process the fetch request with (sessionId=258818904, epoch=2233): FETCH_SESSION_ID_NOT_FOUND. INFO [2019-10-18 …

9 apache-kafka