Kafka : 지속적으로 FETCH_SESSION_ID_NOT_FOUND를 받고 있음


9

FETCH_SESSION_ID_NOT_FOUND를 지속적으로 받고 있습니다. 왜 그런지 잘 모르겠습니다. 누구든지 문제가 무엇인지, 소비자와 중개인에게 어떤 영향을 미칠지 저를 기쁘게 여길 수 있습니까?

카프카 서버 로그 :

INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process the fetch request with (sessionId=258818904, epoch=2233): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,078] [ReplicaFetcherThread-44-10][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=10, fetcherId=44] Node 10 was unable to process the fetch request with (sessionId=518415741, epoch=4416): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,890] [ReplicaFetcherThread-32-9][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=9, fetcherId=32] Node 9 was unable to process the fetch request with (sessionId=418200413, epoch=3634): FETCH_SESSION_ID_NOT_FOUND.

카프카 소비자 로그 :

12:29:58,936 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 8 was unable to process the fetch request with (sessionId=1368981303, epoch=60): FETCH_SESSION_ID_NOT_FOUND.
12:29:58,937 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1521862194, epoch=59): FETCH_SESSION_ID_NOT_FOUND.
12:29:59,939 INFO  [FetchSessionHandler:383] [Consumer clientId=zoneGroupMap#87e2af7cf742#test, groupId=zoneGroupMap#87e2af7cf742#test] Node 7 was unable to process the fetch request with (sessionId=868804875, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:06,952 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1135396084, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:12,965 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 6 was unable to process the fetch request with (sessionId=1346340004, epoch=56): FETCH_SESSION_ID_NOT_FOUND.

클러스터 세부 사항 :

Broker: 13 (1 Broker : 14 cores & 36GB memory)
Kafka cluster version: 2.0.0
Kafka Java client version: 2.0.0
Number topics: ~15. 
Number of consumers: 7K (all independent and manually assigned all partitions of a topic to a consumers. One consumer is consuming all partitions from a topic only) 

Kafka Java 클라이언트 버전 2.3.1에서 이와 동일한 오류가 발생합니다. 누구든지 아이디어가 있습니까?
Bert S.

@BertS.이 값을 증가max.incremental.fetch.session.cache.slots
Hrishikesh Mishra

안녕하세요 @HrishikeshMishra가이 문제에 대해 찾은 해결책입니까? 게시물에 대한 답변으로 추가하고 가능한 경우 약간의 설명만으로도 추가 하시겠습니까? 나는 같은 문제를 겪고 있으며 위의 솔루션을 테스트 할 것입니다.
Jorge Campos

이것은 정보 로그입니다. 그것을 무시하는 것의 의미는 무엇입니까?
Bert S.

답변:


1

의 값을 늘리십시오 max.incremental.fetch.session.cache.slots. 기본값은 1K이며, 필자의 경우 10K로 늘리고 수정했습니다.


이것은 브로커의 설정입니까?
버트 S.

예, 브로커 설정
Hrishikesh Mishra

소비자 또는 생산자 측에서 할 수있는 일이 있습니까?
Bert S.

생산자 및 소비자 측에서는 아무것도 필요하지 않습니다.
Hrishikesh Mishra

소비자에게 오류가 표시됩니다. 브로커 자체를 수정할 수있는 권한이 없습니다. 이것이 나에게 관심이 될까?
Bert S.

0

처음에는 1K에서 2K로, 두 번째 단계에서 2K에서 4K로 늘리고 한계가 소진되지 않는 한 오류가 나타나지 않았습니다.

여기에 이미지 설명을 입력하십시오

여기에 이미지 설명을 입력하십시오

특정 미확인 소비자의 세션 누수처럼 보였으므로 아직 10K 제한을 시도하지는 않았지만 Hrishikesh Mishra의 답변을 읽으면 분명히 그럴 것입니다. 따라서 한계를 늘리면 오류 빈도도 줄어 들었으므로 여기에 언급 된 증분 페치 세션 수가 과도하게 증가하는 개별 소비자 그룹을 식별하는 문제는 여기에 언급 되어 있습니다. Kafka 클러스터에 사용 된 실제 증분 페치 세션 캐시 슬롯 수를 확인하는 방법은 무엇입니까? , 결국 관련이 없을 수 있습니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.