오 탐지가없는 확률 론적 세트?

따라서 블룸 필터 는 매우 멋집니다. 오탐없이 회원 확인을 지원하지만 오 탐지 가능성은 적습니다. 최근에 나는 그 반대를 보장하는 "Bloom 필터"를 원했습니다. 오 탐지가 아니라 잠재적으로 오 탐지입니다.

내 동기는 간단하다 : (중복 된) 처리 할 많은 항목 스트림이 주어지면 이전에 본 항목을 처리하지 않기를 원한다. 복제본을 처리하는 것은 아프지 않으며 시간 낭비입니다. 그러나 요소 처리를 소홀히하면 치명적일 수 있습니다. "Reverse Bloom 필터"를 사용하면 공간 오버 헤드가 거의없는 항목을 저장할 수 있으며 세트의 멤버쉽을 테스트하여 중복 가능성이 높은 항목을 처리하지 않아도됩니다.

그러나 나는 그런 종류의 것을 찾을 수없는 것 같습니다. 내가 찾은 가장 가까운 것은 " 손상된 블룸 필터 "입니다.이 필터 를 사용하면 선택한 오 탐지를 더 높은 오 음율로 교환 할 수 있습니다. 그러나 모든 오 탐지 를 제거하려고 할 때 데이터 구조가 얼마나 잘 수행되는지 모르겠습니다 .

이 같은 것을 본 사람이 있습니까? :)

한 가지 해답은 큰 해시 테이블을 사용하고 채워질 때 다른 슬롯이없는 빈 슬롯을 찾는 대신 요소를 교체하기 시작하는 것입니다. 블룸 필터를 사용하면 고정 된 오답의 고정 된 비율을 얻지 못하지만 아무것도 아닌 것보다 낫습니다. 나는 이것이 이미 검색된 위치를 추적하기위한 체스 소프트웨어에서 표준이라고 믿는다.

이 질문에 대한 답은 "아니오"입니다. 이유를 알아보기 위해 매우 극단적 인 경우와 일반적인 블룸 필터가 작동하는 방법과 이론적 인 "Bizzaro World"블룸 필터를 "구름 필터"라고 부릅니다.

블룸 필터의 장점은 오류 확률 및 저장된 항목 수 와 관련하여 고정 된 크기의 데이터 구조를 사용하여 항목 (가양 성 포함)에 대한 일방적 인 테스트를 수행 할 수 있다는 것 입니다. 항목 자체 의 크기 는 전혀 중요하지 않습니다. 예를 들어, 오류가 3 % 미만인 최대 1,000 개의 항목을 저장하도록 블룸 필터를 설정 한 경우 Wikipedia의 전체 모음에서 약간 다른 버전 1,000 개를 저장할 수 있습니다. 원하는 측정 항목을 얻으면 데이터 구조가 매우 작을 것입니다 (킬로바이트 미만). 물론 이러한 해시를 계산하는 것은 어려운 일이지만 원칙은 여전히 ​​유효합니다.

이제, 그 거대한 문자열을 우울 필터에 저장하는 것을 고려하십시오! 우리는 지금 거짓 부정만을 가질 수 있습니다. 따라서 "그렇습니다. 위키 백과 전체 집단의 버전이이 세트에 있습니다"라고 말하면, 우리는 그것에 대해 절대적으로 옳 아야합니다. 항상 같은 값으로 해시하는 다른 문자열이 있기 때문에 해싱은 도움이되지 않습니다. "yes"라고 말하고 확신 할 수있는 유일한 방법은 전체 문자열 또는 동일한 길이의 동등한 데이터를 저장하는 것입니다. 우리는 항상 그것을 저장하고 "아니오"라고 말할 수는 없었지만 결국 오류율은 우리를 따라 잡을 것입니다. 우리가 할 수있는 최선의 방법은 압축으로, 구조의 크기를 저장된 데이터의 엔트로피와 원하는 정확도의 곱으로 줄입니다.

불행히도 그놈 필터는 존재하지 않습니다. 캐싱은 유일한 솔루션이지만 크기는 저장되는 정보의 양과 필터의 원하는 정확도 비율에 비례하기 때문에 실제로 블룸 필터와 반대되는 것은 아닙니다. 물론 많은 실제 시나리오에서 큰 데이터는 ID로 표시 될 수 있으므로 캐싱은 여전히 ​​허용 될 수 있습니다. 그러나 강력한 블룸 필터와 근본적으로 다릅니다.

당신은 캐시 를 원하지만 이상한 방식으로 그것에 대해 생각하고 있습니다.

면책 조항 : 저는 캐시 전문가가 아니기 때문에 순진한 아이디어 일 수도 있고 전에는 들어 본 적이없는 알려진 아이디어 일 수도 있습니다. 참조를 인용하지 않으면 실례합니다. 게시물을 수정하고 추가 할 수있는 참조가 있으면 알려 주시기 바랍니다. (매우 직관적이기 때문에 참조가있을 것으로 의심됩니다).

$c$$c$

AVL (때로는 빨강 검정) 트리를 부분 항목과 함께 사용하여 오탐이없는 필터 역할을했습니다. 트리를 삽입하거나 쿼리 할 때 항목의 첫 번째 X 바이트 만 사용하십시오. 데이터 구조는 형식적으로 확률 적이 지 않기 때문에 비트 충돌로 오 탐지의 위험이 없습니다. 전체 항목을 캐싱하는 것과 달리이 방법은 계산 가능한 최대 공간을 제공합니다. 오 탐지 및 공간 비용과 비교하여 서로 다른 접두사 길이 / 트리 깊이를 고려하여 오 탐지 비율을 조정할 수 있습니다.

위의 데이터 구조가 존재할 수 없다는 하한을 증명할 수 있다고 생각합니다. 기본적으로 데이터 구조가 m 비트를 사용하는 경우 고정 비트 벡터 (입력 표현)는 카운팅 인수에 의해 최대 (((un) + n eps) \ choose (un)) 세트에 해당 할 수 있습니다. 이 수는 2 ^ m 배 (u \ choose n) 이상이어야하며 (모든 세트가 표시되어야 함) 기본적으로 세트 S를 정확하게 저장하는 데 가장 가까운 하한을 얻습니다.