안티 블룸 필터가 있습니까?

블룸 필터가 효과적으로 다양한 값이 이미 처리 동안 발생했는지 여부를 추적하는 것이 가능하다. 많은 데이터 항목이있는 경우 Bloom 필터는 해시 테이블에서 메모리를 크게 절약 할 수 있습니다. 해시 테이블과 공유하는 Bloom 필터의 주요 기능은 항목이 새 항목이 아닌 경우 항상 "새 항목 아님"이라고 표시하지만 항목이 "새 항목이 아님"으로 표시 될 가능성은 0이 아닙니다 "새로운 때에도.

반대 행동을하는 "Bloom anti-Bloom filter"가 있습니까?

다시 말해, 아이템이 새로운 경우 "신규"라고 말하지만 새로운 것이 아닌 일부 아이템에 대해서는 "신규"라고 말하는 효율적인 데이터 구조가 있습니까?

앞에서 본 모든 항목 (예 : 정렬 된 링크 목록)을 유지하면 첫 번째 요구 사항을 충족하지만 많은 메모리를 사용할 수 있습니다. 편안한 두 번째 요구 사항을 감안할 때 필요하지 않기를 바랍니다.

보다 공식적인 치료를 선호하는 사람들 은 Bloom 필터가 x 가 새로운 것으로 생각하면 , 그렇지 않으면 b ( x ) = 0 , x가 정말로 새로운 경우 n ( x ) = 1 이라고 쓰고 n ( x 그렇지 않으면 ) = 0 입니다.$b(x) = 1$$x$$b(x) = 0$$n(x) = 1$$x$$n(x) = 0$

그런 다음 $Pr[b(x) = 0 | n(x) = 0] = 1$ ; $Pr[b(x) = 0 | n(x) = 1] = \alpha$ ; $Pr[b(x) = 1 | n(x) = 0] = 0$; $Pr[b(x) = 1 | n(x) = 1] = 1 - \alpha$ 일부, $0 < \alpha < 1$ .

I는 해달라고 : 않는 함수를 구현하는 효율적인 데이터 구조에 존재하는 $b'$ 일부 $0 < \beta < 1$ ,되도록 $Pr[b'(x) = 0 | n(x) = 0] = \beta$ ; $Pr[b'(x) = 0 | n(x) = 1] = 0$ ; $Pr[b'(x) = 1 | n(x) = 0] = 1 - \beta$ ; $Pr[b'(x) = 1 | n(x) = 1] = 1$ ?

편집 : 이 질문은 이전에 /programming/635728 및 /cstheory/6596 과 같이 StackExchange에서 요청 된 것으로 보입니다 . done "에서"일부 비용으로 수행 할 수 있음 "에서" 의 값을 바꾸면 간단합니다 $b$. " "올바른"답변이 무엇인지는 아직 명확하지 않습니다. 무엇 이며 분명한 것은 (Ilmari 카로 넨가 제시 한 하나 같은) 오히려 잘 작동 어떤 종류의 LRU 캐싱 방식은 구현하기 쉽다는 점이다, 내 코드를 실행하는 데 걸리는 시간이 50 % 감소 귀착되었다.

Patrick87의 해시 아이디어와 함께 여러분의 요구 사항 을 거의 충족시키는 실용적인 구조 가 있습니다. 예전 값에 대해 새로운 값을 잘못 잘못 입력 할 가능성은 거의 없지만 무시할 수 없을 정도로 작게 만들 수 있습니다.

$n$$k$$n = 128$$k = 16$$H$$n+k$

$a$$2^k$ $n$$n2^k$

• $x$$i \,\|\, j = H(x)$$i$$k$$j$$n$$H(x)$$a_{i} = j$

• 값 가 필터에 추가 되었는지 테스트하려면 위와 같이 를 계산하고 인지 확인하십시오 . 그렇다면 true를 반환하십시오. 그렇지 않으면 false를 반환합니다.$x'$$i' \,\|\, j' = H(x')$$a_{i'} = j'$

주장 1 : 오 탐지 확률 (= 거짓으로 주장 된 새로운 값)은 입니다. 이것은 을 증가시킴으로써 저장 공간에서 적당한 비용으로 임의로 작게 만들 수있다 . 특히, ,이 확률은 본질적으로 무시할 수 있으며, 실제로 하드웨어 오작동으로 인한 오 탐지 확률보다 훨씬 작다.$1/2^{n+k}$$n$$n \ge 128$

특히, 개의 별개의 값이 검사되고 필터에 추가 된 후, 적어도 하나의 오 탐지 발생 확률은 입니다. 예를 들어, 및 인 경우 50 % 확률로 오 탐지를 얻는 데 필요한 고유 값의 수는 약 입니다.$N$$(N^2-N) / 2^{n+k+1}$$n=128$$k=16$$2^{(n+k)/2} = 2^{72}$

클레임 2 :가 음성 확률 (= 이전에 추가 된 값이 새 것으로 잘못 주장 됨)은 (여기서 은 필터에 추가 된 고유 값의 수입니다.보다 구체적으로, 테스트중인 특정 값 이후 에 추가 된 고유 값의 수가 가장 최근에 필터에 추가되었습니다).$1-(1-2^{-k})^N \approx 1-\exp(-N/2^k) < N/2^k$$N$

추신. "매우 작은 크기"를 원근법으로 표현하기 위해 일반적으로 현재 알려진 기술로 는 128 비트 암호화가 깨지지 않는 것으로 간주됩니다 . 로이 구성표에서 오 탐지를 얻는 것은 누군가 자신의 첫 번째 시도에서 비밀 128 비트 암호화 키 를 올바르게 추측하는 것 입니다. ( 및 인 경우 실제로는 그보다 약 65,000 배 적습니다.)$n+k=128$$n=128$$k=16$

그러나 그래도 여전히 비이성적으로 긴장감을 느끼면 항상 전환 할 수 있습니다 . 그것은 스토리지 요구 사항을 다시 한 번 겠지만, 나는 안전하게 당신에게 당신이 그 이름을하지하는 걱정 것 어떤 합계 내기 할 것이다 아무도 이제까지 와 가양 참조 - 해쉬 함수가 어쨌든, 파손되지 않는 것으로 가정합니다.$n=256$$n=256$

아니요, 데이터 구조가 실제로 새 것이면 "새로운 것"이라고 보장하려면 (이 경우에는 "새로운 것이 아님"이라고 말하지 않음) 이러한 속성을 사용하여 효율적인 데이터 구조를 가질 수 없습니다. 실제로는 새롭고 허위 부정은 허용되지 않습니다). 이러한 데이터 구조는 모든 데이터가 "새로운 것이 아닌"응답을 유지하도록해야합니다. 정확한 근거 는 ctstheory에 대한 pents90의 답변을 참조하십시오 .

반면에 블룸 필터 는 데이터 구조가 새롭지 않은 경우 효율적인 방식으로 "새로운 것이 아니라"고 보장 할 수 있습니다 . 특히, 블룸 필터는 모든 데이터를 저장하는 것보다 더 효율적일 수 있습니다. 각 개별 항목은 상당히 길 수 있지만 블룸 필터의 크기는 전체 길이가 아닌 항목 수 에 따라 조정됩니다 . 문제에 대한 모든 데이터 구조 는 데이터 항목 수가 아닌 전체 데이터 길이 에 따라 확장되어야합니다 .

해시 테이블은 어떻습니까? 새 항목이 표시되면 해시 테이블을 확인하십시오. 품목 자리가 비어 있으면 "신규"를 반환하고 품목을 추가하십시오. 그렇지 않으면, 품목의 자리가 품목에 의해 점유되어 있는지 확인하십시오. 그렇다면 "새것이 아닙니다"를 반환하십시오. 스팟이 다른 항목에 의해 점유 된 경우 "new"를 반환하고 스팟을 새 항목으로 덮어 씁니다.

이전에 항목의 해시를 본 적이 없다면 항상 "신규"를 정확하게 얻을 수 있습니다. 동일한 항목을 볼 때 항목의 해시 만 본 경우 항상 "새 항목이 아님"으로 표시됩니다. 정답이 "신규 아님"일 때 "신규"를 얻는 유일한 경우는 항목 A를 본 다음 항목 B를 본 다음 항목 A를 다시보고 A와 B를 모두 해시하는 것입니다. 중요하게도 "신규 아님"을 잘못받을 수는 없습니다.

항목의 유니버스가 유한 한 경우 예 : 집합에있는 것이 아니라 집합에있는 요소를 기록하는 블룸 필터를 사용하십시오. (즉, 관심 집합의 보수를 나타내는 블룸 필터를 사용하십시오.)

이것이 유용한 장소는 제한된 형태의 삭제를 허용하는 것입니다. 두 개의 블룸 필터를 유지합니다. 그들은 빈 시작합니다. 요소를 삽입 할 때 블룸 필터 A에 요소를 삽입합니다. 나중에 요소를 삭제하려면 해당 요소를 블룸 필터 B에 삽입합니다. 삭제를 취소 할 방법이 없습니다. 조회를 수행하려면 먼저 블룸 필터 A에서 조회합니다. 일치하는 항목이 없으면 항목이 삽입되지 않은 것입니다 (확률 1). 일치하는 항목을 찾으면 요소가 삽입되었거나 삽입되지 않았을 수 있습니다. 이 경우 블룸 필터 B에서 조회를 수행합니다. 일치하는 항목이 없으면 항목이 삭제되지 않습니다. 블룸 필터 B에서 일치하는 항목을 찾으면 항목이 삽입 된 후 삭제 된 것입니다.

이것은 실제로 귀하의 질문에 대한 답변은 아니지만,이 제한된 경우 블룸 필터 B는 귀하가 찾고있는 "블룸 방지 필터"동작을 정확하게 수행합니다.

Real Bloom 필터 연구자들은 삭제를 표현하는 데 훨씬 더 효율적인 방법을 사용 합니다 . Mike Mitzenmacher의 간행물 페이지를 참조하십시오 .

운 좋게도 상황에 처해 있다면 여러분이 볼 수있는 모든 값 를 알고 있다는 것을 여기에 추가하고 싶습니다 . 카운팅 블룸 필터를 사용할 수 있습니다.$v_i$

예를 들어 ip-addresses가있을 수 있으며, 이전에 본 적이없는 것으로 보일 때마다 알고 싶습니다. 그러나 여전히 유한 한 세트이므로 예상 할 수있는 것을 알고 있습니다.

실제 솔루션은 간단합니다.

1. 계산 항목 필터에 모든 항목을 추가하십시오.
2. 새 항목이 표시되면 모든 슬롯에 값이 있습니다 .$\ge1$
3. 실제 새 항목을 본 후 필터에서 빼십시오.

따라서 실제로 오래되었지만 새로운 것으로 인식되는 '거짓 긍정'값이있을 수 있습니다. 그러나 새로운 가치에 대해서는 결코 새로운 것이 아닙니다. 그 가치는 여전히 모든 슬롯에 있으며, 아무도 그것을 빼앗을 수 없었기 때문입니다.