동일한 편향 동전에서 공정한 동전 던지기를 얻는 가장 좋은 방법은 무엇입니까?

21

폰 노이만 (Von Neumann)은 동일한 편향 동전에 접근 할 수있는 공정한 동전을 시뮬레이트하는 알고리즘을 제공했습니다. 알고리즘은 잠재적으로 무한한 수의 동전을 필요로합니다 (예상치 만해도 충분하게 충분합니다).이 질문은 동전 던지기 횟수가 제한됨)

bias 동일한 동전 이 있다고 가정하십시오 . 목표는 바이어스를 최소화하면서 단일 동전 던지기를 시뮬레이션하는 것입니다. $n$ $\delta=P[Head]-P[Tail]$

다항식 시간으로 실행되는 알고리즘은 랜덤 비트를 보고 단일 비트를 출력합니다. 알고리즘의 바이어스는기대는에 의해 정의 된 분배를 통해 수행되는 곳 IID 비트 되도록 . $n$ $Bias(A)=|E[A=0]-E[A=1]|$ $n$ ${x_1,\ldots,x_n}$ $Prob[x_i=1]-Prob[x_i=0]=\delta$

다항식 시간으로 실행 되는 알고리즘 중 바이어스가 가장 작은 바이어스 무엇입니까? $A$ $Bias(A)$

이 질문은 나에게 매우 자연스럽고 이전에 고려되었을 가능성이 큽니다.

이 문제에 대해 알려진 것은 무엇입니까? 더 약한 클래스 ( 등)의 알고리즘이 고려 될 때 알려진 것이 있습니까? $AC_0$

cc.complexity-theory circuit-complexity pr.probability

— 흐 루시 케쉬
소스

15

n 개의 바이어스 동전을 던지고 머리의 패리티를 얻는 것은 기하 급수적으로 가깝습니다 . $\frac{1}{2}$

[증거의 경우 머리는 -1이고 꼬리는 1 인 임의의 변수를 고려하면 홀수 개의 머리가있을 확률은 ] $E\left[\frac{1}{2} + \frac{1}{2}\prod_i X_i\right] = \frac{1}{2} + \frac{1}{2}\delta^n$

아마도 이것은 다음과 같은 이유로 최적입니다. 를이 비트의 구성 함수라고 합시다 . 그런 다음 이고 가장 좋은 는 패리티 함수 인 것 같습니다 (그렇지 않습니까?). $f$ $\text{Bias}(f) = \sum_S \hat{f}(S) \delta^{|S|}$ $f$

복잡성이 낮은 컴포지션 함수에 관심이 있다면 아마도 NP 내의 경도 증폭 에 관한 Ryan O'Donnell의 논문 이 매우 적합 할 것입니다. 거기서 그는 경도 증폭을 위해 모노톤 구성 기능을 사용하고 작동하는 기능은 노이즈 감도로 특징지었습니다.

— 람 프라 사드
소스

패리티가 최고의 기능이어야하는 이유를 친절하게 설명해 주시겠습니까? (또한 무의식적으로 중요하지는 않지만 ? 이후 푸리에 확장에서는 가 아니어야합니다 . 종이에 대한 포인터 주셔서 감사합니다!

d e l t a^{| S |}

$delta^{|S|}$

E [x_{i}] = δ

$E[x_i]=\delta$

— Hrushikesh

아 죄송합니다, 당신 말이 맞아요 식이 잘못되어 수정되었습니다. 나는 최적의 증거를 가지고 있지는 않지만 (아마 최적이 아닐 수도 있음) 추측 한 이유는 표현이 대신 는 볼록한 조합이기 때문입니다.

\sum_{S} \hat{f} (S)^{2} δ^{| S |}

$\sum_S \hat{f}(S)^2 \delta^{|S|}$

— Ramprasad

아마도 이것은 약간의 빛을 비출 수도 있습니다. Cauchy-Schwarz는 . 최적화하는 한 가지 방법은 가능한 한 상한을 최소화하는 것이며 함수 가 패리티 함수일 때 발생 하며,이 경우 관심있는 수량이 상한과도 일치합니다. 그러나 푸리에 계수의 벡터가 -vector와 완전히 직교하는 경우가있을 수 있습니다.이 경우 LHS는 0입니다! 그러한 예를 알고있는 의 특별한 값이 있습니까?

\sum_{S} \hat{f} (S) \leq \sqrt{\sum_{S : \hat{f} (S) \neq 0} δ^{2 | S |}}

$\sum_{S} \hat{f}(S) \leq \sqrt{\sum_{S:\hat{f}(S)\neq 0} \delta^{2|S|}}$

f

$f$

δ

$\delta$

δ

$\delta$

— Ramprasad

실제로, 사소하지 않은 모노톤 함수 취한 다면, 에서 의 확률 은 0이고 에서는 입니다. 따라서 일부 중간 의 경우 값을 합니다. 따라서 모든 에 대해 패리티 함수가 최적 이라고 기대하는 것은 불공평합니다 .

f

$f$

δ = - 1

$\delta = -1$

f (x_{1}, \dots, x_{n}) = 1

$f(x_1,\cdots, x_n) = 1$

δ = 1

$\delta=1$

1

$1$

δ

$\delta$

\frac{1}{2}

$\frac{1}{2}$

δ

$\delta$

— Ramprasad

마지막 코멘트를 더 자세히 설명해 주시겠습니까? f의 복잡성 문제를 무시하고, 패리티가 에서 로 편향되기 때문에 대해 경우에만 결론이 맞지는 않습니다 ?

E [f] = 1 / 2

$E[f]=1/2$

δ \geq \frac{1}{2^{1 / n}}

$\delta \geq \frac{1}{2^{1/n}}$

δ

$\delta$

δ^{n}

$\delta^n$

— Hrushikesh

12

당신은 편견이 알려 지거나 알려지지 않았다고 말하지 않습니다. 폰 노이만 알고리즘의 마술은 두 경우 모두 작동한다는 것입니다.

알려진 것으로 가정하십시오. 최선의 대답은 편견의 수 이론적 특징에 결정적으로 달려 있습니다. p = 2/3를 봅시다. 동전을 두 번 던지고 HH를 0으로, TH 및 HT를 1로 매핑하고 결과가 TT 인 경우 실험을 반복합니다. 그런 다음 0과 1은 똑같이 가능하며 반복 가능성은 von Neumann의 알고리즘으로 5/9 대신 1/9에 불과합니다. 또는 귀하의 용어로 말하면 반복 한계가 2 인 경우 결과 중 하나만 1/9로 바이어스합니다.

이것은 모두 정보 이론 및 코딩 이론과 밀접한 관련이 있습니다. p가 분자와 분모가 더 복잡한 분수 인 경우 최상의 알고리즘은 2보다 긴 블록 길이가 필요합니다. Shannon 스타일 존재 인수를 사용하여 주어진 바이어스에 대해 최적의 절차가 있음을 보여줄 수 있습니다 원하지만 블록 길이가 매우 커질 수 있습니다.

그의 논문에서 Ves Neumann의 랜덤 비트 추출 절차 반복 은 폰 뉴만 알고리즘의 버전이 섀넌 한계에 임의로 접근 할 수 있음을 증명합니다. 이 분야의 많은 작업은 정보 이론가와 통계학자가 수행 한 것으로 보이므로 복잡한 이론 이론이있는 논문을 생각할 수는 없습니다.

공정한 비트 소스가있는 경우, 2의 제곱이 아닌 세트에 대해 어떻게 균일 한 분포를 효율적으로 생성합니까? 귀하의 질문과 유사한 문제의 반복 제한 버전은 공정 동전의 n 토스로 엔트로피를 최대화 (즉, 가능한 한 균일하게 분배)하도록 요청합니다.

— Vognsen 당
소스

1

편견이없는 실행 시간을 최적화하는 것 (용지가하는 것)이 실행 시간에 대한 편향을 최적화하는 것보다 Lagrange가 이중이라는 것이 나에게 일어났다. 그래서, 나는 종이가 실제로 당신의 질문에 대답한다고 생각합니다!

— 당 Vognsen

5

나는 다음과 같은 일반화 된 형태로 질문을 생각하는 것을 선호합니다. 우리는 hight n의 완전한 이진 트리를 가지고 있습니다. 여기에서 각 노드에는 숫자의 숫자 합이 1로 할당됩니다. 우리는 나뭇잎을 두 세트로 나눌 수 있습니다. 그들이 가까운 숫자?

매개 변수 및 코인을 바이어스 하면 노드의 값은 입니다. $p$ $q=1-p$ $p^i q^{n-i}$

다른 답변에서 언급했듯이, 비트의 패리티를 취하는 대부분의 해적 목적으로 좋습니다. 치우침은 입니다. $\sum_{i} {\binom{n}{i} parity(x) p^i q^{n-i}} = \sum_{i} {\binom{n}{i} (-p)^i q^{n-i}} = (q-p)^n$

일반적으로 충분한 컴퓨팅 리소스 (예 : 임의의 비트 수의 )가있는 경우 가능한 최상의 방식으로 노드를 분할 할 수 있습니다. $PSpace$

편집 "이것은 기본적으로 Shannon 코딩 문제입니다." (Per Vognsen에게 감사합니다.) 편집 종료

다른 한편으로, 우리가 만 사용하도록 허용된다면 , 전환 렘마로 인해 많은 것을 성취 할 수 없다는 것을 보여주기가 어렵지 않습니다. 이 회로는 CNF에 의해 기하 급수적으로 근사화 될 것이며 CNF가 좋은 편향으로 답을 계산할 수 없음을 나타내 기는 어렵지 않습니다. $AC^0$

(이 답변에는 오류가있을 수 있습니다. 자세한 내용을 확인하지 않았습니다.)

— 카베
소스

2

"가까운 숫자의 합을 두 세트로 나눌 수 있습니까?" 이것은 기본적으로 Shannon 코딩 문제입니다. Shannon-Fano 알고리즘은 하향식이며 확률 가중 요소로 시작하여 가능한 짝수 이분법을 요청합니다. 이것을 재귀 적으로 적용하면 완전한 프리픽스 프리 코드가 제공됩니다. 허프만 알고리즘은 상향식입니다. 단일 트리로 시작하여 가장 가까운 확률로 쌍을 반복적으로 병합합니다. 산술 코딩에 대해 알고 있다면 한 번에 하나씩이 아니라 한 번에 여러 개의 페어 비트를 생성하는 것이 좋습니다.

— 당 Vognsen

4

바이어스 동전에서 임의의 비트를 얻을 수도 있습니다. 제품 배포판 (http://sites.google.com/site/arielgabizon1/)에서 Gabizon의 논문 Derandomizing 알고리즘을 참조하십시오.

3

관련 질문, 다른 사이트 : 임의 비트 시퀀스 미백

— BCS
소스

1

편향된 동전으로 짝수의 동전 던지기를 편향시키지 않으려면 편견을 제거하는 쉬운 방법은 다른 모든 던지기의 결과를 반대로하는 것입니다.

— 딘 제이
소스

1

이것은 물론 균일 한 무작위 시퀀스를 초래하지는 않습니다. 코인의 바이어스가 1이되면 제한적인 경우를 상상해보십시오. 결정적인 교호 비트 시퀀스를 얻게됩니다.

— Aaron Roth

결과를 bimapively remaps하는 모든 전략은 엔트로피를 유지하므로, 비 최대 엔트로피 (바이어스 드)에서 최대 엔트로피 (비 바이어스 드)로 분포를 변경할 수 없습니다.

— 당 Vognsen