확률 분포와 계산 복잡성

이 질문은 확률 이론과 계산 복잡성의 교차점에 관한 것입니다. 하나의 주요 관찰은 일부 분포는 다른 분포보다 생성하기가 쉽다는 것입니다. 예를 들어, 문제

숫자 주어지면 균일하게 분포 된 숫자 를 반환합니다 . $n$ $i$ $0 \leq i < n$

해결하기 쉽습니다. 한편, 다음의 문제는 훨씬 어렵거나 어려운 것으로 보인다.

숫자 주어 숫자 리턴 되도록 이다 (괴델의 수)의 길이 N 아노 산술 유효한 증거. 또한 이러한 증명의 수가 인 경우 길이 의 특정 증명을 얻을 수있는 확률 은 이어야합니다 . $n$ $i$ $i$ $pr(n)$ $n$ $\frac{1}{pr(n)}$

이것은 확률 분포에 계산 복잡성의 개념이 따른다는 것을 의미합니다. 또한,이 복잡성은 아마도 기본 결정 문제 (예를 들어 , , 재귀 적, 재귀 적으로 열거 가능한 또는 더 나쁜) 와 같은 하위 재귀 문제와 밀접한 관련이 있습니다 . $P$ $EXP$

내 질문은 확률 분포의 계산 복잡성을 어떻게 정의 하는가, 특히 근본적인 의사 결정 문제를 결정할 수없는 경우입니다. 나는 이것이 이미 조사되었다고 확신하지만 어디를 볼지 잘 모르겠습니다.

— 마틴 버거
소스

또 다른 흥미로운 예 (하지만 결정 가능)는 양자 푸리에 변환입니다. 주어진 는 의 확률이 비례하도록 숫자 반환합니다. , .

f (k) = a^{k} \mod b

$f(k)=a^k \mod b$

l \in [0, N]

$l \in [0,N]$

l

$l$

| F (l) |

$\left|F(l)\right|$

F (l) = \sum_{k = 0}^{N} f (k) e^{- 2 π i k l / N}

$F(l) = \sum_{k=0}^N f(k) e^{-2\pi ikl/N}$

— 방황 논리

두 예제 모두 불연속 균일 분포입니다. 나는 다른 복잡성이 계산하기가 얼마나 어려울 지 상상할 것이다.여기서 는 지원입니다.

| χ |

$|\chi|$

χ

$\chi$

— Nicholas Mancuso 2016 년

@NicholasMancuso 나는 계산 + 부정형 선택이 항상 사용될 수 있음에 동의합니다. 어떤 의미에서 그것은 상한을 제공합니다. 이것이 말할 수있는 전부입니까? 문헌에서 이것이 조사 된 곳은?

— Martin Berger

@NicholasMancuso 제가주는 예는 균일 한 분포입니다. 그러나 비 균일 분포에 대해서도 같은 질문을 할 수 있습니다. 배포에 대해 궁금 할 수도 있습니다 . 불연속 분포와 관련하여 : prima facie, counting은 일반적으로 충분하지 않은 것으로 보입니다 . 균일하게 선택한 후에 번째 요소 를 생성 할 수도 있어야합니다 . 즉, 계산이 문제의 핵심 일 수 있습니다.

R

$\mathbb{R}$

i

$i$

i

$i$

— Martin Berger

@NikosM. 고맙지 만 그 링크는 기본 분포의 복잡성에 대해 아무 말도하지 않습니다. 참고 문헌 은 균일 분포 에 대한 변환 에 대해 설명합니다 . 그러나 그 변환은 계산이 어렵거나 쉽지 않을 수 있습니다.

ϕ

$\phi$

— Martin Berger

확률 분포의 복잡성은 Levin의 평균 사례 복잡성 이론 에서 DistNP 와 같은 분포 문제를 연구 할 때 특히 나타납니다 .

누적 밀도 함수를 다항식 시간으로 평가할 수있는 경우 분포는 P 계산 가능 합니다.

다항식 시간으로 표본을 추출 할 수 있다면 분포는 P- 샘플링이 가능합니다.

분포가 P 계산 가능하면 P 샘플링 가능합니다. 특정 단방향 함수가 존재하면 반대의 경우가 아닙니다.

정의를 다른 복잡성 클래스로 확장 할 수 있습니다.

Oded Goldreich 에는 확인하고 싶은 주제에 대한 좋은 소개 노트 가 있습니다.

— 카베
소스

고맙게도, 샘플링 분포에 대한 이론은 내가 찾던 것과 비슷 하다고 생각합니다 . 그러나 에 대한주의를 제한 할 이유가 없습니다 . 복잡한 클래스 대해 샘플링 가능한 분포를 정의 할 수 있습니다 . 최근에 확률 론적 프로그래밍 언어 가 등장함에 따라 필수 요소가되었습니다.

P

$P$

P

$P$

C

$C$

C

$C$

— Martin Berger

@ 마틴. 있었다 확률 프로그래밍에 대한 자습서는 ( 슬라이드 나는 그것이 매우 흥미로운 발견 참석했다 사람을 듣고 NIPS 2015 년에, 비디오가 아니라 게시 될 것입니다). ML / Stats와 PL의 교차점에서 일하는 사람들을 만나서 반갑습니다. :)

— Kaveh

예, 주요 문제는 이러한 언어 (일반 프로그래밍 가능 샘플러)가 느리다는 것입니다. 어떻게 속도를 높일 수 있습니까?

— Martin Berger