정보 이론은 깔끔한 조합 진술을 증명하는 데 사용 되었습니까?

54

정보 이론이 간단한 방법으로 깔끔한 조합 진술을 입증하는 데 사용되는 가장 좋아하는 예는 무엇입니까?

나는에, 예를 들어, 로컬 복호 코드에 대한 경계를 낮추기 위해 관련 생각할 수있는 몇 가지 예 이 논문 : 바이너리 문자열의 무리에 대한 가정 길이 의 은 모든 에 대해, 서로 다른 쌍 { }, 그런 다음 m은 적어도 n의 지수이며, 지수는 의 평균 비율에 선형 적으로 의존합니다. $x_1,...,x_m$ $n$ $i$ $k_i$ $j_1,j_2$

e_{i} = x_{j_{1}} \oplus x_{j_{2}} .

$e_i = x_{j_1} \oplus x_{j_2}.$

.

k_{i} / m

$k_i/m$

또 다른 (관련) 예는 부울 큐브의 일부 등식 불균형입니다 (답변에서 자유롭게 설명하십시오).

더 좋은 예가 있습니까? 짧고 설명하기 쉬운 것이 바람직합니다.

co.combinatorics big-list it.information-theory

— Dana Moshkovitz
소스

누군가가 "부울 큐브에서 다른 (관련된) 예가 일부 비 작동 비 균등성"이라고 언급 할 수 있습니까?

— vzn

40

건설적인 Lovasz Local Lemma 에 대한 Moser의 증거 . 그는 기본적으로 로컬 정리의 조건에서 SAT에 대한 두 번째로 간단한 알고리즘을 사용하여 작품을 생각할 수 있음을 보여줍니다. (가장 간단한 첫 번째 작업은 하나의 작업이 나올 때까지 임의의 할당을 시도하는 것일 수 있습니다. 두 번째 가장 간단한 방법은 임의의 할당을 선택하고 만족스럽지 않은 절을 찾아서 만족시킨 다음 다른 절이 깨지거나 되풀이되어 완료 될 때까지 반복되는 것을 확인합니다.) 이것이 다항식 시간에 진행된다는 증거는 아마도 내가 본 정보 이론 (또는 콜 모고 로프 복잡성,이 경우에 부르고 싶은 것이 무엇이든)을 가장 우아하게 사용하는 것일 것입니다.

— 조슈아 그로 호프
소스

1

Moser의 아름다운 Kolmogorov 복잡성 증명은 여기에 설명되어 있습니다 : blog.computationalcomplexity.org/2009/06/… . 그러나 나는 엔트로피 / 상호 정보 / 계산 유형의 예를 더 많이 찾고 있음을 인정해야합니다 ...

— Dana Moshkovitz 2011

이 질문에 대한 답변으로 주어진 Kolmogorov의 복잡한 응용 프로그램이 있습니다 : cstheory.stackexchange.com/questions/286

— arnab

: 테리 타오는 자신의 블로그에 모저의 주장 논의 terrytao.wordpress.com/2009/08/05/...

— 안토니 Leverrier

5

실제로, 그의 두 번째 논문 (Tardos 포함)에서 더 이상 재귀에 대한 의지가 필요하지 않습니다. 만족스럽지 않은 절을 찾고 변수에 대한 무작위 할당을 선택하고 반복하십시오 . 그게 다야. 어떤 이유로 더 간단한 알고리즘 (같은 분석을 가짐)은 멈추지 않았습니다.

— 유발 Filmus

@DanaMoshkovitz : 나는 이것이 왜 당신의 의견에 응답하여 더 빨리 말하지 않았는지 모르겠다 : Kolmogorov의 복잡성과 엔트로피는 여러면에서 본질적으로 동등합니다. 예를 들어 Hammer-Romaschenko-Shen-Vershchagin : dx.doi.org/10.1006/jcss.1999.1677을 참조하십시오 . 예를 들어, [HRSV]에 기초하여, arnab의 답변에서 Shearer 's Lemma의 증거는 엔트로피 대신에 Kolmogorov의 복잡성을 사용하여 본질적으로 동일한 증거로 증명 될 수 있습니다. 차이점은 단지 관점입니다. K는 설명 길이에 관한 것이고 H는 약

... 때로는 하나가 다른 것보다 더 쉽고 자연 스럽습니다.

\sum p_{i} \log p_{i}

$\sum p_i \log p_i$

— Joshua Grochow

33

이 유형의 가장 좋아하는 예는 Shearer 's Lemma의 엔트로피 기반 증명입니다. (나는 Jaikumar Radhakrishnan의 Entropy and Counting 에서이 증명과 다른 아주 예쁜 것들에 대해 배웠습니다 .)

제 : 사용자가 있다고 가정 에서 점 한 상의 구별 돌출부 -plane, 상의 구별 돌출부 -plane 및 상의 돌기 별개 -plane한다. 그런 다음 입니다. $n$ $\mathbb{R}^3$ $n_x$ $yz$ $n_y$ $xz$ $n_z$ $xy$ $n^2 \leq n_x n_y n_z$

증명 : 점 에서 무작위로 균일하게 선택한 점으로 둡니다 . 하자 , , 에 그 돌기를 나타내는 , 과 는 각각 평면. $p = (x,y,z)$ $n$ $p_x$ $p_y$ $p_z$ $yz$ $xz$ $xy$

한편 , 엔트로피의 기본 특성에 의해 , , , 및 . $H[p] = \log n$ $H[p_x] \leq \log n_x$ $H[p_y] \leq \log n_y$ $H[p_z] \leq \log n_z$

반면에, 우리는 및

H [p] = H [x] + H [y | x] + H [z | x, y]

$H[p] = H[x] + H[y|x] + H[z | x,y]$

H [p_{x}] = H [y] + H [z | y]

$H[p_x] = H[y] + H[z|y]$

마지막 세 방정식을 더하면 다음과 같이됩니다.

H [p_{y}] = H [x] + H [z | x]

$H[p_y] = H[x] + H[z|x]$

H [p_{z}] = H [x] + H [y | x]

$H[p_z] = H[x] + H[y|x]$

H [p_{x}] + H [p_{y}] + H [p_{z}] =

$H[p_x] + H[p_y] + H[p_z] =$

2 H [x] + H [y] +

$2H[x] + H[y]+$

H [y | x] +

$H[y|x] +$

, 여기서 컨디셔닝으로 엔트로피가 감소한다는 사실을 사용했습니다 (일반적으로

H [z | x]

$H[z|x]$

+ H [z | y]

$+ H[z|y]$

\geq 2 H [x] + 2 H [y | x] + 2 H [z | x, y] =

$\geq 2H[x] + 2H[y|x] + 2H[z|x,y] =$

2 H [p]

$2H[p]$

H [a] \geq H [a | b]

$H[a] \geq H[a|b]$ 임의의 변수

).

a, b

$a,b$

$2 \log n \leq \log n_x + \log n_y + \log n_z$ $n^2 \leq n_x n_y n_z$

— 아르나 브
소스

6

관련 논문으로는 Ehud Friedgut의 '하이퍼 그래프, 엔트로피 및 불평등'이 있습니다. 엔트로피 관점, 특히 일반화 된 Shearer 's Lemma가 어떻게 많은 표준 불평등과 비표준적이고 복잡한 모양을 쉽게 회복 할 수 있는지 보여줍니다. 나는 그것이 훌륭한 관점을 제공한다고 생각합니다. 링크 : ma.huji.ac.il/~ehudf/docs/KKLBKKKL.pdf

— Andy Drucker

26

$p$ $(L\cup R, E)$ $\prod_{v \in L} (d(v)!)^{1/d(v)}$

$M$ $H(M) = \log p$
$v \in L$ $X_v$ $R$ $v$ $M$
$X = (X_v : v \in L)$ $M$ $H(M) = H(X)$
$\leq$ $L$ $H(X) = \sum_{v\in L} H(X_v | { X_u : u < v }, \leq)$
${X_u : u < v}, \leq$ $N_v = |N(v) \setminus { X_u : u < v }|$ $v$
$N_v$ $H(X_v | { X_u : u < v }, \leq) = H(X_v | { X_u : u < v }, \leq, N_v)$
${X_u : u < v}, \leq$ $H(X_v | { X_u : u < v }, \leq, N_v) \leq H(X_v | N_v)$
$N_v$ ${1,\dots, d(v)}$
$H(X_v | N_v)$ $N_v$ $H(X_v | N_v) = \sum_{i=1}^{d(v)} \frac{1}{d(v)}H(X_v|N_v=i) \leq \frac{1}{d(v)}\sum_{i=1}^{d(v)}\log i = \log((d(v)!)^{1/d(v)}).$
결과는 모든 불평등을 결합하고 지수를 취함으로써 이어집니다.

$G$ $\prod_{v \in V(G)} (d(v)!)^{1/2d(v)}$

— 데릭 스토리
소스

1

H (X_{v} ∣ N_{v})

$H(X_v\mid N_v)$

H (X_{v} ∣ N_{v} = i)

$H(X_v\mid N_v = i)$

\log i

$\log i$

당신은 절대적으로 정확하며 불평등을 사용하기 위해 답을 편집했습니다.

— 데릭 스토리

20

조합 이론의 정보 이론 이론 인 Pippenger의 두 논문에 아주 좋은 사례들이 실려있다. J. 빗. 이론, Ser. 23 (1) : 99-104 (1977) 및 부울 함수의 엔트로피 및 열거. 정보 이론에 관한 IEEE 거래 45 (6) : 2096-2100 (1999). 실제로 Pippenger의 여러 논문에는 엔트로피 / 상호 정보를 통한 조합 사실에 대한 귀여운 증거가 포함되어 있습니다. 또한 Jukna, 컴퓨터 과학 및 Aigner 응용 프로그램과의 극한 조합, 조합 검색은 두 가지 좋은 예가 있습니다. 나는 또한 Madiman et al. 추가 조합론과 엔트로피 합계 추정치 인 Terence Tao의 정보 이론적 불평등 (Google Scholar에서 찾을 수 있음). 도움이 되길 바랍니다.

— 우고
소스

훌륭한 독서 목록처럼 보입니다!

— Dana Moshkovitz

17

또 다른 좋은 예는 Szemerédi graph regularity lemma 의 Terry Tao의 대체 증거입니다 . 그는 정보 이론적 관점을 사용하여 규칙 성 레마의 강력한 버전을 증명하는데, 이는 하이퍼 그래프에 대한 규칙 성 레마에 대한 그의 증거에 매우 유용하다는 것이 밝혀졌다 . 타오의 증거는 지금까지의 초고도 규칙 성 정리에 대한 가장 간결한 증거입니다.

이 정보 이론적 관점을 매우 높은 수준으로 설명하려고 노력하겠습니다.

$G$ $V_1$ $V_2$ $V_1 \times V_2$ $G$ $\rho = |E|/|V_1||V_2|$ $G$ $\epsilon$ $U_1 \subseteq V_1$ $U_2 \subseteq V_2$ $U_1$ $U_2$ $\rho \pm \epsilon |U_1||U_2|/|V_1||V_2|$

$x_1$ $V_1$ $x_2$ $V_2$ $\epsilon$ $U_1, U_2$ $\epsilon$ $G$ $x_1$ $U_1$ $x_2$ $U_2$ $(x_1,x_2)$ $G$ $x_1$ $U_1$ $x_2$ $U_2$ $(x_1,x_2)$

$V_1$ $V_2$ $U_1 \subset V_1, U_2 \subset V_2$ $U_1 \times U_2$ $\epsilon$ $x_1$ $x_2$ $E(x_1,x_2)$ $U_1(x_1)$ $U_2(x_2)$ $U_1$ $U_2$ $E$ $x_1 | U_1$ $x_2 | U_2$ $x_1$ $x_2$

— 2 revs
소스

15

기본적 으로이 질문에 전념하는 전체 과정이 있습니다.

https://catalyst.uw.edu/workspace/anuprao/15415/86751

과정은 여전히 진행 중입니다. 따라서이 글을 쓰는 시점에서 모든 메모를 사용할 수있는 것은 아닙니다. 또한 코스의 일부 예가 이미 언급되었습니다.

— 모리츠
소스

3

좋은 포인터 : 훌륭한 수업처럼 보입니다.

— Suresh Venkat

1

내가 알 수있는 한,이 제안은 반 코스이며, 내 질문에 대한 좋은 대답을하는 몇 가지 예가 들어있는 메모와 반 세미나는 의사 소통 하한, 추출기, 병렬 반복 등과 같은 것을 포함하여 단순한 것 이상을 필요로합니다. 정보 이론 (여기서 메모가 없으며 원본 논문에 대한 링크).

— Dana Moshkovitz

7

$n$ $\ell_2^d$ $1 \pm \epsilon$ $d$ $O(\log n / \epsilon^2)$ $\Omega(\log n / (\epsilon^2 \log(1 / \epsilon)))$ $\sim \log(1 / \epsilon)$

— 일리 아즈
소스

4

ℓ_{1}^{d}

$\ell_1^d$

이 순전히 기하학적 인 결과가 TCS 사람들에 의해 증명 된 것은 매우 자연스럽고 좋은 것 같습니다!

— ilyaraz

6

$m$ $u \in [m]$ $x \in [m]$ $x=u$ $t$ $t$

$O(m^{1/t})$ $\log m$ $u$ $t$ $i \in [t]$ $(\log m)/t$ $i$ $u$

$X$ $[m]$ $H[X] = \log m$ $X_1, \dots, X_t$ $t$ $H[X] = H[X_1] + H[X_2 | X_1] + \cdots + H[X_t | X_1, \dots, X_{t-1}] \leq t \log s$ $s$ $s \geq m^{1/t}$

$t > 1$

— 개정
소스

5

$P$ $P$ $O(\log |X|)$ $X$ $P$

— 개정판
소스

3

Jiang, Li, Vitanyi의 Kolmogorov Complexity 를 이용한 알고리즘의 평균 사례 분석

'알고리즘의 평균 사례 복잡도를 분석하는 것은 컴퓨터 과학에서 매우 실용적이지만 매우 어려운 문제입니다. 지난 몇 년 동안 우리는 Kolmogorov의 복잡성이 알고리즘의 평균 사례 복잡성을 분석하는 데 중요한 도구임을 입증했습니다. 우리는 비압축성 방법을 개발했다 [7]. 이 논문에서 우리는 몇 가지 간단한 예를 사용하여 그러한 방법의 힘과 단순성을 추가로 설명합니다. 순차적 또는 병렬 Queueusort 또는 Stacksort를 정렬하는 데 필요한 평균 사례 수 (큐)에 한계가 있음을 증명합니다. '

또한 예를 참조하십시오 콜 모고 로프 복잡성과 하일 브론 유형의 삼각형 문제 .

— 닐 영
소스

3

Scott Aaronson 의 샘플링과 검색의 동등성 . 여기서 그는 확장 교회-투어링 논문의 타당성에 관한 복잡성 이론에서 샘플링과 탐색 문제의 동등성을 보여줍니다. 표준 정보 이론, 알고리즘 정보 이론 및 콜로 모고 로프 복잡성은 기본적인 방식으로 사용됩니다.

그는
" 우리는 Kolmogorov의 복잡성을 기술적 편의상 또는 계산에 대한 약자로 사용하지 않는다고 강조 합시다. 오히려 Kolmogorov의 복잡성은 검색 문제를 정의하는 데에도 필수적이라고 생각합니다. "

— 두르 가다 타
소스

0

이것은 간단하고 근사치입니다. 10 ⁹ 중 10 ⁶ 가지를 얼마나 많이 조합 하여 중복을 허용합니까? 올바른 공식은

N = (10 ⁶ + 10 ⁹ )! / (10 ⁶ ! 10 ⁹ !) ~ = 2 ^{11409189.141937481}

그러나 수십억 개의 버킷을 따라 걸어 다니면서 버킷에 백만 개의 구슬을 떨어 뜨리라는 지시를 내린다고 상상해보십시오. ~ 10 ⁹ "다음 버킷으로 이동"지침과 10 ⁶ "대리석 떨어짐"지침이 있습니다. 총 정보는

로그 ₂ (N) ~ = -10 ⁶ 로그 ₂ (10 ⁶ / (10 ⁶ + 10 ⁹ ))-10 ⁹ 로그 ₂ (10 ⁹ / (10 ⁶ + 10 ⁹ )) ~ = 11409200.432742426

이것은 재미 있지만 (로그의) 수를 근사하는 꽤 좋은 방법입니다. 나는 combinatorics를하는 방법을 잊어 버린 경우 효과가 있기 때문에 좋아합니다. 말하는 것과 같습니다

(a + b)! / 아! 비! ~ = (a + b) ^{(a + b)} / a ^a b ^b

스털링의 근사법을 사용하고, 취소하고, 누락 한 것과 같습니다.

— 미래
소스

2

특정 숫자가 아닌 일반 경계를 사용하면 더 읽기 쉽습니다. 나는 당신이 해밍 공의 부피의 엔트로피 기반 근사에 대해 이야기하고 있다고 생각합니다.

— Sasho Nikolov

0

Linial 및 Luria의 고차원 순열에 대한 상한선을 제공하는 최근의 멋진 응용 프로그램은 다음과 같습니다. http://www.cs.huji.ac.il/~nati/PAPERS/hd_permutations.pdf

— 길 칼라이
소스