Kolmogorov의 복잡성을 사용한 채널 코딩 결과

12

일반적으로 Shannon 엔트로피는 채널 코딩 결과를 증명하는 데 사용됩니다. 소스 채널 분리 결과에도 섀넌 엔트로피가 사용됩니다. Shannon (전역) 대 Kolmogorov (현지) 정보 개념 사이의 동등성을 감안할 때 이러한 결과에 Kolmogorov 복잡성을 활용하는 연구가 있었습니까 (또는 소스 채널 분리 결과에서 소스 코딩 부분을 대체 할 수는 없었습니까)?

it.information-theory kolmogorov-complexity shannon-entropy

— vs
소스

Li & Vitanyi 책 의 3 판을 보았 습니까? 내가 실수하지 않은 경우,이 책의 8. 장은 최신판에 추가되었으며 Information Theory에 관한 장을 포함합니다. Kolmogorov의 복잡성으로 분석 된 Shannon 엔트로피, 상호 정보, 속도 왜곡 등이 특징입니다.

— Juho

안녕하세요. 그러나 Shannon의 시끄러운 코딩 정리에는 적용 할 수 없습니다!

— vs

8

채널 용량의 경우 Shannon 엔트로피를 Kolmogorov 복잡도로 대체하기가 어렵습니다. 채널 용량의 정의에는 엔트로피에 대한 언급이 포함되어 있지 않습니다. Shannon 엔트로피를 사용하면 채널 용량에 대한 올바른 공식 을 얻을 수 있습니다 (섀넌의 정리). 수식을 Kolmogorov 복잡도를 가진 수식으로 Shannon 엔트로피로 바꾸면 아마도 다른 수식 일 것이므로 잘못된 답 이 될 것 입니다.

$K$ $C$ $K/C$

소스 채널 분리 정리의 어려운 부분은 먼저 압축하고 인코딩하는 명백한 방법 (이전 단락에서 설명 함)보다 더 나은 방법을 사용할 수 없음을 보여줍니다. Kolmogorov의 복잡성과 채널 용량에 대해 이것을 입증 한 사람이 있는지는 모르겠지만 조사하기에는 합당한 질문입니다.

— 피터 쇼어
소스

K

$K$

K

$K$

1

C \leq 1

$C \leq 1$

Ω (\log^{*} n)

$\Omega(\log^{*}n)$

n

$n$

\log \log n

$\log\log{n}$

r

$r$

\frac{r}{\log^{*} r}

$\frac{r}{\log^{*}r}$

1

Shannon의 엔트로피와 Kolmogorov의 복잡성에서 로컬 / 전역 한정자를 사용할 때 무슨 말을하는지 잘 모르겠습니다.

내가 틀렸다면 나를 바로 잡으십시오.

섀넌의 엔트로피는 계산 가능합니다. Kolmogorov의 복잡성은 아닙니다. 따라서 동일한 문제를 설명하지 않습니다.

Shannon의 엔트로피를 Kolmogrov의 복잡성의 상한으로 볼 수 있습니다.

— 필
소스

Shannon 엔트로피는 어떻게 상한입니까? 나는 그것이 모두 동일하다는 것이 입증되었습니다.

— T ....