다 항적으로 알 수있는 정보에 대한 정보 이론의 일반화가 있습니까?

9

죄송합니다. 이것은 "부드러운"질문입니다.

정보 이론에는 계산 복잡성의 개념이 없습니다. 예를 들어, SAT의 인스턴스, 또는 SAT의 인스턴스 및 만족도를 나타내는 비트에 동일한 양의 정보가 전달된다.

"다 항적으로 알 수있는"개념을 공식화하는 방법이 있습니까?

이러한 프레임 워크는 예를 들어 Y가 주어진 다항식 시간에서 X를 계산하는데 필요한 비트 수로서 랜덤 변수 X 상대 Y 사이의 다항 -KL 발산의 개념을 정의 할 수있다.

마찬가지로, 랜덤 변수 X의 엔트로피는 다항식 시간으로 디코딩 될 수있는 방식으로 X를 인코딩하는 데 필요한 비트 수로 정의 될 수있다.

그러한 일반화가 연구 되었습니까? 일관성을 유지할 수 있습니까?

cc.complexity-theory it.information-theory polynomial-time

— 아서 B
소스

1

Cryptography SE crypto.stackexchange.com 에서 이것을 요청 했습니까 ?

— Zsbán Ambrus 2016

2

암호 사람들이 대답을 할 수도 있지만 여기서는 주제에 대한 주제가 완벽하며 여기서 좋은 대답을 얻을 가능성이 더 높습니다. 간단한 참고 사항 : Crypto.SE에 동일한 질문을 다시 게시하지 마십시오. 여러 SE 사이트에 대한 교차 게시는 사이트 규칙에 따라 금지됩니다.

— DW

9

예. 시간 제한 Kolmogorov의 복잡성은 최소한 "일반화"중 하나입니다 (엄격히 말하면 일반화가 아니라 관련 개념 임). 범용 튜링 기계 고정하십시오 . (아래 첨자 가 종종 표시됨)로 표시 되는 문자열 ( )가 주어진 문자열 의 -시간 제한 Kolmogorov 복잡도 는 가장 짧은 문자열 ( 위한 "프로그램" )되도록 등의 계산한다는 최대로 얻어 $U$ $t(n)$ $x$ $y$ $U$ $K^t_U(x | y)$ $U$ $p$ $U$ $U(p,y)=x$ $U(p,y)$ $t(|x|)$ 시각. 이것을 "조건부 정보"의 정의로 받아들이면 정보 이론에서 모든 일반적인 개념을 정의 할 수 있습니다.

그러나,이 시한 설정에서, 정보 이론의 모든 일반적인 정리 가 유지 되는 것은 아닙니다 . 예를 들어, 정보의 대칭성은 일반적인 Kolmogorov 복잡성 (시간 제한 없음)에 대해 유지되는 것으로 알려져 있지만 시간 제한에 대해서는 유지되지 않습니다. 예를 들어 Troy Lee 논문 6 장을 참조하십시오 .

이것이 분포가 아닌 스트링에 적용되는 것이 염려되는 경우 다음 논문을 읽어보십시오. 실제로 Kolmogorov 스트링의 복잡성과 분포의 Shannon 엔트로피는 매우 밀접하게 관련되어 있습니다.

그룬 발트와 비 타니. Shannon 정보 및 Kolmogorov 복잡성
망치, Romashchenko, She, Vereshchagin. Shannon Entropy와 Kolmogorov Complexity의 불평등 .

반면에, 두 속성간에 공유되지 않는 것으로 알려진 속성이 있습니다 (Muchnik & Vereshchagin, Shannon Entropy vs. Kolmogorov Complexity 참조) .

— 조슈아 그로 호프
소스

저의 주요 관심사는 시간이 Turing Machine에 의존한다는 것입니다. 튜링 머신은 최대 다항식 속도 향상 또는 속도 저하로 서로 에뮬레이션 할 수 있기 때문에 log (log (t))로 복잡성을 페널티하는 것은 추가 상수에 해당하는 것으로 보입니다. 그러나 Levin의 복잡성은 log (t)를 사용하므로 이유를 잘 모르겠습니다.

— Arthur B

1

@Arthur B : 나는 당신의 우려를 이해하지만, 그 주위에는 몇 가지 표준 방법이있을 것입니다. 일반적으로 시간 제한 Kolmogorov 복잡성에 대한 설명을 증명할 때 "모든 다항식 시간 제한 , ..." 형식의 설명을 증명할 수 있습니다. 이 진술은 어떤 경우에도 적용되기 때문에 범용 기계를 변경하여 발생하는 더 이상 관련이 없습니다. (나는 당신이 에 대해 말한 것을 따르지 않았지만 ,이 문제를 처리하는 다른 방법이라고 생각합니다 ...)

t (n)

$t(n)$

\log \log t

$\log \log t$

— Joshua Grochow

2

한 가지 문제는 정보 이론에서 우리가 익숙한 많은 이론들이 계산 세계에서 유지되지 않는다는 것입니다. 따라서 우리가 계산 엔트로피 아날로그를 공식화하더라도 결과 이론은 더 이상 정보 이론처럼 보이지 않을 수 있습니다.

예를 들어 $f$ 결정적 함수입니다. $H(f(X)) \le H(X)$ . 그러나 엔트로피의 그럴듯한 계산 개념에 대해서는 더 이상 유지되지 않을 것이다. 예를 들어, 의사 시드 (pseudorandom generator)를 생각 해보자. 계산 엔트로피의 어떤 상상할 수있는 정의에 의해, 긴 의사 난수 출력은 큰 계산 엔트로피를 가질 것입니다 (그 긴 문자열의 균일 한 분포와 계산 상 구별 할 수 없음). $H(f(X)) \le H(X)$ .

— DW
소스

나는 얼마나 많은 양을 구할 수 있는지 궁금합니다. 이 경우, f는 다항식으로 되돌릴 수 있지만 임시 느낌이라는 제약 조건을 추가 할 수 있습니다.

— Arthur B

시드에서 생성 된 문자열을 계산할 수 있으므로 시드에 생성 된 의사 임의 문자열보다 많은 정보가 포함되어 있다고 생각합니다.

— Kaveh

@Kaveh, 정보 이론적 의미로 이야기하는 경우 : 의사 난수 발생기가 돌이킬 수없는 경우 (다항식 시간이 아니라 원칙적으로) 입력 및 출력의 정보량은 정보 이론적으로 동일합니다. 그렇지 않으면, 의사 랜덤 주관이 돌이킬 수없는 경우, 당신이 맞습니다.

— DW

0

나는 정보 theroetic 계산 모델을 잘 모르는 것 같아요, 하지만 계산의 복잡성에 대한 정보 이론의 명확한 응용 프로그램이 있습니다.

예를 들어, 클래식 $n \log n$ 비교 기반 정렬의 하한은 가능한 모든 입력 순서를 구별하는 데 필요한 의사 결정 트리의 높이에 대한 정보 이론적 논쟁을 기반으로합니다. 검색, 계산 순서 통계, 평균 등의 계산 복잡성에 대한 사소한 정보 이론적 경계를 유사하게 만들 수 있습니다.

보다 일반적으로 정보 이론적 결과는 계산 복잡성에 대한 하한으로 작용할 수 있습니다. 예를 들어, 통신 복잡도 {1}에 대한 Yao의 "정보-이론적"결과는 두 세트가 동일한 지 여부를 판단 할 때 계산 하한을 의미합니다. 보다 복잡한 통신 복잡성 응용은 Turing 머신 {2}에 대한 시공간 균형을 제공합니다.

{1} 야오, 앤드류 치치. "분산 컴퓨팅과 관련된 몇 가지 복잡한 질문 (예비 보고서)." 컴퓨팅 이론에 관한 제 11 회 연례 ACM 심포지엄의 절차. ACM, 1979.

{2} Eyal Kushilevitz : 커뮤니케이션 복잡성. 컴퓨터 44의 발전 : 331-360 (1997).

— 아리 트라 첸 버그
소스