계산 복잡성과 정보의 관계

나는 뉴런의 쌍 또는 그룹 사이의 상호 정보를 정량화하는 계산 신경 과학 실험실에서 일합니다. 최근에 상사는 "신경 역학의 복잡성"측정에 초점을 맞췄다. 이 연구 라인을 추구하면서, 우리 그룹의 일부 사람들은 "복잡한"과 "높은 엔트로피가있다"를 동일시하는 것으로 보입니다.

누구든지 정보 이론적 의미에서 계산 복잡성 (CS 의미에서)과 엔트로피의 관계가 무엇인지 안내해 줄 수 있습니까?

좀 더 설명하기 위해 Lempel-Ziv의 복잡성과 같은 수단은 정보의 (사용자에게) 많은 비트를 전달하는 것과 복잡하기 때문에 올바른 복잡성 측정 방법으로 보이지 않습니다. [Causal State Splitting Reconstruction][1]고정 된 랜덤 프로세스를 나타 내기 위해 0 개의 숨겨진 상태가 필요하기 때문에 , 다른 방법 은 덜 알려져 있지만 랜덤 프로세스가 전혀 복잡하지 않다는 매력적인 특성을 가지고 있습니다.

대학원 과정을 수여하기 위해 정보 이론과 계산 복잡성 사이에 충분한 연결이 있습니다 (예 : http://www.cs.princeton.edu/courses/archive/fall11/cos597D/).

많은 사람들이 Kolmogorov의 복잡성이나 리소스가 제한된 변형을 언급했지만, 당신이 찾고있는 것에 더 가까운 것은 (논리적) 깊이 의 개념이라고 생각 합니다. 깊이에는 여러 가지 변형이 있지만 모두 당신이 말하는 것과 같은 것을 얻으려고합니다. 특히, 순전히 임의의 문자열이나 고도로 정렬 된 / 반복적 인 문자열은 깊지 않습니다.

깊이에 대한 한 가지 개념은 직관적입니다. 짧은 설명이 있으면 문자열이 깊지 만 짧은 설명에서 문자열을 재구성하는 유일한 방법은 시간이 많이 걸립니다. 이것은 깊이의 개념이며 몇 가지 다른 것들이 [1]에서 소개되고 개발되었습니다. 다른 표준 참조는 [2]입니다. 나는 그것들을보고 앞으로 참조 검색을 할 것입니다.

[1] L. Antunes, L. Fortnow, D. van Melkebeek, NV Vinodchandran. 계산 깊이 : 개념 및 응용 프로그램 . 이론. Comp. 공상 과학 354 (3) : 391--404. 저자의 웹 페이지에서 자유롭게 구할 수도 있습니다 .

[2] CH 베넷. 논리적 깊이와 물리적 복잡성. R. Herken (Ed.)에서 The Universal Turing Machine : Half-Century Survey, Oxford University Press, Oxford (1988), 227–257.

가장 매력적으로 생각할만한 것은 콜로 모고 로프의 복잡성입니다. 확실히 매력적이며, 언급하지 않았으므로 언급 할 가치가 있다고 생각했습니다.

즉,이 질문에 대답하기위한보다 일반적인 접근 방식은 언어와 오토마타 이론을 기반으로 할 수 있습니다. 결정 론적 유한 오토마타는 O (n) 문자열 프로세서입니다. 즉, 길이 n의 문자열이 주어지면 문자열이 정확히 n 단계로 처리됩니다 (이 중 다수는 결정 론적 유한 오토마타를 정의하는 방법에 따라 다르지만 DFA는 확실히 더 많은 단계를 요구하지 않습니다). 비결정론 적 유한 오토마타는 DFA와 동일한 언어 (문자열 집합)를 인식하고 DFA로 변환 할 수 있지만 순차적 인 결정 론적 시스템에서 NFA를 시뮬레이션하려면 일반적으로 트리와 같은 "검색 공간"을 탐색해야합니다. 복잡성. 정규 언어는 계산상의 의미에서 "복잡"하지 않습니다.

결정 론적 컨텍스트가없는, 컨텍스트가없는 (결정적이지 않은 컨텍스트가없는 언어를 포함하여 결정 론적 푸시 다운 오토마타로 인식 할 수없는), 컨텍스트에 민감한 언어, 재귀 적이며 재귀 적으로 다른 수준의 Chomsky 계층 구조 언어를 유사하게 볼 수 있습니다. 열거 가능한 언어 및 결정 불가능한 언어

다른 오토마타는 주로 외부 저장소에서 다릅니다. 즉, 오토마타가 특정 유형의 언어를 올바르게 처리하는 데 필요한 외부 저장소 유한 오토마타에는 외부 저장소가 없습니다. PDA에는 스택이 있고 튜링 머신에는 테이프가 있습니다. 따라서 특정 프로그래밍 문제 (언어에 해당)의 복잡성을 해석하여이를 인식하는 데 필요한 스토리지의 양이나 종류와 관련 될 수 있습니다. 언어의 모든 문자열을 인식하기 위해 고정 된 유한 한 양의 저장 공간이 필요하지 않은 경우 일반 언어입니다. 스택 만 필요한 경우 컨텍스트가없는 언어입니다. 기타.

일반적으로 Chomsky 계층 구조에서 높은 언어 (따라서 복잡도가 높음)도 정보 이론적 의미에서 높은 엔트로피를 갖는 경향이있는 경우 놀라지 않을 것입니다. 즉, 당신은 아마도이 아이디어에 대한 많은 반례를 찾을 수 있으며, 그에 대한 장점이 있는지 전혀 모른다.

또한 이것은 "이론적 CSS"(cstheory) StackExchange에서 더 잘 물어볼 수 있습니다.

계산 복잡도는 필요한 자원을 해결합니다. 특정 유형의 문제, 주어진 크기, 문제를 해결하는 데 필요한 자원 (일반적으로 시간, 공간 또는 둘 다 및 특정 유형의 컴퓨팅 장치)은 무엇입니까? 그런 다음 문제는 복잡한 "클래스"로 그룹화됩니다.

이 중 일부는 다소 일반적이며 추상적입니다. 문제는 원칙적으로도 해결할 수 있습니까? 이 유형의 기계가 필요합니까? 이 아이디어에 대한 소개는 여전히 대학원 수준의 컴퓨터 과학 주제이며 소개 자료는 일반적으로 Chomsky 계층 구조를 참조합니다. Chomsky 계층 구조는 몇 가지 유형의 추상 기계와 몇 가지 유형의 추상, 수학적 언어 사양.

이 중 일부는 낮은 수준에서 매일 사용하는 것이 더 실용적입니다.이 문제는 문제 크기의 제곱, 큐브 또는 다른 함수로 확장됩니까? 흥미롭게도, 주어진 문제의 엔트로피에 대한 주장이 일부 계산 문제에 대한 하한을 결정하는 데 유용하다는 것을 알고 있습니다. 내 마음에 튀어 나온 것 (교과서를 확인하지 않고 그것을 반복 할 수는 없지만)은 정렬하는 동안 필요한 최소 비교 횟수에 대한 엔트로피 기반 인수입니다. 엔트로피와의 연결은 정보 이론을 통해 이루어집니다.

생각에는 약간의 장점이 있습니다.