알고리즘 정보 이론에서 "정보"와 "유용한 정보"의 차이점

Wikipedia 에 따르면 :

비공식적으로, 알고리즘 정보 이론의 관점에서, 문자열의 정보 내용은 해당 문자열의 가능한 가장 짧은 자체 포함 표현의 길이와 같습니다.

"유용한 정보"에 대한 비공식적 인 비공식적 인 정의는 무엇입니까? "유용한 정보"가 더 자연 스럽거나 더 근본적인 개념으로 간주되지 않는 이유는 무엇입니까? 순전히 그것은 무작위로 정의 된 문자열에 0 개의 정보가 포함되어야하는 것처럼 보이므로 표준 정의에 의해 최대 정보를 갖는 것으로 간주된다는 사실을 알기 위해 노력하고 있습니다.

여기서 중심 개념은 Kolmogorov 복잡성 , 특히 압축성 입니다. 압축성의 직관적 인 느낌을 얻으려면, 두 개의 문자열을 고려 ∈ B * 및 B ∈ B * 여기서 B = { 0 , 1 } . 허락하다$A \in \mathbb{B}^*$$B \in \mathbb{B}^*$$\mathbb{B} = \{ 0,1 \}$

1010 1010 1010 이고$A = 1010$ $1010$ $1010$ $1010$

0110 0111 1001 .$B = 1011$ $0110$ $0111$ $1001$

그 주 . A 또는 B에 얼마나 많은 정보가 있는지 어떻게 정량화 할 수 있습니까? 고전적인 정보 이론에 대해 생각하면 일반적으로 길이가 n 인 문자열을 전송하는 데 평균 n 비트 가 걸립니다 . 그러나 길이 n 의 특정 문자열 을 전송하는 데 필요한 비트 수는 말할 수 없습니다 .$|A| = |B| = 16$$A$$B$$n$$n$$n$

임의 문자열의 정보 내용이 0이 아닌 이유는 무엇입니까?

자세히 보면 실제로 것을 알 수 있습니다 . 그러나,이 경우 말을 훨씬 어렵 B가 이 적어도, 그 구조에 명백한 패턴이 보인다 그리고 느낌 보다 더 무작위 . 우리가 패턴으로 발견 할 수 있기 때문에 을 우리는 쉽게 압축 할 을 이하와 그것을 나타내는 16 비트. 마찬가지로 B의 패턴을 찾기가 쉽지 않기 때문에 많이 압축 할 수 없습니다. 따라서 B 는 A 보다 많은 정보를 가지고 있다고 말할 수 있습니다 . 또한 길이 n 의 임의 문자열$A = 10^8$$B$$A$$A$$A$$16$$B$$B$$A$$n$압축 할 수있는 방법이 없기 때문에 최대 정보를 가지므로 비트 미만으로 표현할 수 있습니다.$n$

그렇다면 유용한 정보는 무엇입니까?

대한 유용한 정보 , 예, 튜링 기계를 사용하여 정의가 . x ∈ B ∗ 의 유용한 정보 는$T$$x \in \mathbb{B}^*$

$$\min_T \space \{\space l(T) + C(x|T) : T \in \{ T_0, T_1, ... \} \},$$

여기서 는 튜링 머신 T에 대한 자체 제한 인코딩의 길이를 나타냅니다 . 표기법 것이 보통이다 C ( X가 ) 의 콜 모고 로프 복잡도 나타내고, X 및 C ( X | Y ) 의 조건부 콜 모고 로프 복잡도 X 주어진 y로 .$l(T)$$T$$C(x)$$x$$C(x|y)$$x$$y$

여기서 는 x에 포함 된 유용한 정보의 양을 구현합니다 . 우리가 요구할 수있는 것은 그러한 T 가 요구 사항을 충족하는 것 중에서 어떤 것을 선택해야 하는가입니다. 문제는 짧은 프로그램 분리하는 X * 부분에 X * = P의 Q 번째 P는 적절한 나타내는 T를 . 이것은 실제로 MDL (Minimum Description Length) 을 생성 한 아이디어입니다 .$T$$x$$T$$x^*$$x^* = pq$$p$$T$

"유용한"정의하기 어렵 기 때문일 수 있습니다. 메시지 y 에 대해 α 의 계수만큼 압축 할 수 있는 고도로 구조화 된 정보가 풍부한 메시지 가 있다고 가정 합니다. 직관적으로 x 와 y 는 같은 양의 유용한 정보를 포함합니다. 실제로, 그들은 일반적인 정의에 따라 동일한 양의 정보를 포함합니다. 이제 y 와 길이가 같은 x 의 접두사 z 를 상상해보십시오 . x 보다 유용한 정보를 포함해서는 안되므로 y를 넘지 않아야 합니다. 그러나, Y는 보다 많은 "랜덤"인 Z 때문에, $x$$\alpha$$y$$x$$y$$z$$x$$y$$x$$y$$y$$z$$z$압축 할 수 있고 는 할 수 없습니다. 따라서 "유용한"정보를 압축성과 연결하려고하면 다음과 같은 역설이 발생할 수 있습니다. 메시지의 접두사는 전체 메시지보다 높은 "유용한"정보를 가질 수 있습니다.$y$

덜 공식적인 관점에서 볼 때, "랜덤"이라는 단어에서 자신을 분리하면 실제로 임의의 비트 세트가 실제 의미로 정보를 저장하지 않는다는 것이 정확하기 때문에 도움이 될 수 있습니다. (이름 세트를 암호화하고 암호화 된 값을 보내면 Kolmogorov 복잡성이 매우 높을 수 있지만 이름을 알아내는 데 도움이되지는 않습니다).

그러나 이런 식으로 생각하십시오. 외국어로 된 웹 사이트를 볼 경우 (예를 들어, 스웨덴어로 말하지 않는 경우) 다소 무작위로 보일 것입니다. 단어에는 약간의 순서가 있지만 많이는 아닙니다. 그러나 123456123456123456123456 ...과 같은 텍스트가있는 웹 페이지를 보면 더 빨리 이해할 수 있습니다. 스웨덴어를 구사하지 못한다면 스웨덴어 웹 페이지에서 "처음 6 개의 숫자가 순차적으로 반복된다"고 말했더라도 훨씬 더 많은 것을 얻을 수있을 것입니다. 웹 사이트에는 동일한 정보가 포함되어 있지만 사용자에게는 무작위로 보입니다. 또한 공간이 충분하기 때문에 동일한 정보를 저장하더라도 스웨덴 웹 페이지보다 효율성이 떨어집니다. 이 정보는 "유용한"정보가 아니기 때문에 찾을 수 없습니다.

"정보"의 개념은 보편적 인 것이므로 임의의 비트와 같이 쓸모없는 비트처럼 보이는 것은 다른 사람에게 많은 정보를 저장할 수 있습니다. 정보의 척도는 문자열의 본질적인 속성을 목적으로하며, 자신에게 의미가 있고 이해되지 않는 것과 해석 할 수없는 것과 해석 할 수없는 것에 의존 할 수 없습니다.

도움이 될 수있는 또 다른 (더 기술적 인) 요점은 내가 여기에서 약간 불쾌하다는 것입니다. Juho가 지적했듯이 정보 는누가 그것을 해석하는지에 따라 정의됩니다. 스웨덴어 웹 페이지는 정보를 전달하는 수단으로 완전히 쓸모가 없을 수 있지만 스웨덴어를 사용하는 사람은 정보를 많이 얻을 수 있습니다. 정의는 이것을 반영합니다. 그러나 수학을 통해이 웹 사이트를 귀하에게 알리는 가장 짧은 (공간에 대한 가장 유익한) 웹 페이지와 스웨덴어를 사용하는 사람에게이를 전달할 수있는 가장 짧은 웹 페이지의 차이는 부가적인 상수에 의해서만 다를 수 있음을 알 수 있습니다. 왜? 스웨덴어를 사용하지 않는 사용자는 이해할 수있는 페이지를 저장하는 가장 짧은 방법은 "처음 6 개의 정수가 순차적으로 반복되는 것"이기 때문입니다. 이것은 스웨덴보다 상당히 길 수 있습니다.

그러나 스웨덴어를 할 수 있어도 길이에서 부가 상수를자를 수 있습니다! 왜? 항상 스웨덴어-영어 사전을 구입할 수 있기 때문입니다. 그렇다면 매우 짧은 스웨덴어 웹 페이지가 당신에게 의미가있을 것입니다. 물론, 사전이있을 때만 의미가 있지만 사전의 길이는 일정합니다. 따라서

$$(\mbox{Most efficient representation of information in English}) \leq (\mbox{Most efficient representation in Swedish}) + (\mbox{Length of Swedish-English dictionary})$$ . 이것은 원래 질문에서 약간의 주제를 얻지 못했지만 내가하려고하는 요점은 정보를 읽는 사람이 너무 중요하지 않다는 것입니다. 무작위로 보이는 스웨덴어 웹 페이지는 "유용한"것이 아니라 다른 사람에게 "유용한"것입니다. 귀하는 자신이 사용할 수없는 정보의 양이 일정하지 않습니다.