«information-theory» 태그된 질문

정보 이론, 엔트로피 및 다양한 소스의 정보 콘텐츠에 대한 질문

8
공백이없는 모스 부호는 고유하게 해독 할 수 있습니까?
모든 Morse 코드 문자열은 고유하게 해독 할 수 있습니까? 공백이 없으면 ......-...-..---.-----.-..-..-.. 될 수 Hello World있지만, 아마도 첫 글자가입니다 5- 실제로는 고유의 번역을해야 점과 대시 매우 가능성이 임의의 순서를 보인다. 크래프트 불평등을 사용할 수도 있지만 접두사 코드 에만 적용됩니다 . 공백 이있는 모스 코드 는 메시지를 항상 고유하게 디코딩 할 …
7
PRNG를 사용하여 물건을 마술처럼 압축 할 수 있습니까?
이 아이디어는 프로그램을 배우고 처음 PRNG를 만난 어린 시절에 나에게 일어났다. 나는 아직도 그것이 얼마나 현실적인지 알지 못하지만 이제 스택 교환이 있습니다. 놀라운 압축 알고리즘을위한 14 살짜리 계획은 다음과 같습니다. PRNG s를 가져와 시드 로 시드 하여 긴 일련의 의사 난수 바이트를 얻습니다. 이 시퀀스를 다른 당사자에게 전송하려면 PRNG에 대한 …
6
무손실 압축 알고리즘이 엔트로피를 줄입니까?
Wikipedia 에 따르면 : Shannon의 엔트로피는 결정된 (또는 예측 가능한) 메시지 부분과 반대로 메시지에 포함 된 정보를 측정합니다. 후자의 예는 언어 구조의 중복성 또는 문자 또는 단어 쌍의 발생 빈도, 삼중 항 등과 관련된 통계적 속성을 포함합니다. 엔트로피는 메시지에 포함 된 정보의 양을 측정 한 것입니다. 엔트로피 코더는 그러한 메시지를이를 …
2
N 개의 랜덤 비트보다 작은 2 ^ N의 확률을 시뮬레이트
다음과 같은 이산 분포를 시뮬레이션해야한다고 가정 해보십시오. P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} 가장 확실한 방법은 랜덤 비트를 그리고 모든 비트가 (또는 ) 인지 확인하는 것입니다 . 그러나 정보 이론에 …
6
간단한 이진 데이터의 효율적인 압축
에서 이진 숫자를 포함하는 파일이 있습니다 .0002n−12n−12^n - 1 0000000000 0000000001 0000000010 0000000011 0000000100 ... 1111111111 7z 는이 파일을 매우 효율적으로 압축하지 않았습니다 (n = 20의 경우 22MB 는 300kB 로 압축 됨). 매우 간단한 데이터 구조를 인식하고 파일을 몇 바이트로 압축 할 수있는 알고리즘이 있습니까? 또한 CS 또는 정보 …
4
모스 부호는 2 진, 3 진 또는 5 진입니까?
" 코드 : 컴퓨터 하드웨어 및 소프트웨어의 숨겨진 언어 "라는 책을 읽었으며 2 장에서는 다음과 같이 말합니다. 모스 부호는 코드의 구성 요소가 점과 대시의 두 가지로만 구성되므로 이진 (문자 적으로 2 x 2를 의미) 코드라고합니다. 반면에 위키 백과 는 말합니다 : 엄밀히 말하면 다섯 가지 기본 요소가 있기 때문에 이진이 …
5
소수를 사용한 데이터 압축
필자는 최근 데이터의 유형과 형식에 관계없이 임의의 데이터 세트를 항상 50 % 이상 효율적으로 압축한다고 주장 하는 다음 흥미로운 기사 를 우연히 발견했습니다 . 기본적으로 모든 숫자가 고유 한 소수 인 경우 압축을 풀기 쉬운 4 바이트 데이터 청크의 표현을 고유하게 사용하기 위해 소수를 사용합니다. 이 시퀀스를 소수와 연관시키기 위해 …
4
순서를 무시하고 두 정수 압축
정렬 된 쌍 (x, y)을 정렬되지 않은 쌍 {x, y} (집합)과 비교하면 이론적으로 정보는 x가 먼저 오거나 y가 정확히 하나의 비트를 나타내는 지 여부에 따라 한 비트에 불과합니다. 따라서 x, y가 두 개의 서로 다른 32 비트 정수인 {x, y} 세트가 주어지면 63 비트 (64가 아닌)로 묶을 수 있습니까? 63 …
2
더 어려운 점 : 정렬 된 덱 섞기 또는 셔플 된 줄 정렬하기?
고유 한 요소로 구성된 배열이 있습니다. 당신은 비교기 (두 요소 와 취하고 true iff 반환 하는 블랙 박스 함수 )와 진정한 임의의 비트 소스 (인수를 취하지 않고 독립적으로 균일하게 임의의 비트를 반환하는 블랙 박스 함수)에 액세스 할 수 있습니다. 다음 두 가지 작업을 고려하십시오.엔엔nㅏㅏa비비ba &lt; bㅏ&lt;비a < b 배열이 현재 …
4
Shannon 데이터 압축 한계보다 작은 크기로 데이터를 압축 할 수 있습니까?
데이터 압축 알고리즘과 데이터 압축의 이론적 한계에 대해 읽었습니다. 최근에 "Combinatorial Entropy Encoding"이라는 압축 방법이 발생했습니다.이 방법의 주요 아이디어는 파일에 표시된 문자, 해당 빈도 및 파일이 나타내는 이러한 문자 순열의 색인으로 파일을 인코딩하는 것입니다. 이 문서는이 방법을 설명하는 데 도움이 될 수 있습니다. https://arxiv.org/pdf/1703.08127 http://www-video.eecs.berkeley.edu/papers/vdai/dcc2003.pdf https://www.thinkmind.org/download.php?articleid=ctrq_2014_2_10_70019 그러나 첫 번째 문서에서는이 …
3
알고리즘 정보 이론에서 "정보"와 "유용한 정보"의 차이점
Wikipedia 에 따르면 : 비공식적으로, 알고리즘 정보 이론의 관점에서, 문자열의 정보 내용은 해당 문자열의 가능한 가장 짧은 자체 포함 표현의 길이와 같습니다. "유용한 정보"에 대한 비공식적 인 비공식적 인 정의는 무엇입니까? "유용한 정보"가 더 자연 스럽거나 더 근본적인 개념으로 간주되지 않는 이유는 무엇입니까? 순전히 그것은 무작위로 정의 된 문자열에 0 …
1
스도쿠 퍼즐의 효율적인 인코딩
임의의 9x9 격자를 지정하려면 각 사각형의 위치와 값을 지정해야합니다. 이를위한 순진한 인코딩은 81 (x, y, 값)의 트리플렛을 제공 할 수 있으며, 각각의 x, y에 대해 4 비트가 필요하고 총 81x4x3 = 972 비트에 대해 값 (1-9 = 9 값 = 4 비트)이 필요합니다. 각 사각형의 번호를 매기면 위치 정보를 7 …
3
0.922의 섀넌 엔트로피, 3 개의 고유 값
값의 캐릭터 감안할 때 로그베이스, 섀넌 엔트로피를 에 관해서 . 내가 이해 한 바에 따르면, 기초 에서 반올림 된 Shannon Entropy는 값 중 하나를 나타내는 이진수 최소 비트 수입니다.AAAAAAAABCAAAAAAAABCAAAAAAAABC2220.9220.9220.922222 이 위키 백과 페이지의 소개에서 가져온 것입니다. https://en.wikipedia.org/wiki/Entropy_%28information_theory%29 그렇다면 어떻게 3 개의 값을 1 비트로 표현할 수 있습니까? AAA 는 111 …
4
정확하게 n 세트 비트로 숫자를 생성하기위한 PRNG
현재 이진 데이터를 생성하는 코드를 작성 중입니다. 특정 수의 세트 비트로 64 비트 숫자를 생성해야합니다. 보다 정확하게, 프로시 저는 취하고 0&lt;n&lt;640&lt;n&lt;640 < n < 64정확히 nnn 비트가 111 설정되고 나머지는 0으로 설정된 의사 난수 64 비트 숫자를 반환해야합니다 . 내 현재 접근 방식은 다음과 같습니다. 의사 난수 64 비트 숫자 …
당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.