«entropy» 태그된 질문

이 아이디어는 프로그램을 배우고 처음 PRNG를 만난 어린 시절에 나에게 일어났다. 나는 아직도 그것이 얼마나 현실적인지 알지 못하지만 이제 스택 교환이 있습니다. 놀라운 압축 알고리즘을위한 14 살짜리 계획은 다음과 같습니다. PRNG s를 가져와 시드 로 시드 하여 긴 일련의 의사 난수 바이트를 얻습니다. 이 시퀀스를 다른 당사자에게 전송하려면 PRNG에 대한 …

38 information-theory  randomness  data-compression  pseudo-random-generators  entropy 

Wikipedia 에 따르면 : Shannon의 엔트로피는 결정된 (또는 예측 가능한) 메시지 부분과 반대로 메시지에 포함 된 정보를 측정합니다. 후자의 예는 언어 구조의 중복성 또는 문자 또는 단어 쌍의 발생 빈도, 삼중 항 등과 관련된 통계적 속성을 포함합니다. 엔트로피는 메시지에 포함 된 정보의 양을 측정 한 것입니다. 엔트로피 코더는 그러한 메시지를이를 …

35 information-theory  data-compression  entropy 

다음과 같은 이산 분포를 시뮬레이션해야한다고 가정 해보십시오. P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} 가장 확실한 방법은 랜덤 비트를 그리고 모든 비트가 (또는 ) 인지 확인하는 것입니다 . 그러나 정보 이론에 …

31 algorithms  information-theory  randomness  pseudo-random-generators  entropy 

Alan Turing은 (숫자, 함수 등)을 계산하고 Halting Theorem을 증명 한 기계 (Turing Machine, TM)의 모델을 제안했습니다 . TM은 기계 (또는 원하는 경우 엔진)의 추상 개념입니다. 홀팅 정리는 불가능한 결과입니다. Carnot Engine (CE)은 열 엔진의 추상 개념이며 Carnot은 열역학 엔트로피와 관련된 또 다른 불가능한 결과 인 Carnot Theorem을 증명했습니다 . TM이 …

31 turing-machines  halting-problem  entropy 

일부 챕터는 다음과 같이 말했습니다. 결정 론적 수단으로 난수를 생성하려고 시도하는 사람은 물론 죄의 상태에 살고 있습니다. 그것은 항상 컴퓨터로 진정한 난수를 생성 할 수 없다는 것을 의미하기 위해 취해졌습니다. 그리고 그는 컴퓨터가 단일 Intel 8080 마이크로 프로세서 (~ 6000 밸브)와 동등한 크기 일 때 말했다. 컴퓨터가 더 복잡 해졌고 …

25 randomness  data-compression  entropy  random-number-generator 

Linux에서 파일 /dev/random과/dev/urandom 파일은 의사 임의 바이트의 차단 및 비 차단 소스입니다. 일반 파일로 읽을 수 있습니다. $ hexdump /dev/random 0000000 28eb d9e7 44bb 1ac9 d06f b943 f904 8ffa 0000010 5652 1f08 ccb8 9ee2 d85c 7c6b ddb2 bcbe 0000020 f841 bd90 9e7c 5be2 eecc e395 5971 ab7f 0000030 864f d402 …

19 operating-systems  cryptography  randomness  security  entropy 

고유 한 요소로 구성된 배열이 있습니다. 당신은 비교기 (두 요소 와 취하고 true iff 반환 하는 블랙 박스 함수 )와 진정한 임의의 비트 소스 (인수를 취하지 않고 독립적으로 균일하게 임의의 비트를 반환하는 블랙 박스 함수)에 액세스 할 수 있습니다. 다음 두 가지 작업을 고려하십시오.엔엔nㅏㅏa비비ba &lt; bㅏ&lt;비a < b 배열이 현재 …

18 algorithms  algorithm-analysis  information-theory  permutations  entropy 

값의 캐릭터 감안할 때 로그베이스, 섀넌 엔트로피를 에 관해서 . 내가 이해 한 바에 따르면, 기초 에서 반올림 된 Shannon Entropy는 값 중 하나를 나타내는 이진수 최소 비트 수입니다.AAAAAAAABCAAAAAAAABCAAAAAAAABC2220.9220.9220.922222 이 위키 백과 페이지의 소개에서 가져온 것입니다. https://en.wikipedia.org/wiki/Entropy_%28information_theory%29 그렇다면 어떻게 3 개의 값을 1 비트로 표현할 수 있습니까? AAA 는 111 …

14 information-theory  mathematical-foundations  entropy  binary 

직장에서 나는 동적 언어에 대한 몇 가지 유형 정보를 유추하는 임무를 맡았습니다. 다음 let과 같이 일련의 명령문을 중첩 된 표현식 으로 다시 작성합니다 . return x; Z =&gt; x var x; Z =&gt; let x = undefined in Z x = y; Z =&gt; let x = y in Z …

11 programming-languages  logic  type-theory  type-inference  machine-learning  data-mining  clustering  order-theory  reference-request  information-theory  entropy  algorithms  algorithm-analysis  space-complexity  lower-bounds  formal-languages  computability  formal-grammars  context-free  parsing  complexity-theory  time-complexity  terminology  turing-machines  nondeterminism  programming-languages  semantics  operational-semantics  complexity-theory  time-complexity  complexity-theory  reference-request  turing-machines  machine-models  simulation  graphs  probability-theory  data-structures  terminology  distributed-systems  hash-tables  history  terminology  programming-languages  meta-programming  terminology  formal-grammars  compilers  algorithms  search-algorithms  formal-languages  regular-languages  complexity-theory  satisfiability  sat-solvers  factoring  algorithms  randomized-algorithms  streaming-algorithm  in-place  algorithms  numerical-analysis  regular-languages  automata  finite-automata  regular-expressions  algorithms  data-structures  efficiency  coding-theory  algorithms  graph-theory  reference-request  education  books  formal-languages  context-free  proof-techniques  algorithms  graph-theory  greedy-algorithms  matroids  complexity-theory  graph-theory  np-complete  intuition  complexity-theory  np-complete  traveling-salesman  algorithms  graphs  probabilistic-algorithms  weighted-graphs  data-structures  time-complexity  priority-queues  computability  turing-machines  automata  pushdown-automata  algorithms  graphs  binary-trees  algorithms  algorithm-analysis  spanning-trees  terminology  asymptotics  landau-notation  algorithms  graph-theory  network-flow  terminology  computability  undecidability  rice-theorem  algorithms  data-structures  computational-geometry 

허프만 코딩, 산술 코딩 및 범위 코딩 간의 관계를 이해하려고 노력하면서 허프만 코딩의 단점이 소수 비트 패킹 문제와 관련이 있다고 생각하기 시작했습니다 . 즉, 기호에 대해 240 개의 가능한 값이 있고이를 비트로 인코딩해야한다고 가정하면 8은 256 개의 가능한 값을 표현할 수 있기 때문에 "전체"8이 필요하지 않더라도 기호 당 8 비트가 …

11 information-theory  data-compression  coding-theory  entropy  huffman-coding 

(Shannon) 행렬 엔트로피 에서 제한된 최적화 문제가 있습니다. 행렬 는 형식의 랭크 1 행렬의 합으로 쓸 수 있습니다 여기서 는 주어진 정규화 된 벡터입니다. 랭크 1 행렬의 계수는 우리가 최적화하는 미지수이며 0보다 크고 1까지 합산해야합니다.(sum(entr(eig(A))))(sum(entr(eig(A))))\mathtt{(sum(entr(eig(A))))}AAA[vivTi][viviT][v_i\,v_i^T]viviv_i CVX와 유사한 구문에서 문제는 다음과 같습니다. 주어진 변수c(n)c(n)\mathtt{c(n)} minimizesum(entr(eig(A)))minimizesum(entr(eig(A)))\text{minimize} \qquad \mathtt{sum(entr(eig(A)))} subject toA∑cici=∑civivTi=1≥0subject toA=∑civiviT∑ci=1ci≥0\begin{align} \text{subject …

10 optimization  entropy 

내 파일에 포함 된 많은 비 중복 (실제) 정보를 측정하려고합니다. 어떤 사람들은 이것을 엔트로피의 양이라고 부릅니다. 물론 표준 p (x) log {p (x)}가 있지만, Shannon이 채널을 통해 전송하는 관점에서만이를 고려하고 있다고 생각합니다. 따라서 공식은 블록 크기 (비트 단위, 일반적으로 8)를 필요로합니다. 큰 파일의 경우이 계산은 기호 사이의 단거리 및 장거리 …

9 entropy