«it.information-theory» 태그된 질문

정보 이론이 간단한 방법으로 깔끔한 조합 진술을 입증하는 데 사용되는 가장 좋아하는 예는 무엇입니까? 나는에, 예를 들어, 로컬 복호 코드에 대한 경계를 낮추기 위해 관련 생각할 수있는 몇 가지 예 이 논문 : 바이너리 문자열의 무리에 대한 가정 길이 n 의 x m 은 모든 i 에 대해, k i에 …

54 co.combinatorics  big-list  it.information-theory 

비공식적으로 말하면, 캐릭터의 콜 모고 로프 복잡도 출력하는 프로그램의 최단 길이 (X) . 우리는 그것을 사용하여 '임의의 문자열'이라는 개념을 정의 할 수 있습니다 ( K ( x ) 가 0.99 | x | 이면 x 는 임의 입니다) 대부분의 문자열이 무작위임을 쉽게 알 수 있습니다 (짧은 프로그램은 많지 않습니다).xxxxxxxxxK(x)≥0.99|x|K(x)≥0.99|x|K(x) \geq …

44 cc.complexity-theory  big-list  co.combinatorics  it.information-theory 

이 질문은 컴퓨터 과학에 대한 PCAST ​​발표 후 Jeannette Wing에게 요청되었습니다 . "물리적 관점에서 볼 때 최대한 많은 정보가 있을까요?"(이론은 "정보 란 무엇인가?" "정보 란 무엇인가?" 이 문맥에서 "볼륨"이 무엇을 의미하는지 알아 내야합니까? 아마도 정보의 최대 밀도가 더 나은 척도 일 것입니다.

33 it.information-theory  physics 

Kolmogorov 접두사 복잡성 (즉, K(x)K(x)K(x) 는 를 출력하는 최소 자체 구분 프로그램의 크기입니다 xxx)에는 몇 가지 멋진 기능이 있습니다. 그것은 패턴이있는 문자열이나 구조가없는 문자열보다 복잡성이 낮은 문자열을 제공하는 직감에 해당합니다. 이를 통해 일부 오라클 O 에 대해 조건부 복잡성 K(x|y)K(x|y)K(x|y) 또는 더 나은 를 정의 할 수 있습니다 .K(x|O)K(x|O)K(x|O)OOO 하위 …

28 it.information-theory  kolmogorov-complexity  formal-modeling 

다음 유형의 오류 수정 코드를 찾고 있습니다. 일정한 속도의 이진 코드 크기 의 부울 회로로서 구현 될 수있는 디코더에 의해 일정한 일정한 비율의 에러로부터 디코딩 가능하며 , 여기서 은 인코딩 길이이다.O(N)O(N)O(N)NNN 일부 배경 : Spielman, 상품 선형 시간 Encodable 및 복호 오류 수정 코드 , 코드에 복호 준 시간 대수에서 …

27 co.combinatorics  it.information-theory  coding-theory 

확률 분포 대한 허프만 코드 ppp는 최소 가중 평균 코드 워드 길이 갖는 접두사 코드이며 ∑piℓi∑piℓi\sum p_i \ell_i, 여기서 ℓiℓi\ell_i 는 iii 번째 코드 워드 의 길이입니다 . 허프만 코드의 심볼 당 평균 길이는 H(p)H(p)H(p) 와 H(p)+1H(p)+1H(p)+1 이며, 여기서 H(p)=−∑ipilog2piH(p)=−∑ipilog2⁡piH(p) = -\sum_i \, p_i \log_2 p_i 는 확률 분포의 Shannon …

21 optimization  it.information-theory  coding-theory 

양자 정보 이론에서, 두 양자 채널 사이의 거리는 종종 다이아몬드 규범을 사용하여 측정됩니다. 트레이스 거리, 충실도 등과 같은 두 양자 상태 사이의 거리를 측정하는 방법은 여러 가지가 있습니다. Jamiołkowski 동 형사상 은 양자 채널과 양자 상태 사이의 이중성을 제공합니다. 다이아몬드 규범은 계산하기가 악명 높고 Jamiołkowski 이소 형은 양자 채널의 거리 …

19 quantum-computing  it.information-theory  quantum-information 

정보 복잡성은 통신 복잡성에서 매우 유용한 도구로, 주로 분산 문제의 통신 복잡성을 낮추는 데 사용됩니다. 쿼리 복잡성에 대한 정보 복잡성의 유사성이 있습니까? 쿼리 복잡성과 통신 복잡성 간에는 많은 유사점이 있습니다. 종종 (항상 그런 것은 아님) 한 모델의 하한이 다른 모델의 하한으로 변환됩니다. 때때로이 번역은 사소한 것이 아닙니다. 문제의 쿼리 복잡성을 …

15 it.information-theory  communication-complexity  query-complexity 

블룸 필터를 구현할 때 기존 방식에서는 여러 개의 독립적 해시 함수가 필요합니다. Kirsch와 Mitzenmacher 는 실제로 두 개만 필요하며 나머지는 선형 조합으로 생성 할 수 있음을 보여주었습니다. 내 질문은 : 실제로 두 해시 함수와 두 배의 엔트로피가있는 차이점은 무엇입니까? 이것은 실제로 해시 함수의 출력으로 수행하는 작업을 살펴 ​​보는 것에서 비롯됩니다. …

15 ds.data-structures  it.information-theory  hash-function 

대부분의 우리에게 익숙한 - 또는 적어도 들었 - 랜덤 변수의 섀넌 엔트로피 H(X)=−E[logp(X)]H(X)=−E[log⁡p(X)]H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr] , 및 상대 엔트로피 모든 관련 정보 이론적 조치 상호 정보 등. 랜덤 변수의 최소 엔트로피와 같은 이론적 컴퓨터 과학 및 정보 이론에서 일반적으로 사용되는 몇 가지 다른 엔트로피 측정법이 있습니다. 나는 …

14 it.information-theory  quantum-information 

Lemma : 에타와 동등하다고 가정하면 (\x -> ⊥) = ⊥ :: A -> B. 증명 : ⊥ = (\x -> ⊥ x)에타 동등성 및 (\x -> ⊥ x) = (\x -> ⊥)람다 감소. Haskell 2010 보고서, 섹션 6.2 seq는 두 가지 방정식으로 함수를 지정합니다 . seq :: a-> b-> b …

14 domain-theory  haskell  extensionality  cc.complexity-theory  counting-complexity  fl.formal-languages  automata-theory  cc.complexity-theory  arithmetic-circuits  it.information-theory  shannon-entropy  graph-theory  pr.probability  graph-theory  approximation-algorithms  approximation-hardness  multicommodity-flow  cc.complexity-theory  ds.algorithms  np-hardness  polynomial-time  dynamic-programming  lo.logic  terminology 

최근에 압축 관련 알고리즘을 다루고 있으며 무손실 데이터 압축으로 얻을 수있는 최고의 압축 비율 이 궁금 합니다. 지금 까지이 주제에서 찾을 수있는 유일한 출처는 Wikipedia입니다. 비디오, 디지털화 된 필름 및 오디오와 같은 디지털화 된 데이터의 무손실 압축은 모든 정보를 보존하지만 데이터의 본질적인 엔트로피로 인해 1 : 2 압축보다 훨씬 나은 …

14 it.information-theory  data-streams 

인기있는 DEFLATE 알고리즘은 Lempel-Ziv 위에 Huffman 코딩을 사용합니다. 우리는 데이터의 임의의 소스가 있다면, 일반적으로, (1 비트 엔트로피 / 비트 =) 에는 허프만 인코딩을 포함하여, 평균을 압축 할 가능성이 없다. Lempel-Ziv가 "완벽"한 경우 (길이가 무한대가됨에 따라 대부분의 소스에 접근하는 경우) Huffman을 사용한 포스트 인코딩은 도움이되지 않습니다. 물론, Lempel-Ziv 는 최소한 유한 …

13 ds.algorithms  it.information-theory  coding-theory  encoding 

소거 비트가 에너지를 소비해야한다는 것을 보여주는 연구원이 있는데, 이제 계산 복잡도 갖는 알고리즘의 평균 에너지 소비에 대한 연구가 있습니까? 계산 복잡도 F ( n ) 는 평균 에너지 소비와 관련이 있다고 생각 합니다. 여기에서 대답을 얻을 수 있기를 바랍니다.F(n)F(n)F(n)F(n)F(n)F(n)

12 cc.complexity-theory  reference-request  it.information-theory  quantum-information  statistical-physics 

함수 있다고 가정하면 ( 따라서 을 분포로 생각할 수 있습니다 . 이러한 함수의 엔트로피를 다음과 같이 정의하는 것은 당연합니다. f:Zn2→Rf:Z2n→Rf:\mathbb{Z}_2^n \to \mathbb{R}∑x∈Zn2f(x)2=1∑x∈Z2nf(x)2=1\sum _{x\in \mathbb{Z}_2^n} f(x)^2 = 1{f(x)2}x∈Zn2{f(x)2}x∈Z2n\{ f(x)^2\} _{x\in \mathbb{Z}_2^n}H(f)=−∑x∈Zn2f(x)2log(f(x)2).H(f)=−∑x∈Z2nf(x)2log⁡(f(x)2).H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x)^2 \log \left( f(x)^2 \right) . 이제 와 의 컨벌루션을 생각해보십시오 . (참고 우리 다루는 …

12 it.information-theory  boolean-functions  fourier-analysis