Renyi entropies의 유틸리티?

14

대부분의 우리에게 익숙한 - 또는 적어도 들었 - 랜덤 변수의 섀넌 엔트로피 $H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr]$ , 및 상대 엔트로피 모든 관련 정보 이론적 조치 상호 정보 등. 랜덤 변수의 최소 엔트로피와 같은 이론적 컴퓨터 과학 및 정보 이론에서 일반적으로 사용되는 몇 가지 다른 엔트로피 측정법이 있습니다.

나는 문헌을 찾아 볼 때 소위 Renyi의 엔트로피를 더 자주 보게 되었습니다. 그들은 Shannon 엔트로피와 최소 엔트로피를 일반화하고, 실제로 임의 변수의 엔트로피 측정의 전체 스펙트럼을 제공합니다. 저는 주로 양자 정보 영역에서 일하고 있는데, Renyi 엔트로피의 양자 버전도 꽤 자주 고려됩니다.

내가 실제로 이해하지 못하는 것은 그들이 왜 유용한 지입니다. 나는 종종 Shannon / von Neumann 엔트로피 또는 최소 엔트로피보다 분석적으로 작업하는 것이 더 쉽다는 것을 들었습니다. 그러나 그들은 또한 Shannon 엔트로피 / 최소 엔트로피와도 관련 될 수 있습니다.

Renyi 엔트로피를 사용할 때 "올바른 일"의 예를 제공 할 수있는 사람이 있습니까 (클래식 또는 양자)? 내가 찾고있는 것은 Renyi 엔트로피를 언제 사용하고 싶은지 알기위한 "멘탈 훅"또는 "템플릿"입니다.

감사!

it.information-theory quantum-information

— 헨리 위엔
소스

내 대답에 대한 부록 : q-Renyi 엔트로피 (

) i, e

의 확률 론적 정의가있는 것 같습니다

q \in Z^{+}

$q \in \mathbb{Z}^+$

. 이어서

이 RHS는`섀넌 엔트로피 "라고 한 또 다른 한계 즉 정의한다.

H_{q} ({p_{i}}_{i = 1}^{n}) = \frac{1}{1 - q} l n [\sum_{k = 1}^{n} p_{k}^{q}]

$H_q (\{ p_i \}_{i=1}^n )= \frac{1}{1-q} ln [ \sum_{k=1}^n p_k^q ]$

l i m_{q \to 1} H_{q} = - \sum p_{k} l n (p_{k})

$lim_{q \rightarrow 1} H_q = - \sum p_k ln (p_k)$

. 이러한 아이디어는 math.rutgers.edu/~sk1233/courses/topics-S13, math.ias.edu/~avi/PUBLICATIONS/MYPAPERS/CRVW01/crvw01.pdf, arxiv에서 볼 수 있듯이 확장기 구성에 사용되는 것으로 보입니다. org / pdf / math / 0406038.pdf

H_{\infty} (X) = l n [\frac{1}{m a x_{a} P r [X = a]}]

$H_{\infty} (X) = ln [\frac{1}{ max_{a} Pr[X=a]} ]$

— Anirbit

15

유한 세트 분포 된 미지의 랜덤 변수 대해 원자 적 추측을 시도해보십시오 Shannon 엔트로피에서는 비트 단위로 쿼리 할 수 있다고 가정합니다. 즉 이면 다음을 요청할 수 있습니다. $X$ $A.$ $A=\{1,\ldots,N\}$

가 ? $X\in \{1,\ldots,N/2\}$ ( 짝수로 가정 하거나 바닥 / 천장 기능 사용) $N$

암호화 및 일부 디코딩 시나리오에서는 현실적이지 않습니다. 알 수없는 암호를 추측하려고하면 원자 쿼리, 즉 가 특정 값인 경우 쿼리를 만들어야 합니다. $X$

랜덤 변수 를 추측하기 위해 예상되는 쿼리 수는 차의 Renyi 엔트로피에 밀접하게 의존 한다는 것이 밝혀졌습니다 . 예를 들어 $X$ $1/2.$

E [G] \leq \frac{(\sum_{x \in A} P_{X} (x)^{1 / 2})^{2}}{2}

$E[G]\leq \frac{(\sum_{x \in A} P_X(x)^{1/2})^2}{2}$

분자는 본질적으로 의 Renyi 엔트로피의 로그입니다. 또한 Shannon Entropy를 매우 크게 만들 수 있지만 Renyi 엔트로피와 추측 수에 대한 기대는 매우 작습니다. 보안을 위해 Shannon 엔트로피에 의존하면 그 경우 문제가 발생할 수 있습니다. $1/2.$

또한 여러 번의 시도에서 낮은 엔트로피 값을 추측하는 관련 질문을 참조하십시오

일부 참고 문헌 :

JO Pliam, 무차별 대입 공격에서 엔트로피와 한계 추측의 비교 불가능 성. 색인 2000 : 67-79
E. Arikan, 추측의 불평등과 순차 디코딩에 대한 적용. 정보 이론에 관한 IEEE 거래 42 (1) : 99-105,1996.
S. Boztas, On Renyi는 암호화 공격을 추측하는 응용 프로그램, 전자, 통신 및 컴퓨터 과학의 기초에 대한 IEICE 거래 97 (12) : 2542-2548, 2014에 대해 설명합니다.

— 코들 루
소스

이 S.Boztas 용지에 액세스 할 수 없습니다. 공개적으로 액세스 할 수있는 링크가 있습니까?

— Anirbit 2016 년

@Anirbit는 RMIT 리서치 저장소 인 researchbank.rmit.edu.au를

— kodlu

그 링크를 통해 검색했습니다. 그것은 단지 나를 서클에 데려 갔다. 공개적으로 액세스 가능한 pdf 파일을 찾지 못했습니다!

— Anirbit

@ Anirbit, 죄송합니다. 실제로 보관되어 있다고 생각했습니다!

— kodlu

18

Renyi 엔트로피는 어떤 의미에서 노름 과 유사 하므로 먼저 이러한 규범이 유용한 이유를 다시 생각해 봅시다. $\ell_p$

숫자 의 벡터가 있다고 가정 합니다. 우리의 전형적인 요소를 어떻게하는지, 어떤 의미에서, 나타내는 단일 번호를 갖고 싶어 같은 모습을. $a \in \mathbb{R}^n$ $a$

그렇게하는 한 가지 방법은 의 숫자 평균을 취하는 것이며 , 이는 대략 규범에 해당합니다 . . 이것은 종종 유용하지만, 일부 응용 프로그램은 다음과 같은 문제점이있다 : 첫 번째 규범이 우리에게 위의 가장 큰 요소에 바인딩 좋은 제공하지 않습니다 , 하나의 큰 요소 많은 제로의있는 경우 때문에 규범은 가장 큰 요소보다 상당히 작습니다. 한편, $a$ $\ell_1$ $\mathbb{E}_{1 \le i \le n}[|a_i|]$ $\ell_1$ $a$ $\ell_1$ $\ell_1$ 규범은 또한의 요소 얼마나 작은에 바인딩 우리에게 좋은를 제공하지 않습니다 , 예를 들어, 얼마나 많은 제로 이 문제가 이전과 정확히 같은 시나리오에서 발생 -이있다. $a$ $a$

의 요소 때 물론, 위에서와 같은 극단적 인 시나리오에서와 같이 분산을 많이 가지고, 어떤 하나의 숫자는 위의 두 문제를 해결할 줄 수 있습니다. 우리는 트레이드 오프가 있습니다. 예를 들어 가장 큰 요소 만 알고 싶다면 규범을 사용할 수 있지만 더 작은 요소에 대한 모든 정보를 잃게됩니다. 우리가 0의 수를 원한다면 규범을 볼 수 있습니다 . 이것은 단지 의지지 크기입니다 . $a$ $\ell_\infty$ $\ell_0$ $a$

이제 규범 을 고려하는 이유 는 두 극단 사이의 지속적인 상충 관계를 우리에게 제공하기 때문입니다. 큰 요소에 대한 더 많은 정보를 원하면 를 더 크게, 그 반대도 마찬가지입니다. $\ell_p$ $p$

Renyi의 엔트로피도 마찬가지입니다. Shanon의 엔트로피는 규범 과 같습니다. 그것은 요소의 "전형적인"확률에 관한 것이지만, 분산이나 극단에 대해서는 아무 것도 알려주지 않습니다. 최소 엔트로피는 가장 큰 확률로 요소에 대한 정보를 제공하지만 나머지에 대한 모든 정보는 손실됩니다. 지지대 크기는 다른 극단을 제공합니다. Renyi의 엔트로피는 두 극단 사이의 지속적인 균형을 제공합니다. $\ell_1$

예를 들어, Renyi-2 엔트로피는 Shanon의 엔트로피에 가깝기 때문에 분포의 모든 요소에 대한 정보를 포함하고 다른 한편으로는 가장 큰 요소에 대한 더 많은 정보를 제공하기 때문에 여러 번 유용합니다. 개연성. 특히, Renyi-2 엔트로피의 경계는 최소 엔트로피의 경계를 제공하는 것으로 알려져 있습니다 (예 : 부록 A 참조 : http://people.seas.harvard.edu/~salil/research/conductors-prelim .추신

— 또는 Meir
소스

11

Renyi 엔트로피 (순서 2)는 충돌 확률을 분석하기 위해 암호화에 유용합니다.

확률 변수의 순서 (2)의 RENYI 엔트로피 리콜 것을 주어진다 $X$

H_{2} (X) = - \log_{2} \sum_{x} Pr [X = x]^{2} .

$H_2(X) = - \log_2 \sum_x \Pr[X=x]^2.$

그것은 밝혀 우리는 두 값의 분포에 따라 IID 그린 확률로 측정 할 수 ( "에서 충돌")와 동일하게 발생이 확률은 정확히 . 이 분포에서 번을 그리면 예상되는 충돌 횟수 $H_2(X)$ $X$ $2^{-H_2(X)}$ $n$ 드로우는 입니다. $n$ $C(n,2) 2^{-H_2(X)}$

이러한 사실은 충돌이 문제가되고 공격이 가능한 암호화에 유용합니다.

암호화의 다른 용도에 대한 일부 분석의 경우 다음 PhD 논문을 권장합니다.

크리스찬 케이 친 암호화의 엔트로피 측정 및 무조건 보안 . 1997 년 5 월 ETH 취리히 박사 학위 논문.

— DW
소스

q-Renyi 엔트로피에 대한 직접적인 확률 론적 정의가 있습니까? (내 대답에서 알 수 있듯이, 임의의 q에서 이것을 정의하는 유일한 방법은 Lagrangian 또는 Hamiltonian 또는 해당 작업을 통해 지정된 물리적 시스템에 해당하는 파티션 함수를 정의하는 것입니다)

— Anirbit

@ Anirbit, 나는 알지 못한다. 내가 본 것을 기억하는 사람은 아무도 없습니다. (q-Renyi 엔트로피가 우리가 관심을 갖는 다른 범위의 경계로 이어질 수도 있지만 ...)

— DW

또한 "정보 엔트로피"는 기본적으로 "열역학적 엔트로피"인 것으로 보인다. 따라서 (q = 1) -Renyi 엔트로피, 즉 얽힘 엔트로피에서도 복잡성 해석에 대한 개념적 격차가 있습니까?

— Anirbit

@DW : 좋은 대답, 내가이 사건을 포함하는 무시 : 실제로는 다양한 계층의 RENYI 엔트로피가 RENYI 매개 변수에 해당이 다가 최소 엔트로피 (예를 포함하여, 서로 다른 암호화 시나리오와 연결되어있는 것 같다

- \infty

$-\infty$ )를을한다은 무작위 추출 부분.

— kodlu

@DW 확률론적인 해석이있는 것 같습니다. 원래 질문에 대한 내 의견을 참조하십시오.

— Anirbit

3

이 다른 stackexchange 답변과이 블로그 게시물은 기본 예제를 빠르게 이해하는 데 매우 도움이 될 수 있습니다.

대략 Renyi 엔트로피는 양자 시스템의 여기 상태에 대해서는 알고 있지만 얽힘 엔트로피는 지상 상태에 대해서는 알고 있습니다. 경고 :이 직관은 엄청나게 조잡 할 수는 있지만 좋은 "정신 갈고리"일 수 있습니다.

$S_1$ $S_q$ $q \in \mathbb{Z}^+$ $S_1 = limit_{q \rightarrow 1} S_q$ $S_q$ $q \in \mathbb{R}$ $q \rightarrow 1$ $q \in \mathbb{R}$ $S_q$

$q>1$ $q-$ $q$

이러한 아나 필식 연속을 시도 할 때 존재와 건강에 관한 많은 문제가 항상 있습니다. 그러나 매일 같은 Feynman 경로식이 요법을 자란 나 같은 사람에게는 처리해야 할 가장 일반적인 문제가 있습니다. 이를 해결하기위한 많은 도구가 있습니다. 이러한 문제에 대해 살펴볼 세 가지 유용한 논문은 다음과 같습니다. http://arxiv.org/pdf/1306.5242.pdf , http://arxiv.org/pdf/1402.5396.pdf , http://arxiv.org/pdf/1303.7221 .pdf (이 문서의 마지막 부분이 더 쉬운 시작점이 될 수 있습니다.)이 프리젠 테이션도 도움이 될 수 있습니다 https://www.icts.res.in/media/uploads/Talk/Document/Tadashi_Takayanagi.pdf

양자 복잡성 이론에서 Renyi 엔트로피가 말하는 것은 흥미로운 질문 일 것입니다! Renyi 지수를 복잡한 클래스의 계층을 매개 변수화하는 것으로 생각할 수 있습니까? 사실이라면 재미있을 것입니다! 알려주세요 :)

— 아니 빗
소스

0

Renyi 엔트로피는 정량적 정보 흐름 , 영역 또는 보안 연구의 정의로가는 길을 찾았습니다 . G. Smith의 설문지를 참조하십시오 .

— 카이
소스