상대적인 정규화 된 유틸리티 함수를 pmf로 취급 할 때 Shannon 엔트로피 또는 Shannon 정보의 해석은 무엇입니까?

10

가 이산 랜덤 변수의 상호 배타적 인 결과 집합이고 가 , 등인 유틸리티 함수 라고 가정 합니다 . $\Omega$ $f$ $0 < f(\omega) \leq 1$ $\sum_\Omega f(\omega) = 1$

하면 균일하게 분산되어 와 A는 확률 질량 함수 , 섀넌 엔트로피 이고 최대화 ( 의 경우 하나 개의 원소와 모두 가지고 의 질량, 샤논 엔트로피 (최소화 사실). 이는 서프라이즈 (또는 불확실성 감소 )와 결과 및 불확실성 (또는 예상되는 놀라움 ) 및 임의 변수에 대한 직관에 해당 합니다. $f$ $\Omega$ $f$ $H(\Omega) = \sum_{\Omega}f(\omega)log\frac{1}{f(\omega)}$ $=log|\Omega|)$ $\Omega$ $f$ $0$

가 균일하게 분포 될 때 불확실성이 최대화되고 질량이 균일하게 분포 될수록 더 많은 결과가있을수록 우리는 더 불확실 해집니다. $f$
가 모든 질량을 하나의 결과에 집중 시키면 불확실성이 없습니다. $f$
결과에 확률 을 할당하면 실제로 관찰 할 때 정보가 얻지 않습니다 ( "예기치 않은"). $1$
결과에 더 가깝고 더 가까운 확률을 할당하면 실제로 발생하는 결과가 점점 더 유익 해집니다 ( "놀람"). $0$

(이 모든 것은 물론 Shannon의 정보 / 엔트로피에 대한 훨씬 더 구체적이지만 덜 유행적인 코딩 해석에 대해서는 아무 것도 말하지 않습니다.)

그러나 가 유틸리티 함수를 해석 할 때 또는 대한 감각적 인 해석이 있습니까? ? 나에게있을 것 같습니다 : $f$ $log\frac{1}{f(\omega)}$ $\sum f(\omega)log\frac{1}{f(\omega)}$

만약 PMF를 통해 균일 한 분포로 나타낸다 후 유틸리티 기능에 대응으로 무관심 클 수 없었던 결과 위에 * $f$ $\Omega$ $f$
하나의 결과에 모든 유틸리티가 있고 나머지에는 유틸리티가있을 수있는 것처럼 왜곡되지 않은 유틸리티 함수는 매우 강한 상대 환경 설정 , 즉 무관심의 부족에 해당합니다 .

이에 대한 참조가 있습니까? 확률 질량 함수와 이산 랜덤 변수에 대한 정규화 된 상대 유틸리티를 비교할 때의 한계에 대해 놓친 점이 있습니까?

* 무차별 곡선에 대해 알고 있고 범주 형 표본 공간에 중점을두고 '무차별'에 관심이 없다는 사실부터 시작하여 여러 가지 이유로 내 질문에 어떤 관련이 있는지 알 수 없습니다. 오히려 문제의 (이산 적) '확률 분포'가 실제로 또는 (추가적으로) 유틸리티 기능의 해석을 가지고있을 때 유틸리티를 확률로 해석하는 방법과 확률에 대한 기능을 해석하는 방법.

— EM23
소스

답이 없지만 공정한 케이크 절단 문제에서 엔트로피를 사용한다고 생각합니다. en.wikipedia.org/wiki/Fair_cake-cutting 표준 모델은 케이크가 간격이라는 것입니다 [0, 1] 간격에 대해 정규화 된 값 측정 값이 다른 에이전트 가 있습니다. 측정은 비원자인 것으로 가정되지만 "엔트로피"에 대한 추가 가정은 없습니다. 유틸리티 기능이 엔트로피를 제한하는 케이크 절단 문제에 대해 우리가 말할 수있는 것을 생각하는 것은 흥미로울 수 있습니다.

n

$n$

— Erel Segal-Halevi

3

토론하기 전에 Shannon의 엔트로피에 대해 논의해야 할 또 다른 요점이 있습니다. 이는 서수 보다는 기본 유틸리티 를 염두에 둔 것으로 보입니다 .

"정규화 된"유틸리티 기능은 두 경우 모두에서 파생 될 수 있습니다. 그러나 "상대적 선호도"의 개념은 기본 유틸리티의 맥락에서만 정의되고 측정 될 수 있습니다.

그리고 문제는 당신이 묘사하는 두 가지 극단이 아니라 가능한 모든 중간 사례에서 발생합니다.

간단한 예 : 세 가지 "결과", (예 : 소비 수준 또는 각각 다른 수량의 세 가지 다른 제품) 가 있다고 가정하십시오 . 유틸리티 기능에 값이 할당되었습니다 $A, B, C$

V (A) = 1, V (B) = 9, V (C) = 90

$V(A) = 1, \;\;V(B) = 9,\;\; V(C) = 90$

서수 유틸리티 하에서 이것은 단지 우리에게

A <_{p r} B <_{p r} C

$A <_{pr} B <_{pr} C$

확실히 우리는 이것을 으로 나누어서 정규화 할 수 있습니다. $100$

이고 세 결과의 순위가 유지됩니다

U_{V} (A) = 0.01, U_{V} (B) = 0.09, U_{V} (C) = 0.9

$U_V(A)=0.01, \;\; U_V(B) = 0.09,\;\; U_V(C) =0.9$

그러나 서수 유틸리티에서 우리는 할당 할 다른 유틸리티 함수를 매우 잘 사용할 수 있습니다.

W (A) = 31, W (B) = 32, W (C) = 37

$W(A) = 31, \;\;W(B) = 32,\;\; W(C) = 37$

그리고 얻다

U_{W} (A) = 0.31, U_{W} (B) = 0.32, U_{W} (C) = 0.37

$U_W(A)=0.31, \;\; U_W(B) = 0.32,\;\; U_W(C) =0.37$

순위는 동일하므로 두 유틸리티 함수 와 는 순서 유틸리티에서 동일 합니다. $V$ $W$

그러나 당신이 묘사하는 것에는 유틸리티 기능을 나타내는 다른 상대 기본 설정 보다 더 그리고 그것은 같은 유틸리티 함수가 아닙니다. 그러나 이것은 유틸리티 번호 사이의 양적 비교가 의미를 갖는 것으로 가정되는 기본 유틸리티 에서만 의미가 있습니다. $W$ $V$

기본 유틸리티와 관련된 문제에 대해 잘 알고 있습니까?

— 알레 코스 파파도풀로스
소스

그러한 문제가 있음을 알고 있습니까? 예. 왜 (개인의 교육을 넘어서) 그런 문제를주의 깊게 고려해야하는지 알고 있습니까? 실제로는 아니지만 관심있는 도메인 (범주 RV 인 작업 및 환경의 결정 문제)에 대해 유틸리티는 일반적으로 내가 알 수있는 한 추기경으로 간주됩니다

와

는 실제로는 별도의 유틸리티 기능으로 간주됩니다 동일한 서수의 선호도 순위를 표시하여 특히 관련이 있습니다. 그러나 기본 유틸리티와 관련된 문제에 대해 더 많이 듣고 싶습니다.

V

$V$

U

$U$

— EM23

3

다른 답변에서 OP와 교환 한 후, 그의 접근 방식으로 조금 작업합시다.

$X$ $X = \{x_1,...,x_k\}$ $\Pr(X=x_i)=p_i, i=1,...,k$

지원하는 값 도 실수 형 기본 유틸리티 함수 인 . 그런 다음 정규화 된 유틸리티 함수를 고려합니다. $X$ $u(x_i) > 0\; \forall i$

\begin{matrix} (1) & w (X) : w (x_{i}) = \frac{u (x_{i})}{\sum_{i = 1}^{k} u (x_{i})}, i = 1, . . ., k \end{matrix}

$w(X): w(x_i) = \frac {u(x_i)}{\sum_{i=1}^ku(x_i)},\;\;i=1,...,k \tag{1}$

그리고 우리는

\begin{matrix} (2) & w (x_{i}) = p_{i} \end{matrix}

$w(x_i) = p_i \tag{2}$

유한 도메인의 정규화 된 음이 아닌 이산 함수가 일반적으로 확률 질량 함수의 속성을 만족한다는 것을 관찰하지는 않습니다. 우리는 가 랜덤의 PMF의 기능적 형태를 갖는다 고 가정합니다. 값 가 입력으로 사용되는 변수. $w(x_i)$ $w(x_i)$

이후 랜덤 변수의 측정 기능, 그것 역시 랜덤 변수이다. 따라서 예상 값과 같은 것을 의미있게 고려할 수 있습니다. 우리가 가진 무의식 통계학 자의 법칙을 사용하여 $w(x_i)$

\begin{matrix} (3) & E [w (X)] = \sum_{i = 1}^{k} p_{i} w (x_{i}) = \sum_{i = 1}^{k} p_{i}^{2} \end{matrix}

$E[w(X)] = \sum_{i=1}^kp_iw(x_i) = \sum_{i=1}^kp_i^2 \tag{3}$

이것은 볼록한 함수이며, 제약 조건 에서 에 대해이를 쉽게 얻을 수 있습니다. $p_i$ $\sum_{i=1}^kp_i=1$

\begin{matrix} (4) & argmin E [w (X)] = p^{*} : p_{1} = p_{2} = . . . = p_{k} = 1 / k \end{matrix}

$\text{argmin} E[w(X)] = \mathbf p^*: p_1=p_2=...=p_k=1/k \tag {4}$

그리고 우리는 일반적인 결과를 얻었습니다.

위에 정의 된 정규화 된 유틸리티 함수는 의 분포 가 균일 한 경우 최소 기대 값을 갖습니다 . $X$

그러한 경우에 는 상수 함수 , 및 0의 분산을 갖는 변성 랜덤 변수 일 것이다 . $w(X)$ $E[w(X)]=1/k$

OP의 초점이되는 Shannon 's Entropy로 돌아 갑시다. 계산하려면 Shannon의 엔트로피에 랜덤 변수의 확률 질량 함수가 필요합니다. 따라서 랜덤 변수 의 PMF를 찾아야합니다 . $w(X)$

그러나 이것이 OP가 생각한 것이 아니라는 인상을 받았습니다. 오히려 Shannon의 엔트로피는 바람직한 대수 특성을 가지고 있으며 의미있는 방식으로 관심있는 대상으로 컴팩트하게 측정 할 수있는 메트릭으로 간주합니다.

이것은 경제학, 특히 산업 조직에서 이루어졌으며, 시장 집중 지수 ( "시장의 경쟁 / 독점 구조")가 구성되었습니다. 나는 여기에 특히 관련이있는 두 가지를 주목합니다.

A) 허 핀달 지수, 인수의 시장 점유율로가 시장, 기업 운영 , 그래서 그들은 건설에 의해 통일로 요약. 비 스케일 버전은 $n$ $s_i$

H = \sum_{i = 1}^{n} s_{i}^{2}

$H = \sum_{i=1}^n s_i^2$

이는 위에서 도출 된 의 예상 값과 정확히 동일한 구조를 갖는 표현식입니다 . $w(X)$

B) 엔트로피 지수 Shannon의 엔트로피 정확한 수학적 형태를 갖는다.

{아르 자형}_{이자형} = - \sum_{나는 = 1}^{엔} {에스}_{나는} \ln {에스}_{나는}

$R_e = -\sum_{i=1}^n s_i\ln s_i$

Encaoua, D., & Jacquemin, A. (1980). 독점 정도, 집중 지수 및 진입 위협. 국제 경제 검토, 87-105. "허용 가능한"농도 지수의 축 방향 유도를 제공합니다. 즉, 이러한 지수가 가져야하는 특성을 정의합니다. 그들의 접근 방식은 추상적이기 때문에 OP가 탐구하고 의미를 부여하고자하는 것에 유용 할 수 있다고 생각합니다.

— 알레 코스 파파도풀로스
소스

1

$v=v*2-0.5$

따라서 먼저 유틸리티에 의미있는 비율 척도를 제공해야합니다. 이를 수행하는 한 가지 방법은 자연적인 0 유틸리티 수준에 대한 해석을 제공하는 것입니다. 이 사양이 없으면 엔트로피는 의미가 없습니다.

— HRSE
소스