엔트로피는 위치와 규모에 어떻게 의존합니까?

밀도 함수 를 갖는 연속 분포 의 엔트로피 는 의 기대 값과 동일하지 않으므로 다음과 같습니다. $f$ $\log(f),$

H_{f} = - \int_{- \infty}^{\infty} \log (f (x)) f (x) d x .

$H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x.$

또한 분포가 밀도 갖는 임의의 변수 는 엔트로피 갖는다 고 (이 적분은 가 그러한 값에서 0이 될 수 있기 때문에 에 0이있는 경우에도 잘 정의 됩니다.) $X$ $f$ $H_f.$ $f$ $\log(f(x))f(x)$

되면 및 있는 랜덤 변수 ( 상수이다), 버전 것으로 알려져 어긋나게 마찬가지로 ( 는 양의 상수) 인 경우 는 의해 크기가 조정 된 버전이라고합니다스케일과 시프트를 결합하면 $X$ $Y$ $Y = X+\mu$ $\mu$ $Y$ $X$ $\mu.$ $Y = X\sigma$ $\sigma$ $Y$ $X$ $\sigma.$ $Y=X\sigma + \mu.$

이러한 관계는 자주 발생합니다. 예를 들어, 의 측정 단위를 변경하면 크기가 이동하고 크기가 조정됩니다. $X$

의 엔트로피는 의 엔트로피와 어떤 관련이 $Y = X\sigma + \mu$ $X?$

distributions data-transformation entropy

— 우버
소스

확률 요소 때문에 인 변수의 변화 동등 어디서부터 $X$ $f(x)\mathrm{d}x,$ $y = x\sigma + \mu$ $x = (y-\mu)/\sigma,$

f (x) d x = f (\frac{y - μ}{σ}) d (\frac{y - μ}{σ}) = \frac{1}{σ} f (\frac{y - μ}{σ}) d y

$f(x)\mathrm{d}x = f\left(\frac{y-\mu}{\sigma}\right)\mathrm{d}\left(\frac{y-\mu}{\sigma}\right) = \frac{1}{\sigma} f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$

그것의 밀도 것을 다음 인 $Y$

f_{Y} (y) = \frac{1}{σ} f (\frac{y - μ}{σ}) .

$f_Y(y) = \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right).$

결과적으로 의 엔트로피 는 $Y$

H (Y) = - \int_{- \infty}^{\infty} \log (\frac{1}{σ} f (\frac{y - μ}{σ})) \frac{1}{σ} f (\frac{y - μ}{σ}) d y

$H(Y) = -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right)\right) \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$

변수를 다시 하면 $x = (y-\mu)/\sigma,$

\begin{aligned} H (Y) & = - \int_{- \infty}^{\infty} \log (\frac{1}{σ} f (x)) f (x) d x \\ = - \int_{- \infty}^{\infty} (\log (\frac{1}{σ}) + \log (f (x))) f (x) d x \\ = \log (σ) \int_{- \infty}^{\infty} f (x) d x - \int_{- \infty}^{\infty} \log (f (x)) f (x) d x \\ = \log (σ) + H_{f} . \end{aligned}

$\eqalign{ H(Y) &= -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= -\int_{-\infty}^{\infty} \left(\log\left(\frac{1}{\sigma}\right) + \log\left(f\left(x\right)\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log\left(\sigma\right) \int_{-\infty}^{\infty} f(x) \mathrm{d}x -\int_{-\infty}^{\infty} \log\left(f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log(\sigma) + H_f. }$

이 계산은 로그의 기본 속성, 적분의 선형성 및 가 단일성 (총 확률 법칙)으로 통합 된다는 사실을 사용했습니다 . $f(x)\mathrm{d}x$

결론은

엔트로피 의 엔트로피 플러스 $Y = X\sigma + \mu$ $X$ $\log(\sigma).$

즉, 임의 변수를 이동해도 엔트로피는 변경되지 않지만 (우리는 확률 밀도 값에 따라 엔트로피를 생각할 수 있지만 해당 값이 발생하는 위치는 아닌 것으로 생각할 수 있음) 변수를 스케일링하는 동안 ( "스트레치"또는 "번짐"은 만큼 엔트로피를 증가시킵니다 이것은 높은 엔트로피 분포가 낮은 엔트로피 분포보다 "더 널리 퍼져"있다는 직감을 지원합니다. $\sigma \ge 1$ $\log(\sigma).$

이 결과로 분포의 엔트로피를 계산할 때 편리한 및 값을 자유롭게 선택할 수 있습니다 . 예를 들어, 및 을 설정 하면 정규 분포 의 엔트로피를 찾을 수 있습니다이 경우 밀도의 로그는 $\mu$ $\sigma$ $(\mu,\sigma)$ $\mu=0$ $\sigma=1.$

\log (f (x)) = - \frac{1}{2} \log (2 π) - x^{2} / 2,

$\log(f(x)) = -\frac{1}{2}\log(2\pi) - x^2/2,$

어떻게

H = - E [- \frac{1}{2} \log (2 π) - X^{2} / 2] = \frac{1}{2} \log (2 π) + \frac{1}{2} .

$H = -E[-\frac{1}{2}\log(2\pi) - X^2/2] = \frac{1}{2}\log(2\pi) + \frac{1}{2}.$

결과적 으로이 결과에 를 추가 하여 정규 분포 의 엔트로피를 얻습니다. $(\mu,\sigma)$ $\log\sigma$

H = \frac{1}{2} \log (2 π) + \frac{1}{2} + \log (σ) = \frac{1}{2} \log (2 π e σ^{2})

$H = \frac{1}{2}\log(2\pi) + \frac{1}{2} + \log(\sigma) = \frac{1}{2}\log(2\pi\,e\,\sigma^2)$

Wikipedia에 의해보고 된대로 .

— 우버
소스