엔트로피와 SNR의 관계

일반적으로 모든 형태의 enropy는 불확실성 또는 무작위성으로 정의됩니다. 잡음이 증가하는 시끄러운 환경에서는 원하는 신호의 정보 내용에 대해 더 확실하지 않기 때문에 엔트로피가 증가한다고 생각합니다. 엔트로피와 SNR의 관계는 무엇입니까? 신호 대 잡음비가 증가함에 따라 잡음 전력은 감소하지만 신호의 정보 내용이 증가한다는 것을 의미하지는 않습니다 !! 정보 내용이 동일하게 유지 될 수 있으므로 엔트로피가 영향을받지 않습니까?

"정보 내용이 동일하게 유지 될 수 있습니다"라고 말할 때 전체 신호의 정보 또는 원하는 신호의 정보를 의미합니까? 바라건대 이것은 두 경우 모두에 대답 할 것입니다. 나는 Kolmogorov보다 Shannon 엔트로피를 훨씬 잘 알고 있으므로 그것을 사용할 것입니다.하지만 논리가 번역되기를 바랍니다.

이 원하는 신호 S 와 노이즈 성분 N 의 합으로 구성된 총 신호 ( X ) 라고 가정 해 봅시다 . 엔트로피 H 라고합시다 . 말했듯이, 노이즈는 시스템의 복잡성을 증가시켜 엔트로피를 시스템에 추가합니다. 그러나 신호 의 정보 내용 에 대해 더 불확실 할 뿐 아니라 신호 전체에 불확실성이 더 커야하기 때문일 수 있습니다. SNR 종류가 S의 확실성을 측정하는 경우 H ( X ) 종류는 X의 미래 상태를 얼마나 잘 예측할 수 있는지 측정합니다.$X = S + N$$X$$S$$N$$H$$S$$H(X)$$X$ 의 현재 상태를 기반으로합니다 . 엔트로피는 잡음 대 비 잡음의 구성에 관계없이 전체 신호가 얼마나 복잡한 지에 관심이 있습니다.$X$

잡음을 제거하여 ( 감쇠 ) SNR을 높이면 전체 신호 X 의 복잡성과 엔트로피가 줄어 듭니다 . 다음과 같은 방법으로 수행 정보 손실되지 않은 S 에 의해 수행에만 (아마도 의미) 정보 N을 . 경우 N은 랜덤 잡음은 다음 분명히 의미 정보를 운반하지 않지만, 설명하기 위해 일정량의 정보를 얻어 N 의 N이 될 수있는 상태의 수에 의해 결정 상태와 그것의 존재의 확률을 각각의 상태. 그것은 엔트로피입니다.$N$$X$$S$$N$$N$$N$

분산이 다른 두 가우스 분포를 볼 수 있습니다. 하나는 분산이 이고 다른 하나는 분산이 100 입니다. 가우스 분포에 대한 방정식을 살펴보면 V a r = 100 분포의 최대 확률은 1에 불과합니다.$1$$100$$Var=100$ 의var=1분포 확률의 값. 반대로, 이는Var=100분포가평균 이외의 값을 취할확률이 더 높거나Var=1분포가 평균 근처의 값을 취할가능성이 더 크다는것을 의미합니다. 따라서Var=1분포는Var=100분포보다 낮은 엔트로피를 갖습니다.$\frac {1} {10}$$var=1$$Var=100$$Var=1$$Var=1$$Var=100$

분산이 높을수록 엔트로피가 높아진다는 것을 알았습니다. 오류 전파를 살펴보면 (독립 X , Y와 동일 )도 사실입니다. 만약 X = S + N 다음 엔트로피 H , H ( X ) = H ( S + N ) . 이후$Var(X+Y) >= Var(X) + Var(Y)$$X$$Y$$X = S + N$$H$$H(X) = H(S+N)$ 는 (간접적으로) 분산의 함수이므로, H ( V a r [ X ] ) = H ( V a r [ S + N ] ) 라고하는 것을 조금 퍼지 할 수 있습니다. 단순화하기 위해 S 와 N 은 독립적이므로 H ( V a r [ X ] ) = H ( V a r [ S ] + V a r [ $H$$H(Var[X]) = H(Var[S+N])$$S$$N$ . 개선 된 SNR은 종종 잡음 전력을 약화시키는 것을 의미합니다. SNR이 더 높은이 새로운 신호는 X = S + ( $H(Var[X]) = H(Var[S] + Var[N])$인 경우k>1입니다. 그러면 엔트로피는H(Var[X])=H(Var[S]+(1/k)2*Var[N])가됩니다. k는보다 큰한, 그래서VR은[N은]N은 감쇠 될 때 감소한다. 만약$X = S + (\frac {1} {k})N$$k>1$$H(Var[X]) = H(Var[S] + (1/k)^2*Var[N])$$k$$1$$Var[N]$ 저하는 그렇게 V R [ S + N ] , 따라서 V R [ X ] , 감소의 결과 H ( X ) .$Var[N]$$Var[S+N]$$Var[X]$$H(X)$

간결하지 않습니다. 죄송합니다. 요컨대, SNR을 높이면 의 엔트로피가 감소하지만 S 의 정보에는 아무런 영향을 미치지 않습니다 . 지금은 소스를 찾을 수 없지만 서로 SNR과 상호 정보 (엔트로피와 유사한 이변 량 측정 값)를 계산하는 방법이 있습니다. 아마도 가장 중요한 것은 SNR과 엔트로피가 같은 것을 측정하지 않는다는 것입니다.$X$$S$

다음은 [1, p. 186]OP 또는 Google 직원을 시작하기 위한 인용문입니다 .

$\mathcal{H} \approx \text{(number of active components in data)} \times \log \text{SNR}$

$\mathcal{H}$

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006