«kullback-leibler» 태그된 질문

두 가우스 간의 KL- 분산을 결정해야합니다. 나는 내 결과를 비교하고 이 있지만, 나는 그들의 결과를 재현 할 수 없습니다. KL (p, p)에 대해 KL이 0이 아니기 때문에 결과가 분명히 잘못되었습니다. 어디에서 실수를하는지 궁금해하고 누군가가 실수를 할 수 있는지 물어 봅니다. 하자 및 . 주교의 PRML에서 나는p(x)=N(μ1,σ1)p(x)=N(μ1,σ1)p(x) = N(\mu_1, \sigma_1)q(x)=N(μ2,σ2)q(x)=N(μ2,σ2)q(x) = …

79 normal-distribution  kullback-leibler 

모델 분포 함수가 데이터의 이론적 / 실제 분포와 얼마나 다른지에 따라 KL Divergence의 직관에 대해 배웠습니다. 내가 읽고있는 출처는이 두 분포 사이의 '거리'에 대한 직관적 인 이해가 도움이되지만 두 분포 PPP 와 QQQ 대해 문자 그대로 취해서는 안된다고 말하면서 KL 분기는 PPP 와 QQQ 에서 대칭이 아닙니다 . 마지막 진술을 …

47 distributions  distance  intuition  kullback-leibler 

두 개의 다변량 정규 분포를 가정하여 KL 발산 공식을 도출하는 데 문제가 있습니다. 일 변량 사례를 상당히 쉽게 수행했습니다. 그러나 수학 통계를 취한 지 꽤 오래되었으므로 다변량 사례로 확장하는 데 문제가 있습니다. 나는 단순한 것을 놓치고 있다고 확신합니다. 여기 내가 가진 것이 있습니다 ... 와 q 가 각각 평균 μ …

46 normal-distribution  kullback-leibler  proof 

제 생각에는 샘플 분포에서 실제 분포로의 KL 발산은 단순히 크로스 엔트로피와 엔트로피의 차이입니다. 많은 기계 학습 모델에서 교차 엔트로피를 사용하여 비용 함수로 사용하지만 t-sne에서 Kullback-Leibler 분기를 사용하는 이유는 무엇입니까? 학습 속도에 차이가 있습니까?

39 kullback-leibler  tsne  cross-entropy 

Kullback–Leibler와 Kolmogorov-Smirnov 거리 측정 간에는 공식적인 차이가 많이 있음을 알 수 있습니다. 그러나 둘 다 분포 사이의 거리를 측정하는 데 사용됩니다. 하나가 다른 하나 대신 사용해야하는 일반적인 상황이 있습니까? 그렇게하는 근거는 무엇입니까?

37 distributions  distance-functions  kolmogorov-smirnov  kullback-leibler 

다음 질문에 대한 직관적 인 설명을 찾고 있습니다. 통계 및 정보 이론에서 Bhattacharyya 거리와 KL 발산의 차이는 두 개의 이산 확률 분포의 차이를 측정하는 방법으로 무엇입니까? 그들은 전혀 관계가 없으며 두 확률 분포 사이의 거리를 완전히 다른 방식으로 측정합니까?

33 mathematical-statistics  information-theory  kullback-leibler  bhattacharyya 

두 대칭 공분산 행렬 (모두 같은 치수를 가짐) 사이에 유사성 또는 거리 측정 값이 있습니까? 나는 여기서 두 확률 분포의 KL 발산 또는 행렬에 적용되는 것을 제외하고 벡터 사이의 유클리드 거리와의 유사성을 생각하고 있습니다. 유사성 측정이 상당히 많을 것 같습니다. 이상적으로 두 공분산 행렬이 동일하다는 귀무 가설을 테스트하고 싶습니다.

28 distributions  hypothesis-testing  covariance-matrix  kullback-leibler  information-theory 

이 사진을보세요 : 적색 밀도에서 표본을 추출하면 일부 값은 0.25보다 작을 것으로 예상되지만 청색 분포에서 이러한 표본을 생성하는 것은 불가능합니다. 결과적으로 빨간색 밀도에서 파란색 밀도까지의 쿨백-레 블러 거리는 무한대입니다. 그러나 두 곡선은 "자연적인 의미"로는 그다지 뚜렷하지 않습니다. 여기 내 질문이 있습니다 :이 두 곡선 사이의 유한 거리를 허용하는 쿨백-라이버 거리의 …

28 kullback-leibler 

Wasserstein 메트릭 과 Kullback-Leibler 발산 의 실제 차이점은 무엇입니까 ? Wasserstein 미터법은 Earth mover 's distance 라고도합니다 . Wikipedia에서 : Wasserstein (또는 Vaserstein) 메트릭은 주어진 메트릭 공간 M의 확률 분포 사이에 정의 된 거리 함수입니다. 과 Kullback–Leibler 분기는 하나의 확률 분포가 두 번째 예상 확률 분포와 어떻게 다른지 측정합니다. KL이 …

25 distributions  kullback-leibler  metric  wasserstein 

Cross Validated의 많은 트롤링 후에도 여전히 정보 이론의 영역 밖에서 KL 분기를 이해하는 것에 더 가깝다고 느끼지 않습니다. 정보 이론 설명을 이해하기가 훨씬 쉬운 수학 배경을 가진 사람에게는 다소 이상합니다. 정보 이론 배경에서 내 이해를 간략하게 설명하려면 : 한정된 수의 결과를 갖는 임의의 변수가있는 경우 평균적으로 가장 짧은 메시지를 가지고 …

23 inference  entropy  information-theory  kullback-leibler  compression 

분류 및 회귀 트리를 연구하고 있으며 분할 위치의 측정 방법 중 하나는 GINI 점수입니다. 이제 두 분포간에 동일한 데이터의 우도 비율에 대한 로그가 0 일 때 최적의 분할 위치를 결정하는 데 익숙합니다. 즉, 멤버쉽 가능성도 동일합니다. 내 직감에 따르면 어떤 종류의 연결이 있어야하며 GINI는 수학적 정보 이론 (Shannon)에 좋은 기초를 …

21 cart  likelihood-ratio  information-theory  kullback-leibler  gini 

누군가 순수하게 수학적으로 엄격한 방식으로 Fisher 정보 지표와 상대 엔트로피 (또는 KL 분기) 사이의 다음 연결을 증명할 수 있습니까 ? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) 여기서 a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n) , gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) p(x;a) dxg_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log …

20 mathematical-statistics  kullback-leibler  fisher-information 

다음 두 확률 분포를 고려해 봅시다. P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 나는 인 Kullback-Leibler 분기를 계산 했습니다. 일반적 으로이 숫자가 무엇을 보여주고 싶습니까? 일반적으로 Kullback-Leibler 분기는 하나의 확률 분포가 다른 확률 분포와 얼마나 멀리 떨어져 …

18 interpretation  information-theory  kullback-leibler 

KL 발산이 왜 음이 아닌가? 정보 이론의 관점에서 나는 다음과 같은 직관적 인 이해를 얻었습니다. x로 레이블이 지정된 동일한 요소 세트로 구성된 두 개의 앙상블 AAA 와 가 있다고 가정하십시오 . p ( x ) 와 q ( x ) 는 각각 앙상블 A 와 B에 대한 서로 다른 확률 …

18 information-theory  kullback-leibler 

pdf 의해 감마 분포 를 매개 변수화하도록 선택 와 사이의 Kullback-Leibler 분기 는 다음과 같이 [1]에 의해 주어집니다.Γ(b,c)Γ(비,씨)\Gamma(b,c)g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b}Γ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)Γ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p) KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqb피\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align} 나는 같은데요 는 IS 디 감마 …

15 kullback-leibler  gamma-distribution  exponential-family