«kullback-leibler» 태그된 질문

나는 2 사이의 비 유사성 척도로 KL 분기를 사용하고 있습니다. m . f . p.m.f.p.m.f.p.m.f. PPP 와 QQQ . =−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi)DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln⁡(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i =−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=-\sum P(X_i)ln\left(Q(X_i)\right) + \sum P(X_i)ln\left(P(X_i)\right) 경우 그리고, 우리는 쉽게 그 계산할 수 P(Xi)=0P(Xi)=0P(X_i)=0P(Xi)ln(Q(Xi))=0P(Xi)ln(Q(Xi))=0P(X_i)ln\left(Q(X_i)\right)=0 P(Xi)ln(P(Xi))=0P(Xi)ln(P(Xi))=0P(X_i)ln\left(P(X_i)\right)=0 그러나 및 를 계산하는 방법P(Xi)≠0P(Xi)≠0P(X_i)\ne0Q(Xi)=0Q(Xi)=0Q(X_i)=0P(Xi)ln(Q(Xi))P(Xi)ln(Q(Xi))P(X_i)ln\left(Q(X_i)\right)

15 distributions  distance  kullback-leibler 

파이썬 코드에서 KL 분기를 사용 하고이 자습서를 얻었습니다 . 이 튜토리얼에서 KL 분기를 구현하는 것은 매우 간단합니다. kl = (model * np.log(model/actual)).sum() 이해 된 바와 같이, 확률 분포 model및 actual<= 1이어야한다. 내 질문은 k의 최대 한계 / 최대 가능한 값은 무엇입니까?입니다. 내 코드의 최대 경계와 관련하여 kl 거리의 최대 값을 …

15 machine-learning  distance  kullback-leibler 

두 분포를 KL 분기와 비교하여이 측정에 대해 읽은 내용에 따라 하나의 가설을 다른 가설로 변환하는 데 필요한 정보의 양인 비표준 숫자를 반환합니다. 두 가지 질문이 있습니다. a) 효과 크기 나 R ^ 2와 같이보다 의미있는 해석을 갖도록 KL 분기를 정량화하는 방법이 있습니까? 어떤 형태의 표준화? b) R에서 KLdiv (flexmix 패키지)를 …

14 distributions  kullback-leibler  information-geometry 

KL Divergence는 대칭이 아니며 메트릭으로 엄격하게 간주 될 수 없습니다. 그렇다면 JS Divergence가 메트릭에 필요한 특성을 충족 할 때 왜 사용됩니까? KL 분기를 사용할 수 있지만 JS 분기 또는 그 반대의 시나리오가 있습니까?

14 probability  distributions  kullback-leibler  metric 

경우 비 - 제로 값을 갖는 확률 분포에 의 유형 (들)에 대한 일정에 존재 않는 되도록 모두 ?p(x)p(x)p(x)[0,+∞)[0,+∞)[0,+\infty)p(x)p(x)p(x)c>0c>0c\gt 0∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^20<ϵ<10<ϵ<10\lt\epsilon\lt 1 위의 불평등은 실제로 분포 와 그것의 압축 버전 사이의 Kullback-Leibler Divergence 입니다. 이 부등식이 지수, 감마 및와 이블 분포에 적용된다는 것을 알았으며 더 큰 부류의 확률 …

12 probability  stochastic-processes  kullback-leibler  probability-inequalities 

나는 수학자가 아닙니다. KL Divergence에 대한 인터넷을 검색했습니다. 내가 배운 것은 KL 분기는 입력 분포와 관련하여 모델의 분포를 근사 할 때 손실되는 정보를 측정한다는 것입니다. 나는 두 개의 연속 또는 이산 분포 사이에서 이것을 보았습니다. 연속과 불연속 또는 그 반대로 할 수 있습니까?

12 distributions  mathematical-statistics  kullback-leibler 

나는 어떤 시점에서 다른 확률에 대한 하나의 확률 측정의 Radon-Nikodym 미분을 사용하는 것을 보았는데, 특히 Kullback-Leibler 발산에서 임의의 매개 변수 에 대한 모델의 확률 측정의 미분 실제 매개 변수 과 관련하여 :θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} 둘 다 매개 변수 값에 조건부 인 데이터 포인트 공간에 대한 확률 측정치 인 경우 .Pθ(D)=P(D|θ)Pθ(D)=P(D|θ)P_\theta(D)=P(D|\theta) …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

mgcv에 대한 패키지는 R텐서 제품의 상호 작용을 피팅에 대한 두 가지 기능이 있습니다 : te()와 ti(). 나는 둘 사이의 기본 노동 분열을 이해한다 (비선형 상호 작용에 적합하고이 상호 작용을 주요 효과와 상호 작용으로 분해). 내가 이해할 수없는 것은 왜 te(x1, x2)와 ti(x1) + ti(x2) + ti(x1, x2)(약간) 다른 결과가 발생할 …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

다른 클러스터링 방법을 비교하기 위해 빠른 시뮬레이션을 실행 중이며 현재 클러스터 솔루션을 평가하려고 시도 중입니다. 다양한 유효성 검사 메트릭 ( R의 cluster.stats () 에서 발견 됨)에 대해 알고 있지만 예상 클러스터 수가 실제 클러스터 수와 같으면 가장 잘 사용된다고 가정합니다. 원래 시뮬레이션에서 올바른 수의 클러스터를 지정하지 않은 경우 클러스터링 솔루션의 …

11 clustering  kullback-leibler  gaussian-mixture 

두 샘플에 대해 Kullback-Leibler Divergence의 수치 추정을 구현하려고했습니다. 구현을 디버그하려면 두 정규 분포 엔( 0 , 1 )엔(0,1)\mathcal N (0,1) 및 에서 샘플을 가져옵니다 .엔( 1 , 2 )엔(1,2)\mathcal N (1,2) 간단한 추정을 위해 두 개의 히스토그램을 생성하고 수치 적으로 근사치를 근사하려고했습니다. 히스토그램 중 하나의 빈이 0 인 히스토그램의 해당 …

10 estimation  intuition  kullback-leibler  numerics 

세 개의 데이터 세트 X, Y 및 Z가 있습니다. 각 데이터 세트는 이벤트 발생 빈도를 정의합니다. 예를 들면 다음과 같습니다. 데이터 세트 X : E1 : 4, E2 : 0, E3 : 10, E4 : 5, E5 : 0, E6 : 0 등. 데이터 세트 Y : E1 : 2, …

10 kullback-leibler 

내 연구에서 나는 다음과 같은 일반적인 문제를 겪었 습니다. 동일한 도메인에 대해 두 개의 분포 PPP 와 QQQ 가 있고 그 분포에서 많은 (그러나 유한 한) 샘플 수가 있습니다. 표본은이 두 분포 중 하나에서 독립적으로 동일하게 분포됩니다 (분포는 관련 될 수 있지만, 예를 들어 QQQ 는 PPP 와 다른 분포 …

10 hypothesis-testing  mathematical-statistics  kullback-leibler  information-theory  bounds 

VAE를 구현하고 있으며 단순화 된 단 변량 가우시안 KL 발산에 대해 온라인에서 두 가지 다른 구현을 발견했습니다. 당 원래 발산 여기가 있다 이전의 단위 가우스 인 것으로 가정하면 (예 : 및 ) 단순화됩니다. 여기에 혼란이 있습니다. 위의 구현으로 몇 가지 모호한 github repos를 찾았지만 더 일반적으로 사용되는 것은 다음과 같습니다.케이엘L …

10 inference  kullback-leibler  autoencoders  variational-bayes 

두 개의 연속 분포 f와 g 사이의 KL 발산을 추정하고 싶습니다. 그러나 f 또는 g의 밀도를 기록 할 수 없습니다. f와 g 모두에서 일부 방법 (예 : markov chain monte carlo)을 통해 샘플링 할 수 있습니다. f에서 g 로의 KL 발산은 다음과 같이 정의됩니다 DKL(f||g)=∫∞−∞f(x)log(f(x)g(x))dxDKL(f||g)=∫−∞∞f(x)log⁡(f(x)g(x))dxD_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) …

10 kullback-leibler 

이것은 여러 번 나온 예제 일뿐이므로 샘플 데이터가 없습니다. R에서 선형 회귀 모델 실행 : a.lm = lm(Y ~ x1 + x2) x1연속 변수입니다. x2범주 형이며 "낮음", "중간"및 "높음"의 세 가지 값이 있습니다. 그러나 R이 제공하는 출력은 다음과 같습니다. summary(a.lm) Estimate Std. Error t value Pr(>|t|) (Intercept) 0.521 0.20 1.446 …

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction