«mutual-information» 태그된 질문

상호 정보를 사용하여 두 변수 A와 B 사이의 관계를 수량화하고 싶습니다. 이를 계산하는 방법은 관측 값을 비닝하는 것입니다 (아래 예제 Python 코드 참조). 그러나 어떤 수의 빈이 합리적인지를 결정하는 요인은 무엇입니까? 계산 속도가 빠르므로 많은 쓰레기통을 안전하게 사용할 수 없습니다. from sklearn.metrics import mutual_info_score def calc_MI(x, y, bins): c_xy = …

10 information-theory  mutual-information  binning 

표준화 된 형태의 상호 정보를 이해하려고합니다. n p m i =p m i ( x , y)L O g( p ( x , y) )npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} 로그 결합 확률이 점별 상호 정보를 [-1, 1] 사이로 정규화하는 이유는 무엇입니까? 포인트 별 상호 정보는 다음과 같습니다. P는 m은 난 = L …

9 entropy  information-theory  mutual-information 

관절 엔트로피에 대한 직관을 세우는 데 어려움을 겪고 있습니다. = 관절 분포의 불확실성 ; = 불확실성 ; = 불확실성 .H(X,Y)H(X,Y)H(X,Y)p(x,y)p(x,y)p(x,y)H(X)H(X)H(X)px(x)px(x)p_x(x)H(Y)H(Y)H(Y)py(y)py(y)p_y(y) H (X)가 높으면 분포가 더 불확실하고 그러한 분포의 결과를 알고 있으면 더 많은 정보를 얻을 수 있습니다! 따라서 H (X)도 정보를 정량화합니다. 이제H(X,Y)≤H(X)+H(Y)H(X,Y)≤H(X)+H(Y)H(X,Y) \leq H(X) + H(Y) 그러나 를 알고 …

9 information-theory  mutual-information 

4 가지 가능한 이벤트의 주파수 샘플이 하나 있다고 가정합니다. Event1 - 5 E2 - 1 E3 - 0 E4 - 12 내 이벤트의 예상 확률이 있습니다. p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 내 네 가지 사건의 관측 빈도의 합으로 (18) 사건의 예상 빈도를 올바르게 …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

상호 상관과 상호 정보의 차이점은 무엇입니까? 이러한 조치를 사용하여 어떤 종류의 문제를 해결할 수 있으며 언제 다른 방법을 사용하는 것이 적절한 지. 의견 주셔서 감사합니다. 명확히하기 위해, 질문은 시계열 분석보다는 iomage 분석에 대한 관심에 의해 촉진됩니다.

9 cross-correlation  mutual-information