«information-theory» 태그된 질문

나는 평신도 용어의 의미에 대해 여기에 몇 가지 질문을 보았지만 이것들은 내 목적으로는 너무 평신도입니다. AIC 점수가 무엇을 의미하는지 수학적으로 이해하려고합니다. 그러나 동시에, 나는 더 중요한 요점을 보지 못하게하는 엄격한 증거를 원하지 않습니다. 예를 들어, 이것이 미적분학이라면, 나는 무한대에 만족할 것이고, 이것이 확률 이론이라면 측정 이론 없이도 행복 할 것입니다. …

34 self-study  model-selection  aic  entropy  information-theory 

다음 질문에 대한 직관적 인 설명을 찾고 있습니다. 통계 및 정보 이론에서 Bhattacharyya 거리와 KL 발산의 차이는 두 개의 이산 확률 분포의 차이를 측정하는 방법으로 무엇입니까? 그들은 전혀 관계가 없으며 두 확률 분포 사이의 거리를 완전히 다른 방식으로 측정합니까?

33 mathematical-statistics  information-theory  kullback-leibler  bhattacharyya 

Andrew More 는 정보 획득을 다음과 같이 정의합니다 . 나는G ( Y| 엑스) = H( Y) - H( Y| 엑스)나는지(와이|엑스)=H(와이)−H(와이|엑스)IG(Y|X) = H(Y) - H(Y|X) 여기서 는 조건부 엔트로피 입니다. 그러나 Wikipedia는 위의 양 상호 정보를 호출합니다 .H( Y| 엑스)H(와이|엑스)H(Y|X) 반면 Wikipedia는 정보 획득 을 두 개의 임의 변수 사이의 Kullback–Leibler …

33 information-theory 

두 대칭 공분산 행렬 (모두 같은 치수를 가짐) 사이에 유사성 또는 거리 측정 값이 있습니까? 나는 여기서 두 확률 분포의 KL 발산 또는 행렬에 적용되는 것을 제외하고 벡터 사이의 유클리드 거리와의 유사성을 생각하고 있습니다. 유사성 측정이 상당히 많을 것 같습니다. 이상적으로 두 공분산 행렬이 동일하다는 귀무 가설을 테스트하고 싶습니다.

28 distributions  hypothesis-testing  covariance-matrix  kullback-leibler  information-theory 

Cross Validated의 많은 트롤링 후에도 여전히 정보 이론의 영역 밖에서 KL 분기를 이해하는 것에 더 가깝다고 느끼지 않습니다. 정보 이론 설명을 이해하기가 훨씬 쉬운 수학 배경을 가진 사람에게는 다소 이상합니다. 정보 이론 배경에서 내 이해를 간략하게 설명하려면 : 한정된 수의 결과를 갖는 임의의 변수가있는 경우 평균적으로 가장 짧은 메시지를 가지고 …

23 inference  entropy  information-theory  kullback-leibler  compression 

다양한 환경에서 여러 분포의 사용을 정당화하기 위해 최대 엔트로피의 원리를 사용했습니다. 그러나, 나는 최대 엔트로피의 정보 이론적 해석과는 반대로 통계를 공식화 할 수 없었다. 즉, 엔트로피를 최대화하면 분포의 통계적 특성에 대해 무엇을 의미합니까? 누구든지 건너 뛰거나 아마도 최대의 통계적 해석을 발견했습니다. 정보에 호소하지 않고 확률 론적 개념에만 호응하는 엔트로피 분포? …

23 distributions  entropy  intuition  information-theory  maximum-entropy 

분류 및 회귀 트리를 연구하고 있으며 분할 위치의 측정 방법 중 하나는 GINI 점수입니다. 이제 두 분포간에 동일한 데이터의 우도 비율에 대한 로그가 0 일 때 최적의 분할 위치를 결정하는 데 익숙합니다. 즉, 멤버쉽 가능성도 동일합니다. 내 직감에 따르면 어떤 종류의 연결이 있어야하며 GINI는 수학적 정보 이론 (Shannon)에 좋은 기초를 …

21 cart  likelihood-ratio  information-theory  kullback-leibler  gini 

정밀도는 다음과 같이 정의됩니다. p = true positives / (true positives + false positives) 로, 즉를 정확 true positives하고 false positives, 정밀도가 한 접근 방식 0? 리콜에 대한 동일한 질문 : r = true positives / (true positives + false negatives) 현재이 값을 계산 해야하는 통계 테스트를 구현 중이며 때로는 …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

최근에는 두 기사를 읽었습니다. 첫 번째 는 상관의 역사에 관한 것이고 두 번째는 는 는 MIC (Maximal Information Coefficient)라는 새로운 방법에 관한 것입니다. 변수 간의 비선형 상관 관계를 추정하기 위해 MIC 방법을 이해하는 데 도움이 필요합니다. 또한 R에서의 사용 지침은 작성자 웹 사이트 ( Downloads 아래 ) 에서 찾을 수 …

20 correlation  nonparametric  bioinformatics  information-theory  mutual-information 

공동으로 전형적인 세트의 정의 ( "정보 요소의 요소", 7.6, p. 195)에서 우리는 −1nlogp(xn)−1nlog⁡p(xn)-\frac{1}{n} \log{p(x^n)} 은 의 시퀀스 의 경험적 엔트로피 로 . 나는이 용어를 전에 본 적이 없다. 책의 색인에 따라 명시 적으로 정의되어 있지 않습니다.p ( x n ) = ∏ n i = 1 p ( x i …

19 information-theory  entropy 

두 세트의 XXX 와 YYY 있고 이러한 세트 대한 결합 확률 분포 가 있다고 가정 합니다 p(x,y)p(x,y)p(x,y). 하자 p(x)p(x)p(x) 와 p(y)p(y)p(y) 위에 한계 분포 나타내는 XXX 및 YYY 각각있다. XXX 와 사이의 상호 정보 YYY는 다음 과 같이 정의됩니다 : I(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) 즉, 이는 포인트 별 상호 정보 …

18 entropy  mutual-information  information-theory 

다음 두 확률 분포를 고려해 봅시다. P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 나는 인 Kullback-Leibler 분기를 계산 했습니다. 일반적 으로이 숫자가 무엇을 보여주고 싶습니까? 일반적으로 Kullback-Leibler 분기는 하나의 확률 분포가 다른 확률 분포와 얼마나 멀리 떨어져 …

18 interpretation  information-theory  kullback-leibler 

KL 발산이 왜 음이 아닌가? 정보 이론의 관점에서 나는 다음과 같은 직관적 인 이해를 얻었습니다. x로 레이블이 지정된 동일한 요소 세트로 구성된 두 개의 앙상블 AAA 와 가 있다고 가정하십시오 . p ( x ) 와 q ( x ) 는 각각 앙상블 A 와 B에 대한 서로 다른 확률 …

18 information-theory  kullback-leibler 

R에서 선형 회귀의 AIC를 계산하려고 시도했지만 다음 AIC과 같이 함수 를 사용하지 않았습니다 . lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 그러나 AIC다른 값을 제공합니다. AIC(lm_mtcars) [1] 190.7999 누군가 내가 뭘 잘못하고 있는지 말해 줄래?

15 r  aic  information-theory 

순열 검정 (랜덤 화 검정, 재 랜덤 화 검정 또는 정확한 검정이라고도 함)은 매우 유용하며, 예를 들어 요구되는 정규 분포 가정이 t-test충족되지 않고 순위에 따라 값을 변환 할 때 유용합니다. 비모수 테스트 Mann-Whitney-U-test는 더 많은 정보가 손실 될 수 있습니다. 그러나 이러한 종류의 테스트를 사용할 때 단 하나의 가정 만 …

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information