«information-theory» 태그된 질문

출처를 언급하지 않고 Wikipedia 는 불연속 분포 와 의 교차 엔트로피를 다음 과 같이 정의합니다 .피피P큐큐Q H×( P; Q )= − ∑엑스p ( x )로그큐( x ) .H×(피;큐)=−∑엑스피(엑스)로그⁡큐(엑스).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} 이 수량을 처음 사용하기 시작한 사람은 누구입니까? 그리고 누가이 용어를 발명 했습니까? 나는 보았다 …

15 information-theory  entropy 

길이의 순서 : 나는 전형적인 세트의 개념은 꽤 직관적이라고 생각 nnn 전형적인 설정에 속하는 것 ( N ) ε 나오는 순서의 확률이 높았다합니다. 따라서 A ( n ) ϵ 일 가능성이있는 모든 시퀀스입니다 . (나는 그것을 정 성적으로 이해하려고하기 때문에 엔트로피와 관련된 공식적인 정의를 피하고 있습니다.)A(n)ϵAϵ(n)A_\epsilon ^{(n)}A(n)ϵAϵ(n)A_\epsilon ^{(n)} 그러나 일반적으로 …

15 entropy  intuition  information-theory 

이 질문 은 수식의 관점에서 교차 엔트로피의 정량적 정의를 제공합니다. 위키피디아는보다 명쾌한 정의를 찾고 있습니다. 정보 이론에서, 두 확률 분포 사이의 교차 엔트로피 는 "진정한"분포 p가 아니라 주어진 확률 분포 q에 기초하여 코딩 방식이 사용되는 경우, 가능성 세트로부터 이벤트를 식별하는데 필요한 평균 비트 수를 측정한다 . 나는 이것을 이해하는데 어려움을 …

15 entropy  information-theory 

나는 최근 에 이산 확률 분포의 엔트로피에 관한 이 기사를 읽었다 . 사용 하는 단어의 확률 분포를 고려하여 인코딩이 최적 일 때 메시지를 인코딩하는 데 필요한 예상 숫자 비트 (적어도 엔트로피 정의에서 를 사용하는 경우)로 엔트로피를 생각하는 좋은 방법을 설명합니다 .log2log2\log_2 그러나 여기 와 같은 연속 사례로 확장 할 때 …

15 entropy  information-theory 

가우시안 혼합 모델 (GMMs)은 분석적으로나 실제적으로 작업하기가 간단하고 너무 복잡하지 않은 일부 이국적인 분포를 모델링 할 수 있기 때문에 매력적입니다. 일반적으로 명확하지 않은 몇 가지 분석 속성이 있습니다. 특히: SnSnS_n 이 nnn 성분을 가진 모든 가우시안 혼합물의 클래스 라고 가정하십시오 . 실수에 대한 지속적인 분포 에 대해 , 우리는 이 …

14 probability  normal-distribution  references  gaussian-mixture  information-theory 

와 같은 임의의 연속 랜덤 변수의 경우, 차분 엔트로피는 항상 보다 작 습니까? ( 이면 괜찮습니다 .) 그렇지 않은 경우 보다 작아야하는 충분하고 충분한 조건은 무엇입니까?∞ − ∞ ∞엑스XX∞∞\infty− ∞−∞-\infty∞∞\infty

14 entropy  information-theory  maximum-entropy 

가우시안이 최대 엔트로피를 가지고 있다는 다음 증거를 둘러 보려고합니다. 별표 표시된 단계는 어떤 의미가 있습니까? 특정 공분산은 두 번째 순간 만 수정합니다. 셋째, 넷째, 다섯 번째 순간 등은 어떻게됩니까?

13 entropy  information-theory  maximum-entropy 

지난 1 년 동안 중요도 샘플링을 상당히 밀접하게 진행해 왔으며 도움을 받기를 희망하는 몇 가지 개방형 질문이 있습니다. 중요도 샘플링 체계에 대한 나의 실제 경험은 때때로 환상적인 저 분산 및 저 바이어스 추정을 생성 할 수 있다는 것입니다. 그러나 표본 분산이 적지 만 치우침이 매우 높은 오류 예측이 더 자주 …

13 monte-carlo  information-theory  importance-sampling 

통계 또는 정보 이론에서 수량 ∫f(x)2dx∫f(x)2dx \int f(x)^2 dx 에 대한 사용이 있습니까?

13 probability  entropy  information-theory 

제목에 관해서는 연속 변수와 범주 변수 사이의 "상관 관계"( "B를 알고있을 때 A에 대해 얼마나 많이 알고 있는지"로 정의)를 추정하기 위해 MI 이후에 MI 이후에 상호 정보를 사용하는 것이 좋습니다. 잠시 후에이 문제에 대한 의견을 말씀 드리지만 , 유용한 정보가 포함 된 CrossValidated에 대한이 다른 질문 / 답변 을 읽어 …

13 correlation  information-theory  mutual-information 

가우스 RV의 차동 엔트로피는 입니다. 이것은 표준 편차 인 에 의존합니다 .σ로그2( σ2 π이자형−−−√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma 랜덤 변수를 정규화하면 단위 분산을 가지므로 차분 엔트로피가 떨어집니다. 나에게 이것은 정규화 상수의 Kolmogorov 복잡성이 엔트로피의 감소에 비해 매우 작아야하기 때문에 반 직관적입니다. 이 랜덤 변수에 의해 생성 된 임의의 데이터 세트를 복구하기 위해 …

13 information-theory  entropy  randomness 

Wikipedia에서 Akaike 's Information Criterion (AIC)의 정의는 로 정의되며, 여기서 k 는 매개 변수의 수이고 log L 은 모형의 로그 우도입니다.I씨= 2 k - 2 로그엘AIC=2k−2log⁡L AIC = 2k -2 \log L 케이kk로그엘log⁡L\log L 그러나, 저명한 대학 상태에서 우리의 경제학 노트 그 I C = 로그 ( σ 2 ) …

12 econometrics  aic  arma  information-theory 

(나는 math.se에 비슷한 질문을 게시했습니다 .) 정보 지오메트리에서 Fisher 정보 매트릭스의 결정 요인은 통계적 매니 폴드의 자연스러운 체적 형태이므로 멋진 기하학적 해석이 가능합니다. 예를 들어, 제프리스의 정의에 나타난 사실은 (재호) 기하 적 속성 인 재 파라미터 화에 따른 차이와 관련이있다. 그러나 통계 에서 그 결정 요인은 무엇 입니까? 의미있는 것을 …

12 variance  information-theory  fisher-information  information-geometry 

참고 :이 질문은 법적 이유로 인해 이전 질문을 삭제해야했기 때문에 다시 게시되었습니다. SAS의 PROC MIXED를 R lme의 nlme패키지 기능과 비교하는 동안 다소 혼란스러운 차이점을 발견했습니다. 구체적으로는, 다른 시험에서 자유도간에 상이 PROC MIXED하고 lme, 그리고 왜 생각해. 다음 데이터 세트에서 시작하십시오 (아래 제공된 R 코드). ind : 측정 대상을 나타내는 계수 …

12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 

3 가지 분포를 따르는 젠슨-섀넌 분산을 계산하고 싶습니다. 아래 계산이 정확합니까? ( 위키피디아의 JSD 공식을 따랐 습니다 ) : P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) = H[(1/6, 1/6, 0) + (0, 1/30, 9/30) + …

12 distance-functions  information-theory