«entropy» 태그된 질문

랜덤 변수의 랜덤 량을 측정하도록 설계된 수학적 양.


9
2 차원 이진 행렬의 엔트로피 / 정보 / 패턴 측정
2 차원 이진 행렬의 엔트로피 / 정보 밀도 / 패턴 유사성을 측정하고 싶습니다. 설명을 위해 몇 가지 그림을 보여 드리겠습니다. 이 디스플레이는 다소 높은 엔트로피를 가져야합니다. 에이) 중간 엔트로피가 있어야합니다. 비) 마지막으로이 그림들은 모두 0에 가까운 엔트로피를 가져야합니다. 씨) 디) 이자형) 엔트로피를 포착하는 인덱스가 있습니까? 이 디스플레이의 "패턴 모양"? 물론, …

3
모델의 AIC (Akaike Information Criterion) 점수는 무엇을 의미합니까?
나는 평신도 용어의 의미에 대해 여기에 몇 가지 질문을 보았지만 이것들은 내 목적으로는 너무 평신도입니다. AIC 점수가 무엇을 의미하는지 수학적으로 이해하려고합니다. 그러나 동시에, 나는 더 중요한 요점을 보지 못하게하는 엄격한 증거를 원하지 않습니다. 예를 들어, 이것이 미적분학이라면, 나는 무한대에 만족할 것이고, 이것이 확률 이론이라면 측정 이론 없이도 행복 할 것입니다. …

2
엔트로피는 우리에게 무엇을 말합니까?
엔트로피 에 대해 읽고 있으며 연속 사례에서 의미하는 바를 개념화하는 데 어려움을 겪고 있습니다. 위키 페이지는 다음을 나타냅니다. 모든 이벤트의 정보량과 결합 된 이벤트의 확률 분포는 예상 값이이 분포에 의해 생성 된 평균 정보량 또는 엔트로피 인 랜덤 변수를 형성합니다. 연속적인 확률 분포와 관련된 엔트로피를 계산하면 실제로 무엇을 알 수 …
32 entropy 

6
확률 분포가 균일 할 때 엔트로피가 최대화되는 이유는 무엇입니까?
엔트로피는 프로세스 / 변수의 임의성 측정 기준이며 다음과 같이 정의 할 수 있습니다. 랜덤 변수 세트 :X∈X∈X \inAAAH(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i)) . MacKay의 Entropy and Information Theory에 관한 책에서 그는 Ch2에서이 진술을 제공합니다. p가 균일하면 엔트로피가 최대화됩니다. 직관적으로, 세트 모든 데이터 포인트 가 동일한 확률 ( 은 …

3
Shalizi의 베이지안 역 시간 역설의 엔트로피에 대한 반박?
에서 본 논문 , 재능있는 연구원 코스 마 샤 리치는 완전히 주관적인 베이지안보기를 수락하려면, 하나의도 (엔트로피의 흐름에 의해 주어진) 시간의 화살표가 실제로 이동해야한다는 비 물리적 결과를 수용해야한다고 주장 뒤쪽을 . 이것은 주로 ET Jaynes 가 제시하고 대중화 한 최대 엔트로피 / 완전히 주관적인 베이지안 견해에 맞서기위한 시도 입니다. 이상에서 LessWrong …

3
정보 이론없이 Kullback-Leibler 발산
Cross Validated의 많은 트롤링 후에도 여전히 정보 이론의 영역 밖에서 KL 분기를 이해하는 것에 더 가깝다고 느끼지 않습니다. 정보 이론 설명을 이해하기가 훨씬 쉬운 수학 배경을 가진 사람에게는 다소 이상합니다. 정보 이론 배경에서 내 이해를 간략하게 설명하려면 : 한정된 수의 결과를 갖는 임의의 변수가있는 경우 평균적으로 가장 짧은 메시지를 가지고 …

3
최대 엔트로피 분포의 통계적 해석
다양한 환경에서 여러 분포의 사용을 정당화하기 위해 최대 엔트로피의 원리를 사용했습니다. 그러나, 나는 최대 엔트로피의 정보 이론적 해석과는 반대로 통계를 공식화 할 수 없었다. 즉, 엔트로피를 최대화하면 분포의 통계적 특성에 대해 무엇을 의미합니까? 누구든지 건너 뛰거나 아마도 최대의 통계적 해석을 발견했습니다. 정보에 호소하지 않고 확률 론적 개념에만 호응하는 엔트로피 분포? …

3
MaxEnt, ML, Bayes 및 기타 종류의 통계적 추론 방법 비교
나는 통계학자가 아니고 (수학적 통계 과정을 밟았지만 그 이상은 아닙니다) 최근에는 정보 이론과 통계 역학을 공부하면서 "불확실성 측정"/ "엔트로피"라는 것을 만났습니다. 나는 불확실성의 척도로 진친의 유래를 읽었고 그것은 나에게 의미가 있었다. 만든 의미가 하나 개 이상의 기능의 산술 평균을 알고있을 때 통계를 얻을 수 MaxEnt의 제인스 설명했다 또 다른 것은 …

4
이미지의 엔트로피
이미지의 엔트로피를 계산하는 가장 정보 / 물리 이론상 올바른 방법은 무엇입니까? 나는 지금 계산 효율성에 관심이 없다. 나는 이론적으로 가능한 한 그것을 원한다. 회색조 이미지로 시작할 수 있습니다. 직관적 인 접근 방법 중 하나는 이미지를 픽셀 백으로 간주하고 여기서H=−∑kpklog2(pk)H=−∑kpklog2(pk) H = - \sum_k p_k log_2(p_k) KKK is the number of …

2
경험적 엔트로피 란 무엇입니까?
공동으로 전형적인 세트의 정의 ( "정보 요소의 요소", 7.6, p. 195)에서 우리는 −1nlogp(xn)−1nlog⁡p(xn)-\frac{1}{n} \log{p(x^n)} 은 의 시퀀스 의 경험적 엔트로피 로 . 나는이 용어를 전에 본 적이 없다. 책의 색인에 따라 명시 적으로 정의되어 있지 않습니다.p ( x n ) = ∏ n i = 1 p ( x i …


2
점별 상호 정보에 대한 경계가 주어진 경계 상호 정보
두 세트의 XXX 와 YYY 있고 이러한 세트 대한 결합 확률 분포 가 있다고 가정 합니다 p(x,y)p(x,y)p(x,y). 하자 p(x)p(x)p(x) 와 p(y)p(y)p(y) 위에 한계 분포 나타내는 XXX 및 YYY 각각있다. XXX 와 사이의 상호 정보 YYY는 다음 과 같이 정의됩니다 : I(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) 즉, 이는 포인트 별 상호 정보 …

1
Breiman의 임의 포리스트는 정보 획득 또는 Gini 인덱스를 사용합니까?
Breiman의 임의 포리스트 (R randomForest 패키지의 임의 포리스트)가 분할 기준 (속성 선택 기준) 정보 획득 또는 Gini 인덱스로 사용되는지 알고 싶습니다. http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm 및 R의 randomForest 패키지에 대한 설명서에서 찾아 보았습니다 . 그러나 찾은 유일한 것은 Gini 인덱스를 사용할 수 있다는 것입니다. 가변 중요도 컴퓨팅.

1
귀무 가설 하에서 교환 가능한 샘플의 직관은 무엇입니까?
순열 검정 (랜덤 화 검정, 재 랜덤 화 검정 또는 정확한 검정이라고도 함)은 매우 유용하며, 예를 들어 요구되는 정규 분포 가정이 t-test충족되지 않고 순위에 따라 값을 변환 할 때 유용합니다. 비모수 테스트 Mann-Whitney-U-test는 더 많은 정보가 손실 될 수 있습니다. 그러나 이러한 종류의 테스트를 사용할 때 단 하나의 가정 만 …
15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.