«entropy» 태그된 질문

출처를 언급하지 않고 Wikipedia 는 불연속 분포 와 의 교차 엔트로피를 다음 과 같이 정의합니다 .피피P큐큐Q H×( P; Q )= − ∑엑스p ( x )로그큐( x ) .H×(피;큐)=−∑엑스피(엑스)로그⁡큐(엑스).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} 이 수량을 처음 사용하기 시작한 사람은 누구입니까? 그리고 누가이 용어를 발명 했습니까? 나는 보았다 …

15 information-theory  entropy 

Affinity Propagation 알고리즘을 사용하여 확률 분포를 클러스터링 하고 Jensen-Shannon Divergence를 거리 메트릭으로 사용할 계획입니다. JSD 자체를 거리 또는 JSD 제곱으로 사용하는 것이 맞습니까? 왜? 하나를 선택하면 어떤 차이점이 있습니까?

15 machine-learning  clustering  entropy  distance-functions 

길이의 순서 : 나는 전형적인 세트의 개념은 꽤 직관적이라고 생각 nnn 전형적인 설정에 속하는 것 ( N ) ε 나오는 순서의 확률이 높았다합니다. 따라서 A ( n ) ϵ 일 가능성이있는 모든 시퀀스입니다 . (나는 그것을 정 성적으로 이해하려고하기 때문에 엔트로피와 관련된 공식적인 정의를 피하고 있습니다.)A(n)ϵAϵ(n)A_\epsilon ^{(n)}A(n)ϵAϵ(n)A_\epsilon ^{(n)} 그러나 일반적으로 …

15 entropy  intuition  information-theory 

이 질문 은 수식의 관점에서 교차 엔트로피의 정량적 정의를 제공합니다. 위키피디아는보다 명쾌한 정의를 찾고 있습니다. 정보 이론에서, 두 확률 분포 사이의 교차 엔트로피 는 "진정한"분포 p가 아니라 주어진 확률 분포 q에 기초하여 코딩 방식이 사용되는 경우, 가능성 세트로부터 이벤트를 식별하는데 필요한 평균 비트 수를 측정한다 . 나는 이것을 이해하는데 어려움을 …

15 entropy  information-theory 

나는 최근 에 이산 확률 분포의 엔트로피에 관한 이 기사를 읽었다 . 사용 하는 단어의 확률 분포를 고려하여 인코딩이 최적 일 때 메시지를 인코딩하는 데 필요한 예상 숫자 비트 (적어도 엔트로피 정의에서 를 사용하는 경우)로 엔트로피를 생각하는 좋은 방법을 설명합니다 .log2log2\log_2 그러나 여기 와 같은 연속 사례로 확장 할 때 …

15 entropy  information-theory 

공분산 행렬의 고유 벡터를 볼 때 최대 분산의 방향을 얻습니다 (첫 번째 고유 벡터는 데이터가 가장 많이 변하는 방향 등입니다). 이를 주성분 분석 (PCA)이라고합니다. 상호 정보 매트릭스의 고유 벡터 / 값을 보는 것이 무엇을 의미하는지 궁금합니다. 최대 엔트로피 방향을 가리킬까요?

14 pca  entropy  mutual-information  eigenvalues 

와 같은 임의의 연속 랜덤 변수의 경우, 차분 엔트로피는 항상 보다 작 습니까? ( 이면 괜찮습니다 .) 그렇지 않은 경우 보다 작아야하는 충분하고 충분한 조건은 무엇입니까?∞ − ∞ ∞엑스XX∞∞\infty− ∞−∞-\infty∞∞\infty

14 entropy  information-theory  maximum-entropy 

밀도 함수 를 갖는 연속 분포 의 엔트로피 는 의 기대 값과 동일하지 않으므로 다음과 같습니다.ffflog(f),log⁡(f),\log(f), Hf=−∫∞−∞log(f(x))f(x)dx.Hf=−∫−∞∞log⁡(f(x))f(x)dx.H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x. 또한 분포가 밀도 갖는 임의의 변수 는 엔트로피 갖는다 고 (이 적분은 가 그러한 값에서 0이 될 수 있기 때문에 에 0이있는 경우에도 잘 정의 됩니다.)XXXfffHf.Hf.H_f.ffflog(f(x))f(x)log⁡(f(x))f(x)\log(f(x))f(x) 되면 및 있는 …

14 distributions  data-transformation  entropy 

가우시안이 최대 엔트로피를 가지고 있다는 다음 증거를 둘러 보려고합니다. 별표 표시된 단계는 어떤 의미가 있습니까? 특정 공분산은 두 번째 순간 만 수정합니다. 셋째, 넷째, 다섯 번째 순간 등은 어떻게됩니까?

13 entropy  information-theory  maximum-entropy 

따라서이 질문은 다소 관여하지만 가능한 한 간단하게 노력하려고 노력했습니다. 목표 : 간단히 말해서, 고차 누적을 포함 하지 않는 부조화의 유도가 있으며 , 그것이 어떻게 도출되었는지 이해하려고합니다. 배경 : (이 모든 것을 이해합니다) 나는 여기에있는 '독립 구성 요소 분석' 책을 스스로 연구하고 있습니다. (이 질문은 '비 다항식 함수에 의한 엔트로피의 근사'책이있는 …

13 distributions  probability  pdf  entropy 

통계 또는 정보 이론에서 수량 ∫f(x)2dx∫f(x)2dx \int f(x)^2 dx 에 대한 사용이 있습니까?

13 probability  entropy  information-theory 

가우스 RV의 차동 엔트로피는 입니다. 이것은 표준 편차 인 에 의존합니다 .σ로그2( σ2 π이자형−−−√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma 랜덤 변수를 정규화하면 단위 분산을 가지므로 차분 엔트로피가 떨어집니다. 나에게 이것은 정규화 상수의 Kolmogorov 복잡성이 엔트로피의 감소에 비해 매우 작아야하기 때문에 반 직관적입니다. 이 랜덤 변수에 의해 생성 된 임의의 데이터 세트를 복구하기 위해 …

13 information-theory  entropy  randomness 

교차 엔트로피 비용은 회귀와 관련하여 (분류가 아닌) 의미가 있습니까? 그렇다면 TensorFlow를 통해 장난감 예제를 제공 할 수 있습니까? 그렇지 않다면 왜 안됩니까? Michael Nielsen의 Neural Networks 및 Deep Learning 에서 교차 엔트로피에 대해 읽었 으며 회귀 및 분류에 자연스럽게 사용할 수있는 것처럼 보이지만 이후 TensorFlow에서 어떻게 효율적으로 적용하는지 이해할 수 …

13 regression  entropy  tensorflow  cross-entropy 

데이터 세트가 매우 커서 약 5 %의 임의 값이 없습니다. 이 변수들은 서로 상관되어 있습니다. 다음 예제 R 데이터 세트는 더미 상관 데이터가있는 장난감 예제 일뿐입니다. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, sep ="") rownames(xmat) …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

엔트로피를 계산하기 위해 다음 기능을 구현했습니다. from math import log def calc_entropy(probs): my_sum = 0 for p in probs: if p > 0: my_sum += p * log(p, 2) return - my_sum 결과: >>> calc_entropy([1/7.0, 1/7.0, 5/7.0]) 1.1488348542809168 >>> from scipy.stats import entropy # using a built-in package # give …

11 mathematical-statistics  python  entropy