«maximum-entropy» 태그된 질문

엔트로피는 프로세스 / 변수의 임의성 측정 기준이며 다음과 같이 정의 할 수 있습니다. 랜덤 변수 세트 :X∈X∈X \inAAAH(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i)) . MacKay의 Entropy and Information Theory에 관한 책에서 그는 Ch2에서이 진술을 제공합니다. p가 균일하면 엔트로피가 최대화됩니다. 직관적으로, 세트 모든 데이터 포인트 가 동일한 확률 ( 은 …

32 uniform  entropy  maximum-entropy 

에서 본 논문 , 재능있는 연구원 코스 마 샤 리치는 완전히 주관적인 베이지안보기를 수락하려면, 하나의도 (엔트로피의 흐름에 의해 주어진) 시간의 화살표가 실제로 이동해야한다는 비 물리적 결과를 수용해야한다고 주장 뒤쪽을 . 이것은 주로 ET Jaynes 가 제시하고 대중화 한 최대 엔트로피 / 완전히 주관적인 베이지안 견해에 맞서기위한 시도 입니다. 이상에서 LessWrong …

31 bayesian  entropy  maximum-entropy  philosophical 

다양한 환경에서 여러 분포의 사용을 정당화하기 위해 최대 엔트로피의 원리를 사용했습니다. 그러나, 나는 최대 엔트로피의 정보 이론적 해석과는 반대로 통계를 공식화 할 수 없었다. 즉, 엔트로피를 최대화하면 분포의 통계적 특성에 대해 무엇을 의미합니까? 누구든지 건너 뛰거나 아마도 최대의 통계적 해석을 발견했습니다. 정보에 호소하지 않고 확률 론적 개념에만 호응하는 엔트로피 분포? …

23 distributions  entropy  intuition  information-theory  maximum-entropy 

스케일이 무엇인지에 대한 대략적인 아이디어가있을 때 스케일 모수 (정규 분포, t 분포 등)에 대한 사전 분포로 로그 정규 분포를 사용하고 있지만 알지 못한다는 측면에서 잘못하고 싶습니다. 그것에 대해 많이. 나는 그 사용이 나에게 직관적으로 의미가 있기 때문에 그것을 사용하지만 다른 사람들이 그것을 사용하는 것을 보지 못했습니다. 이것에 숨겨진 위험이 있습니까?

21 distributions  bayesian  modeling  prior  maximum-entropy 

와 같은 임의의 연속 랜덤 변수의 경우, 차분 엔트로피는 항상 보다 작 습니까? ( 이면 괜찮습니다 .) 그렇지 않은 경우 보다 작아야하는 충분하고 충분한 조건은 무엇입니까?∞ − ∞ ∞엑스XX∞∞\infty− ∞−∞-\infty∞∞\infty

14 entropy  information-theory  maximum-entropy 

가우시안이 최대 엔트로피를 가지고 있다는 다음 증거를 둘러 보려고합니다. 별표 표시된 단계는 어떤 의미가 있습니까? 특정 공분산은 두 번째 순간 만 수정합니다. 셋째, 넷째, 다섯 번째 순간 등은 어떻게됩니까?

13 entropy  information-theory  maximum-entropy 

이란 무엇입니까 최대 엔트로피 분포 는 제 1 및 제 2 순간 주어진 양의 연속 변수? 예를 들어 가우스 분포는 평균 및 표준 편차를 고려할 때 제한되지 않은 변수의 최대 엔트로피 분포이고, 감마 분포는 평균 값과 로그의 평균 값을 고려한 양수 변수의 최대 엔트로피 분포입니다.

13 distributions  standard-deviation  mean  maximum-entropy 

문제 는 부트 스트랩이 잭 나이 핑보다 우수 합니다. 그러나 jackknifing이 모수 추정값의 불확실성을 특성화하기위한 유일하거나 최소한 가능한 옵션이 있는지 궁금합니다. 또한 실제 상황에서 부트 스트랩 핑과 관련하여 편향 / 정확성이 잭 니핑되는 방식은 무엇이며, 잭나이프 결과는보다 복잡한 부트 스트랩이 개발되기 전에 예비 통찰력을 제공 할 수 있습니까? 일부 상황 …

12 machine-learning  cross-validation  bootstrap  maximum-entropy  jackknife 

를 x , y ∈ { 1 , … , K } 와 함께 두 개의 범주 형 변수 X , Y 의 공동 분포라고 합시다 . 이 분포에서 n 개의 표본을 추출 했다고 가정 하지만 j = 1 , … , K에 대한 한계 계수 만 제공됩니다 .피x , …

12 categorical-data  maximum-likelihood  joint-distribution  marginal  maximum-entropy 

예측자가 직면 한 중요한 문제 중 하나는 주어진 시리즈 를 예측할 수 있는지 여부입니다. 필자 는 주어진 시계열을 결정하기 위해 대략적인 엔트로피 (ApEn) 를 상대적인 척도로 사용하는 Peter Catt의 " 우선 순위 예측 지표의 엔트로피 "라는 기사를 우연히 발견했습니다 . 기사는 말합니다 "작은 ApEn 값은 데이터 집합 뒤에 유사한 데이터 …

10 time-series  forecasting  entropy  maximum-entropy  forecastability 

평균 절대 편차와 같은 다른 메트릭과 달리 표준 편차의 사용에 대한 해커 뉴스 토론을 읽고있었습니다 . 따라서 최대 엔트로피의 원리를 따르면 분포의 평균과 평균 절대 편차 만 알고 있다면 어떤 종류의 분포를 사용합니까? 아니면 중앙값과 중앙값의 평균 절대 편차를 사용하는 것이 더 합리적입니까? Grechuk, Molyboha 및 Zabarankin의 일반 편차 측정법 …

10 distributions  maximum-entropy  mad 

짧은 질문 : 왜 이것이 사실입니까? 긴 질문 : 간단히 말해서, 나는 첫 번째 방정식을 정당화하는 것을 알아 내려고 노력하고 있습니다. 내가 읽고있는이 책의 저자 ( 원한다면 여기에 문맥 은 있지만 필수는 아님)는 다음을 주장합니다. 거의 가우스의 가정으로 인해 다음과 같이 쓸 수 있습니다. 피0( ξ) = Aϕ ( ξ)e …

9 probability  normal-distribution  entropy  maximum-entropy 

나는 최대 엔트로피 마르코프 모델 (MEMM)의 개념에 흥미가 있으며, 그것을 품사 (POS) 태거에 사용할 생각입니다. 현재는 기존의 최대 엔트로피 (ME) 분류기를 사용하여 각 개별 단어에 태그를 지정하고 있습니다. 이것은 앞의 두 태그를 포함하여 많은 기능을 사용합니다. MEMM은 Viterbi 알고리즘을 사용하여 Markov Chain을 통한 최적의 경로를 찾습니다 (즉, 각 단어에 대한 …

9 machine-learning  mcmc  maximum-entropy  memm