MaxEnt, ML, Bayes 및 기타 종류의 통계적 추론 방법 비교

나는 통계학자가 아니고 (수학적 통계 과정을 밟았지만 그 이상은 아닙니다) 최근에는 정보 이론과 통계 역학을 공부하면서 "불확실성 측정"/ "엔트로피"라는 것을 만났습니다. 나는 불확실성의 척도로 진친의 유래를 읽었고 그것은 나에게 의미가 있었다. 만든 의미가 하나 개 이상의 기능의 산술 평균을 알고있을 때 통계를 얻을 수 MaxEnt의 제인스 설명했다 또 다른 것은 / 샘플에 S (수락 가정 과정의 불확실성의 측정 등)을. $-\sum p_i\ln p_i$

그래서 인터넷에서 다른 통계적 추론 방법과의 관계를 찾기 위해 인터넷을 검색했는데 하나님은 혼란 스러웠습니다. 예를 들어, 이 논문은 내가 옳았다 고 가정 할 때 문제의 적절한 재구성하에 ML 추정기를 얻는다고 제안합니다. 맥키는 자신의 저서에서 MaxEnt가 당신에게 이상한 것들을 줄 수 있다고 말하며, 베이지안 추론에서 시작 추정치에도 사용해서는 안된다고 말합니다. 등등. 나는 좋은 비교를 찾는 데 어려움을 겪고있다.

제 질문은 MaxEnt의 약점과 장점에 대한 설명 및 / 또는 다른 방법과의 정량적 비교를 통한 통계적 추론 방법으로 좋은 참조를 제공 할 수 있습니까 (장난감 모델에 적용되는 경우)?

MaxEnt 및 베이지안 추론 방법은 모델링 절차에 정보를 통합하는 다양한 방법에 해당합니다. 둘 다 공리적 근거 (John Skilling의 "최대 엔트로피의 원리" 및 Cox의 "가능한 추정의 대수" ) 에 둘 수 있습니다 .

귀하의 사전 지식이 귀하의 가설 공간에 대해 측정 가능한 실제 가치 함수의 형태 (소위 "사전") 인 경우 베이지안 접근법이 간단하게 적용됩니다. MaxEnt는 정보가 가설 공간에 대한 엄격한 제약 조건으로 올 때 간단합니다. 실제 생활에서 지식은 "사전"형태 나 "제약"형태로 나오지 않으므로, 방법의 성공은 지식을 해당 형태로 표현할 수있는 능력에 달려 있습니다.

완구 문제에서 베이지안 모형 평균화는 이전의 실제 가설 분포와 일치 할 때 평균 로그 손실 이 가장 적습니다 (많은 모형 추첨에서 평균). MaxEnt 접근 방식은 당신에게 줄 것이다 최소 의 제약 조건을 만족하는 최악의 로그 손실 (최악의 가능한 모든 전과 점령)

"MaxEnt"방법의 아버지로 간주되는 ETJaynes는 베이지안 방법에도 의존했습니다. 에 페이지 1412 자신의 책 , 그는 베이지안 접근법 MaxEnt의 접근 방식은 자연입니다 예를 들어 다음에, 좋은 솔루션 결과의 예를 제공합니다.

최대 가능성은 기본적으로 모델이 사전 결정된 모델 공간 내에 놓여 있고 해당 모델로 제한된 모든 모델 선택 방법 중에서 데이터에 대해 가장 높은 감도를 갖도록하기 위해 "가능한 한 단단하게"맞추려고합니다. 공간. MaxEnt와 Bayesian은 프레임 워크 인 반면 ML은 구체적인 모델 피팅 방법이며 일부 특정 디자인 선택의 경우 ML은 Bayesian 또는 MaxEnt 접근 방식에서 나올 수 있습니다. 예를 들어, 등식 제약 조건이있는 MaxEnt는 특정 지수 군의 최대 우도 피팅과 같습니다. 마찬가지로 베이지안 추론에 대한 근사값은 정규화 된 최대 우도 솔루션으로 이어질 수 있습니다. 결론을 데이터에 최대한 민감하게 만들기 전에 사전을 선택하면 베이지안 추론의 결과는 최대 우도 피팅에 해당합니다. 예를 들어$p$

실제 머신 러닝 성공은 종종 다양한 철학의 혼합입니다. 예를 들어 "랜덤 필드"는 MaxEnt 원칙에서 파생 되었습니다. 가장 일반적인 아이디어 구현 인 정규화 된 CRF는 매개 변수에 "사전"을 추가하는 것과 관련이 있습니다. 결과적으로이 방법은 실제로 MaxEnt 나 Bayesian이 아니라 두 생각 학교의 영향을받습니다.

나는 Bayesian과 MaxEnt의 철학적 기초에 대한 몇 가지 링크를 여기 와 여기에서 모았 습니다 .

용어에 대한 참고 사항 : 때로는 베이 즈 규칙을 사용하는 경우 사람들은 베이 즈 방법을 단순히 호출 합니다. 마찬가지로, "MaxEnt"는 때때로 높은 엔트로피 솔루션을 선호하는 일부 방법에 사용됩니다. 이는 위에서 설명한 "MaxEnt 추론"또는 "Bayesian 추론"과 동일하지 않습니다.

최대 엔트로피 방법에 대한 재미있는 비판을 위해 sci.stat.math 및 sci.stat.consult에 대한 오래된 뉴스 그룹 게시물, 특히 Radford Neal의 게시물을 읽는 것이 좋습니다.

• 최대 엔트로피 방법은 얼마나 유익합니까? (1994)
• 최대 엔트로피 대치 (2002)
• 최대 엔트로피 설명 (2004)

나는 maxent와 다른 방법 사이의 비교를 잘 모른다. 문제의 일부는 maxent가 실제로 프레임 워크가 아니라 모호한 지시어 ( "알 수없는 문제에 직면했을 때 단순히 엔트로피를 최대화한다") 인 것으로 보인다. 다른 사람들에 의해 다른 방식으로 해석됩니다.

과거에 MaxEnt와 Bayes는 서로 다른 유형이나 형태의 정보를 다루었습니다. 나는 베이 즈가 "하드"제약을 사용한다고 말하고 싶다.

어쨌든, 베이 즈 규칙 (제품 규칙이 아님)을 모호한 방식이 아닌 최대 상대 엔트로피 (MrE)에서 얻을 수 있으므로 더 이상 문제가되지 않습니다.

• 데이터 및 모멘트로 확률 업데이트
• 물리학에서 경제학까지 : 최대 상대 엔트로피를 사용하는 계량 적 예

새로운 세상이야