정보가없는 이전 이론의 역사

유익하지 않은 선행에 대한 베이지안 통계 과정 (경제학 석사)에 대한 짧은 이론 에세이를 작성하고 있으며이 이론의 발전 단계를 이해하려고합니다.

지금까지, 타임 라인은 Laplace의 무차별 원칙 (1812), 비 변치 이전 (Jeffreys (1946)), Bernardo 이전 (1979)의 세 가지 주요 단계로 이루어졌습니다.

저의 문헌 검토에서, 무차별 원칙 (Laplace)은 이전 정보의 부족을 나타내는 데 사용 된 첫 번째 도구이지만, 불변의 요구 사항이 없어짐으로 인해 40 년대까지 제프리가 그의 방법을 도입했을 때 그 포기가 이루어 졌다는 것을 이해했습니다. 불변의 원하는 속성. 70 년대 이전에 부주의 한 부주의 한 사용으로 인한 소외 역설의 발생으로 Bernardo는이 문제를 다루기 위해 사전 이론을 정교하게 만들었습니다.

Jaynes의 최대 엔트로피, Box 및 Tiao의 데이터 변환 가능성, Zellner, ...

귀하의 의견으로는, 내가 놓친 중요한 단계는 무엇입니까?

편집 : 누군가가 필요한 경우 (주) 참조를 추가합니다.

1) 공식 규칙에 의한 사전 선택, Kass, Wasserman

2) 정보가없는 사전 카탈로그, Yang, Berger

3) 비 정보적인 베이지안 선행 해석 및 건축 및 응용 문제

당신이 빠진 것 같습니다 초기 역사입니다. 베이지안 추론이 "Bayesian"이 된시기 는 Fienberg (2006)의 논문을 확인할 수 있습니다 . . 먼저, 그는 Thomas Bayes가 이전에 유니폼을 사용하도록 제안한 첫 번째 사람임을 알았습니다.

현재 통계 언어에서 Bayes의 논문 은 "당구 테이블"과 유사하게 추론하고 이항 랜덤 변수의 한계 분포의 형태를 그리며 원칙이 아닌 이항 모수 에 균일 한 사전 분포를 소개합니다. 다른 많은 사람들이 주장했듯이 "불충분 한 이유".$\theta$

그 다음으로 Pierre Simon Laplace가 다음과 같은 사람이었습니다.

Laplace는 또한 Bayes보다 더 명확하게, 매개 변수 의 사후 분포 가 이제 우리가 데이터의 가능성, 즉,$\theta$

$$f(\theta\mid x_1,x_2,\dots,x_n) \propto f(x_1,x_2,\dots,x_n\mid\theta)$$

우리는 이것이 대한 사전 분포 는 일반적으로 물론 사전은 존재하지 않을지라도 균일 하다는 것을 의미 한다.$\theta$

또한 Carl Friedrich Gauss는 David and Edwards (2001)의 저서 통계 역사 주석 주석 에서 언급 한 바와 같이 정보가없는 사전을 사용하는 것에 대해서도 언급했습니다 .

Gauss는 임시 베이지안 유형 인수를 사용하여 의 사후 밀도가 가능성에 비례 함을 보여줍니다 (현대 용어로).$h$

$$f(h|x) \propto f(x|h)$$

여기서 는 균일하게 분포 되어 있다고 가정했습니다 . Gauss는 Bayes 나 Laplace를 언급하지 않았지만, 후자는 Laplace (1774) 이후이 접근 방식을 대중화했습니다.$h$$[0, \infty)$

Fienberg (2006)에서 알 수 있듯이 "역 확률"(및 다음과 같은 일관된 우선 순위를 사용하는)은 19 세기 초에 인기가있었습니다.

[...] 따라서 돌이켜 보면 Edgeworth와 Pearson과 같은 세기의 위대한 영국 통계학자가 선택한 방법으로 역 확률을 보는 것은 놀라운 일이 아닙니다. 예를 들어, (49) 에지 워스는 우리가 지금 학생으로 알고있는 최초의 유도 중 하나 준 - 분포, 평균의 사후 분포를 에 균일 한 사전 분포를 주어진 정규 분포의 및 [...]$t$$\mu$$\mu$$h =\sigma^{-1}$

베이지안 접근법의 초기 역사는 Stigler (1986)의 저서 「역사 이력 : 1900 년 이전의 불확실성 측정」에서도 검토됩니다 .

짧은 검토에서 당신은 Ronald Aylmer Fisher (2006 년 Fienberg 이후에 다시 인용)를 언급하지 않는 것 같습니다.

피셔는 역 방법에서 멀어지면서 자신의 추론에 대한 접근 방식으로 나아가면서 가능성과는 다른 개념 인 "우도"라고 불렀습니다. 그러나 이와 관련하여 Fisher의 진행은 느렸다. Stigler (164)는 1916 년에 출판 된 미발표 원고에서 피셔는 나중에 구별을 할 때이 시점에서 이해했다고 주장했지만 우연의 사전으로 가능성과 역 확률을 구분하지 않았다고 지적했다.

Jaynes (1986)는 자신의 간단한 검토 논문 Bayesian Methods : General Background를 제공했습니다. 확인할 수있는 입문서 이지만 정보가없는 사전에 중점을 두지는 않습니다. 또한 AdamO가 지적한 바와 같이 Stigler (2007) 의 Epic Story of Maximum Likelihood 를 반드시 읽어야 합니다.

또한 "정보가없는 사전"과 같은 것은 없기 때문에 많은 저자들이 "모호한 사전" 또는 "주별 정보 이전" 에 대해 이야기하는 것을 선호합니다 .

이론적 검토는 Kass and Wasserman (1996)에 의해 제공됩니다. 공식적인 규칙에 의한 사전 분배의 선택 .

정보가없는 이전의 결함 (정보가없는 이전)에 대한 몇 가지 의견은 아마도 이러한 결함에 대한 조사가 역사적으로 정보가없는 이전의 개념을 개발하는 데 도움이 되었기 때문에 좋은 생각 일 것입니다.

정보가없는 사전 채택의 단점 / 결점에 대한 의견을 추가 할 수 있습니다. 많은 비판 중에서 두 가지를 지적합니다.

(1) 일반적으로 비 정보 적 선례의 채택은 특히 모형 분포에 복합적인 행동이있을 때 일관성 문제가있다.

이 문제는 정보가없는 사전에 고유 한 것이 아니라 다음 백서에서 지적한 바와 같이 다른 많은 베이지안 절차에서 공유됩니다.

Diaconis, Persi 및 David Freedman. "베이 즈 추정치의 일관성." 통계의 연대기 (1986) : 1-26.

오늘날 정보가없는 사전은 더 이상 연구에 중점을 두지 않습니다. 비모수 설정에서 이전보다 더 유연한 선택에 더 관심이있는 것 같습니다. 비모수 적 베이 즈 절차 이전의 가우시안 프로세스 또는 다음과 같이 Dirichlet 이전의 혼합물과 같은 유연한 모델이 그 예입니다.

Antoniak, Charles E. "베이지의 비모수 적 문제에 대한 응용 프로그램을 갖춘 Dirichlet 프로세스의 혼합물" 통계의 연대기 (1974) : 1152-1174.

그러나 다시 그러한 사전에는 자체 일관성 문제가 있습니다.

(2) 대부분의 "비 정보 적 우선 순위"는 잘 정의되어 있지 않습니다.

이것은 아마도 개발 중 정보가없는 사전과 관련된 가장 분명한 문제 일 것입니다.

하나의 예는 일련의 적절한 선행의 제한으로서 비 정보 적의 제한 정의가 주 변화 역설로 이어질 것이라는 것이다. 앞에서 언급했듯이 Bernardo의 이전 참고 문헌은 Berger가 공식적인 정의가 구성 / 파티션과 독립적이라는 것을 결코 증명하지 못했다는 문제가 있습니다. 의 토론을 참조하십시오

Berger, James O., José M. Bernardo 및 Dongchu Sun. "참조 사전의 공식적인 정의." 통계의 연대기 (2009) : 905-938.

잘 정의 된 Jeffreys의 사전에 대한 가장 좋은 정의는 Fisher 정보 메트릭이 장착 된 Riemannian 매니 폴드에 대해 특정 병렬 변환에서 변하지 않도록 사전에 선택되었지만 첫 번째 문제는 해결하지 못한다는 것입니다.

또한 당신은 주 변화 역설에 대한 나의 설명 을 읽고 싶을 수도 있습니다 .

나는 의견에 게시했을 것이지만, 나는 아직 평판이 없다고 생각합니다. 이미 표시된 주석에없는 유일한 누락 된 것은 내가 사냥하려고했지만 발견하지 못한 기원을 가진 정보가없는 이전의 특별한 경우입니다. Jeffreys 논문보다 우선 할 수 있습니다.

정규 분포의 경우 정규 가능성이있는 데이터에 대해 비 정보 적 정보로 사용되는 Cauchy 분포를 보았습니다. 그 이유는 Cauchy 분포의 정밀도가 0이므로 정밀도는 분산으로 나눈 것입니다. 다소 모순적인 개념을 만듭니다.

Cauchy의 공식은

적분을 정의하는 방법에 따라 정의 된 분산이 없거나 중앙값에 대해 무한대로 진행되므로 정밀도가 0이됩니다. 여기에 적용되지 않는 켤레 업데이트에서는 가중치 정밀도를 추가합니다. 이것이 바로 이것이 정확한 부정확 한 밀도로 올바른 사전에 대한 아이디어가 형성된 이유라고 생각합니다. 또한 어느 정도의 자유도를 가진 Student 's t와 동등하며, 이는 또한 소스가 될 수 있습니다.

이것은 Cauchy 분포가 잘 정의 된 위치 중심과 사 분위수 범위 ( 갖는다는 점에서 이상한 생각입니다 .$2\Gamma$

Cauchy 분포에 대한 두 가지 초기 언급은 우도 함수와 같습니다. 중앙 제한 정리의 예외로 포아송에서 라플라스까지의 편지에서 첫 번째. 두 번째는 1851 년 Bienayme과 Cauchy 사이의 전투에서 평범한 최소 제곱의 유효성에 대한 기사였습니다.

나는 1980 년대로 거슬러 올라 가기 전에 정보가 아닌 것으로 사용 된 것에 대한 언급을 찾았지만 첫 번째 기사 나 책을 찾을 수 없습니다. 또한 그것이 정보가 아니라는 증거를 찾지 못했습니다. 나는 확률 이론에 관한 Jeffreys의 1961 년 책에 대한 인용을 찾았지만, 도서관 간 대출을 통해이 책을 요청한 적이 없다.

단순히 약한 정보를 제공 할 수 있습니다. 99.99 %의 가장 높은 밀도 영역은 1272 반사 분위수 범위입니다.

도움이 되길 바랍니다. 그것은 특별한 특별한 경우이지만, 많은 회귀 논문에서 나옵니다. 위치와 규모에 최소한의 영향을 미치면서 적절한 사전 조치를 취하여 Bayes 조치에 대한 요구 사항을 충족시킵니다.