자주주의와 이전

Robby McKilliam 은이 게시물 에 대한 코멘트에서 다음 과 같이 말합니다 .

잦은 주의자 관점에서 사전 지식을 모델에 통합 할 수없는 이유는 없다는 점을 지적해야합니다. 이런 점에서, 잦은 관점은 더 단순합니다. 모델과 데이터 만 있습니다. 사전 정보를 모델에서 분리 할 필요가 없습니다.

또한, 여기 , @jbowman는 베이 즈는이 이전 할 수있는 동안 frequentists는, 비용 / 페널티 기능에 의해 정규화를 사용하는 것이 말합니다 :

빈번한 연구자들은 정규화가 좋았으며 요즘 꽤 일반적으로 사용한다는 것을 깨달았습니다. 그리고 베이지안의 사전은 쉽게 정규화로 해석 될 수 있습니다.

그래서 제 질문은, 잦은 주의자들이 베이 즈 사람들이 이전에 지정한 것을 그들의 모델에 통합 할 수 있습니까? 정규화를 예로 들어 비용 / 벌금 기능이 실제로 모델에 통합되어 있습니까? 아니면 솔루션을 조정하고 독창적으로 만드는 순수한 인공 수단입니까?

로비 맥킬 리암 (Robby McKilliam)의 의견과 관련하여 : 빈번한 사람들이이 문제로 어려움을 겪는 것은 모델에 사전 지식을 통합 할 수있는 능력이 아니라 "사전 지식"의 정의에 있다고 생각합니다. 예를 들어, 주어진 동전이 나올 확률을 추정하십시오. 하자 우리는 내 사전 지식은 본질적으로, 실험이있는 그 동전을 10 번 이성을 상실했다, 5 개, 혹은 공장이 1 개 백만 동전을했다 "형태의 헤드와의 dist'n 내놓았다 한 가정 로, 거대한 실험에 의해 결정되며 β ( a , b $p$$\beta(a,b)$".이 유형에 대한 사전 정보를 실제로 가지고있을 때 모두가 베이 즈 규칙을 사용합니다 (베이 즈 규칙은 조건부 확률을 정의하고 베이 즈 만의 것이 아닙니다). 따라서 실생활에서 잦은 주의자와 베이 즈는 같은 접근 방식을 사용합니다. Bayes 'Rule을 통해 모델에 정보를 통합합니다 (주의 : 표본 크기가 충분히 크지 않으면 이전 정보가 결과에 영향을 미치지 않을 것이라고 확신하지 않는 한) 결과 해석은 다음과 같습니다. 물론 다릅니다.

지식이 객관적이지 않고 실험적이고 주관적이됨에 따라, 특히 철학적 관점에서 어려움이 발생합니다. 이런 일이 발생하면, 잦은 주의자는이 정보를 모델에 전혀 포함시키지 않을 것입니다. 반면 베이지안은 여전히 ​​그렇게하기위한 다소의 공식적인 메커니즘을 가지고 있지만, 그럼에도 불구하고 주관적인 것을 이끌어 내기가 어렵습니다.

정규화와 관련하여 : 가능성 및 이전 p ( θ )를 고려하십시오 . 적어도 기술적으로는 잦은 주의자 가 다음과 같이 log p ( θ )로 "정규화 된"최대 우도 추정을 사용하는 것을 막을 방법은 없습니다 .$l(\theta;x)$$p(\theta)$$\log p(\theta)$

$\tilde{\theta} = \max_{\theta} \{\log l(\theta;x) + \log p(\theta) \}$

$p(\theta)$$\theta$$\tilde{\theta}$

다시 한 번, 철학적 인 관점에서 어려움이 발생합니다. 왜 하나의 정규화 기능을 다른 정규화 기능보다 선택해야합니까? Bayesian은 사전 정보를 평가하여 사전 기반보기로 전환 할 수 있습니다. 잦은 주의자는 그러한 근거에 대한 선택을 정당화하는 데 어려움을 겪을 수 없으며 (그렇지 않을 수 없는가?), 대신 공동으로부터 배운 바와 같이 자신의 문제 유형에 적용되는 정규화 기능의 특성에 크게 의존 할 것이다. 많은 통계학 자의 일 / 경험. OTOH, (실용적인) 베이지안도 이전과 마찬가지로 그렇게합니다-분산에 대한 사전에 모든 논문에 대해 100 달러가 있다면 내가 읽은 ...

다른 "생각": 우연주의 / 베이지안 관점에 영향을받지 않는다고 가정하여 가능성 함수를 선택하는 전체 문제를 건너 뛰었습니다. 나는 대부분의 경우에 확신하지만, 비정상적인 상황에서는 예를 들어 계산상의 이유로 그렇게 될 것이라고 상상할 수 있습니다.

$\theta$$\theta$

이 질문에 답하기 위해 빈번 성을 "데이터 함수의 샘플링 분포 특성에 대한 관심"으로 정의하는 것이 유용합니다. 이러한 기능은 포인트 추정기, 테스트 통계의 p- 값, 신뢰 구간, Neyman-Pearson 테스트 결과 또는 기본적으로 생각할 수있는 모든 것이 될 수 있습니다. 상용주의는 추정자, p- 값 등을 전체적으로 구성하는 방법을 지정하지 않습니다. 예를 들어, 사용 가능한 경우 충분한 통계 사용, 사용 가능한 경우 중추 통계 사용 등 일부 지침이 존재하지만 관점에서, 사전 정보는 모델 자체 에 포함되지 않고 함수의 출력에 대한 함수 매핑 데이터에 통합됩니다 .

위에서 언급 한 "관심"은 편견 부족, 점근 적 일관성, 분산, 평균 제곱 오차, 평균 절대 오차, 신뢰 범위 (특히 명목 대 실제), 유형 I 오류 제어 및 기타와 같이 추론에 중요한 것으로 간주되는 속성에 있습니다. 데이터로부터 배우는 데있어 명백하거나 직관적 인 중요성 함수가 사전 정보를 포함하는지 여부에 관계없이 이러한 속성을 평가할 수 있습니다.

특히 데이터 생성 프로세스의 기본이되는 실제 매개 변수 값에 관계없이 알려진 속성에 관심이 있습니다. 예를 들어, 분산이 알려진 일반 iid 모델에서 데이터 평균은 편차가 무엇이든 상관없이 분포 평균에 대해 편향되지 않고 점증 적으로 일치합니다. 반대로, 수축 추정기 (데이터 평균의 가중 평균 및 분포 평균에 대한 사전 추측)는 분포 평균이 이전 추측에 가까우면 평균 제곱 오차가 낮지 만 그렇지 않으면 평균 제곱 오차가 더 높습니다. 데이터 평균에서 점근 적 일관성을 상속합니다.

따라서 추론 방법에 사전 정보를 넣을 수는 있지만 모델에는 적용되지 않는다고 말할 수 있습니다. 음수가 아닌 물리적 특성에 대한 신뢰 구간과 관련하여 설명한 개념에 대한 훌륭한 그림 은 소 신호의 고전적 통계 분석에 대한 통합 접근법 인 Feldman and Cousins 입니다.