베이지안 모수 추정에서 사전을 선택하는 방법

매개 변수 추정, ML, MAP 및 Bayes 접근을 수행하는 3 가지 방법을 알고 있습니다. 그리고 MAP 및 Bayes 접근의 경우 매개 변수의 우선 순위를 선택해야합니다.

나는이 모델이 말해 , 여기서 MAP 또는 베이 즈를 사용하여 추정을하기 위해, 매개 변수는을, 나는 우리가 더 나은 거라고 책에서 읽은 컨쥬 게이트 (conjugate) 이전 선택 A는, 공동 확률 $p(x|\alpha,\beta)$ $\alpha,\beta$ $p(\alpha,\beta)$ 입니까? $\alpha,\beta$

두 가지 질문이 있습니다.

이 켤레 이외의 것을 선택하는 다른 선택이 있습니까?
와 와 같이 와 대한 우선 순위를 각각 선택할 수 있는가 ? $\alpha$ $\beta$ $p(\alpha)$ $p(\beta)$

bayesian estimation prior

— 아보카도
소스

어떤 소프트웨어를 사용 하느냐에 따라 사전에 가능성 함수와 겹칠 필요는 없습니다 ... 무엇보다도 우선 순위가 매개 변수의 분포에 대한 사전 신념을 나타내야합니다

— Patrick Coulombe

그래서 매개 변수에 대해 각각 사전을 선택할 수 있습니다. 사실은 내가 그냥 baysian 선형 회귀를 이해하려고 노력, 특정 소프트웨어는 고려하지

— 아보카도

조회 이전에 추출을 , 예를 들어 여기에

— Scortchi - 분석 재개 모니카

답변:

주석에서 언급했듯이, 사전 분배는 매개 변수 분배에 대한 사전 신념을 나타냅니다.

사전 신념을 실제로 사용할 수있는 경우 다음을 수행 할 수 있습니다.

모멘트 (예 : 평균 및 분산)로 변환하여 이러한 모멘트에 공통 분포를 맞 춥니 다 (예 : 매개 변수가 실제 선에 있으면 가우시안, 있으면 감마 ). $R^+$
주어진 사전 분포를 제안하고 그것이 실제로 자신의 목적에 맞고 임의의 선택에 민감하지 않은지 (견고성 또는 감성 분석 수행) 확인하기 위해 이러한 신념에 대한 직관적 인 이해를 사용하십시오.

명확한 사전 신념이 없으면 다음을 수행 할 수 있습니다.

Jeffreys (예 : 위치 매개 변수에 대해 균일 함) 또는 이전의 참조 (특히 다음의 참조)에서 파생 된 (또는 이미 사용 가능한 경우 간단히 사용 ) http://www.stats.org.uk/priors/noninformative/YangBerger1998.pdf 다변량 파라미터의 경우).
때때로 그러한 선택은 도출하기가 불가능하거나 상당히 어려우며,이 경우, 약한 정보를 얻기 전에 많은 "일반적인"약자 중 하나를 선택하려고 시도 할 수 있습니다 (예 : 계층 적 모델의 척도 모수에 대한 균일 한 수축 분포 또는 가우스 회귀에 대한 ) . $g$

그러나 조인트 또는 독립적 인 선행 ( Vs 을 사용하는 데 제한은 없습니다 . 보완책으로, 나는 겸손한 의견으로는 이전을 선택할 때 세 가지 중요한 사항이 있다고 말합니다. $p(a,b)$ $p(a) \cdot p(b)$

후부는 거의 모든 곳에서 (또는 적절한) 통합 가능하도록주의하십시오 . 이전 통합 가능을 사용하는 경우 항상 그렇습니다 (자세한 내용 은 베이지안 후부가 적절해야합니까? ).
지원 범위에 대해 확신이있는 경우에만 이전 지원을 제한하십시오 (그러므로 피하십시오).
마지막으로, 대부분의 실험은 당신이 선택한 것을 당신이 표현하고자하는 것을 의미하는지 확인하십시오. 제 생각에는이 작업이 때로는 더 중요합니다. 결코 추론을 할 때 그 자체로는 아무것도 의미하지 않는다는 것을 잊지 마십시오.

— 푸프
소스

정말 감사합니다. 이런 종류의 베이지안 추론을 수행하는 방법에 대한 튜토리얼 자료를 추천 해 주시겠습니까?

— 아보카도

@loganecolss 천만에, 나는 몇 달 전에 개인적으로 조금 잃어 버렸고이 게시물은 단순히 내 자기 연구의 요약이며 다른 누군가를 도울 수 있다면 기쁘다. 질문과 관련하여 "이런 종류의 베이지안 추론"은 무엇을 의미합니까?

— peuhp

내가 물건을 학습 기계를 자기 - 공부도 해요, 당신은 베이지안 추정 및 추론 내용을 좀 자료를 보여줄 수 있기를 바랍니다, 내가 ML을 알았지 만, 매개 변수 추정의 베이지안 접근 방식은 나에게 새로운, ;-)

— 아보카도

@loganecolss, 이것은 MLE, MAP 및 베이지안 추론에 대한 좋은 요약입니다. 그리고이 링크 는 이항 분포에 대한 베이지안 이전의 추론을 통합하는 방법에 대한 좋은 요약을 제공합니다.

— Zhubarb

사소한 정교는 : 적절한 사전 나타냅니다 매개 변수에 대한 믿음의 일관된을. 그들은 당신의 믿음 일 필요는 없습니다 . 실제로 모델은 다른 모델 일 때 더 설득력이 있습니다.

— 공역 사전

경험적 베이도 있습니다. 아이디어는 데이터 이전에 튜닝하는 것입니다.

{최대}_{피 (지)} \int 피 (디 | 지) 피 (지) 디 지

$\text{max}_{p(z)} \int p(\mathcal{D}|z)p(z) dz$

처음에는 어색해 보이지만 실제로는 최소 설명 길이와 관련이 있습니다. 이것은 가우스 프로세스의 커널 매개 변수를 추정하는 일반적인 방법이기도합니다.

— 바이엘
소스

위의 두 가지 질문에 직접 대답하려면 :

공액 사전 이외의 비공 액 사전을 선택할 수있는 다른 옵션이 있습니다. 문제는 비공 액 사전을 선택하면 정확한 베이지안 추론을 할 수 없다는 것입니다 (간단히 말하면 가까운 형태의 후자를 도출 할 수는 없습니다). 오히려 깁스 샘플링, 거부 샘플링, MCMC 등과 같은 샘플링 방법을 사용하여 대략적인 추론을해야합니다. 샘플링 방법의 문제점은 직관적으로 마치 코끼리를 반복해서 터치하여 어둠 속에서 코끼리 그림을 그리는 것과 같습니다. 편견이없고 불완전 할 수 있습니다. 사람들이 비공 액 사전을 선택하는 이유는 특정 가능성에 대해 공역 사전 옵션이 상당히 제한적이거나 대부분 비공 액이기 때문입니다.
그렇습니다, 당신은 확실히 할 수 있습니다. α와 β가 독립적 인 이상적인 조건 인 경우 p (α) p (β)에 의해 관절 분포를 도출 할 수 있습니다. 독립적이지 않은 경우 조건부 확률을 파악하고 관절 분포를 도출하기 위해 적분해야합니다.

— 탤런트 캣
소스