계층 적 베이지안 모델과 경험적 베이지안

HBM 대 EB가 하이퍼 파라미터가 샘플링 / 추정 / 기타 "게임 중"인 두 가지 대안이라고 생각하십니까? 이 둘 사이에는 분명히 관련이 있습니다.

HBM을 EB보다 "완전히 베이지안"이라고 생각하십니까? "완전히 베이지안"과 다른 대안의 차이점이 무엇인지 알 수있는 곳이 있습니까?

감사.

bayesian empirical-bayes

— 싱 겔턴
소스

"완전 베이지안"및 "실증적 베이지안"의 의미에 대한 설명은 ""완전 베이지안 "대"바이 예 "" 의 답변을 참조하십시오 .

감사합니다. 가능한 경우 계층 적 베이지안 모델과의 관계에 대한 응답을 여전히 듣고 싶습니다.

— singelton

wikipedia 항목 Empirical Bayes 방법 에서이를 찾을 수 있습니다 . "empirical Bayes는 계층 구조 모델의 완전 베이지안 처리에 대한 근사치로 간주 될 수 있습니다. 통합되고 있습니다. "

소외는 최적화보다 베이지안 접근 방식이므로 HBM은 EB보다 확실히 "더 많은 베이지안"이라고 말하고 싶습니다. 본질적으로 EB는 하이퍼 매개 변수의 불확실성을 무시하는 반면 HBM은 분석에 포함하려고 시도합니다. 나는 HMB가 데이터가 적고 하이퍼 매개 변수에 중대한 불확실성이있는 곳에서 좋은 아이디어라고 생각합니다. 반면에 대규모 데이터 세트의 경우 EB는 일반적으로 계산 비용이 적게 들고 데이터의 양이 많으므로 결과가 하이퍼 파라미터 설정에 훨씬 덜 민감하다는 것을 의미합니다.

나는 가우시안 프로세스 분류기에서 일했으며 ML을 과도하게 맞추는 한계 확률 결과를 최대화하고 일반화 성능의 현저한 저하를 극대화하기 위해 하이퍼 매개 변수를 최적화하는 경우가 많았습니다. 그런 경우에는 완전한 HBM 치료가 더 신뢰할 만하지 만 훨씬 비싸다고 생각합니다.

— 디크 란 유대류
소스

EB의 경우 +1 은 하이퍼 파라미터의 불확실성을 무시합니다 . 또한 베이지안 근본 주의자들은 이전의 추정을 위해 데이터를 사용하는 것이 신성 모독 이기 때문에 EB 반 베이지안을 고려한다 .

분명히 나는 재미없는 베이지안이 아닙니다! HBM은 실제로 계산이 가능하다면 하루 종일 실용적이어야합니다 (가장 큰 컴퓨터를 구입 한 후; o).

— Dikran Marsupial