베이지안 방법은 빈번한 방법보다 언제 선호됩니까?

18

나는 베이지안 기법에 대해 정말로 배우고 싶어서 나 자신을 조금 가르치려고 노력했다. 그러나 베이지안 기법을 사용할 때 Frequentist 방법보다 이점을 얻는 데 어려움을 겪고 있습니다. 예를 들어, 나는 일부 사람들이 유익한 정보를 사용하는 반면 다른 사람들은 비 정보적인 정보를 사용하는 방법에 대해 조금 보았습니다. 그러나 당신이 정보가없는 이전을 사용하고 있고 (실제로 보입니까?) 사후 배포판이 베타 배포판이라는 것을 알면 처음에 베타 배포판에 적합하지 않았을 수 있습니다. 좋은가요? 나는 당신에게 아무것도 말하지 않는 사전 배포를 구성하는 방법을 보지 못합니다 ... 글쎄, 실제로 당신에게 아무것도 말할 수 있습니까?

R에서 사용한 일부 방법은 Bayesian과 Frequentist 방법을 혼합하여 사용한다는 것이 밝혀졌습니다 (저자는 이것이 약간 일치하지 않는다는 것을 인정합니다). 분포 피팅 외에도 베이지안 방법을 사용하는 방법을 알 수 없습니다. "베이지안 회귀"가 있습니까? 어떤 모습일까요? Frequentist는 일부 데이터에 대해 생각하고 데이터를보고 포아송 분포를보고 GLM을 실행하는 동안 기본 분포를 반복해서 추측하는 것만 상상할 수 있습니다. (이것은 비판이 아닙니다 ... 정말 이해가 안됩니다!)

그렇다면 몇 가지 기본적인 예가 도움이 될 수 있습니까? 그리고 나와 같은 실제 초보자를위한 실용적인 참고 자료를 알고 있다면 정말 도움이 될 것입니다!

bayesian frequentist

— HF 브라운
소스

의 가능한 중복 이 ?

— Glen_b-복지 주 모니카

어? 닫기에 오신 것을 환영합니다. 내 질문에 대답하는 것에 가깝습니다. 나는 내가 묘사 한 간단한 상황에 대해 여전히 궁금하지만 (나는 그 스레드에 나열된 기술에 대해 들어 본 적이 없기 때문에) 사람들은 회귀 등을 위해 베이지안 기술을 사용하지 않는 것이 당연하다고 생각합니다.

— HFBrowning

2

사람들 은 회귀에 베이지안 기법을 사용합니다. 그러나 잦은 방법은 매우 편리하고 많은 사람들이 자신이 사용하는 접근 방식에 대해 실용적이기 때문에 더 복잡한 것을 사용할 필요가없는 경우 자주 사용하는 사람들은 보통 회귀를 사용합니다. 그러나 좀 더 복잡한 문제를 처리하거나 사전 정보 나 다른 여러 가지 이유를 공식적으로 통합해야하는 즉시 베이지안 접근 방식의 약간의 추가 작업이 좋아지기 시작합니다.

— Glen_b-복지 주 모니카

말이 되네요. 감사합니다. 다른 스레드 중 일부를 둘러 보면 사용법도 명확 해졌습니다.

— HFBrowning

베이지안 설정에서 회귀와 관련하여 다른 것들이 있습니다. 계수에 가장 많이 사용되는 우선 순위는 다변량 법선과 다변량 라플라스입니다. 이러한 선행을 사용하면 계수에 축소 페널티를 두는 것으로 베이지안 알고리즘 후 계수의 MAP 추정치를 취해야하는 경우 각각 리지 회귀 또는 LASSO를 사용하는 것과 같습니다. 완전히 베이지안이 아닌 방식으로 이러한 결과를 계산하는 것이 훨씬 경제적이며 기본적으로 동등한 경우 왜 귀찮습니까?

11

다음은 잦은 방법과 베이지안 방법을 비교할 수있는 몇 가지 링크입니다.

간단히 말해서, 특정 데이터 세트를 감안할 때, 내가 이해 한 방식으로, 잦은 사람들은 해당 데이터가 생성 된 진정한 기본 분포가 있다고 생각합니다. 정확한 매개 변수를 얻을 수 없다는 것은 유한 샘플 크기의 함수입니다. 반면 베이지안은 매개 변수에 대한 몇 가지 가정 (무의식이 있더라도)으로 시작하고 이러한 매개 변수에 대한 의견을 구체화하기 위해 데이터를 사용한다고 생각합니다. 둘 다 관찰을 설명하고 예측할 수있는 모델을 개발하려고 노력하고있다. 차이점은 가정 (실제와 철학 모두)에 있습니다. 까다 롭고 엄격하지 않은 진술로서, 잦은 주의자가 매개 변수가 고정되어 있고 데이터가 무작위라고 믿는다. Bayesian은 데이터가 고정되어 있고 매개 변수가 무작위라고 생각합니다. 어느 것이 더 좋거나 선호됩니까? 당신이 파고 깨달아야한다는 대답에각 가정에는 어떤 가정이 수반됩니까 (예 : 매개 변수가 무정형 정상입니까?)

— 아브라함
소스

2

훌륭하고 흥미로운 답변이 많았지 만 이것은 내 질문에 가장 직접적으로 대답했습니다. 감사합니다

— HFBrowning

@Avraham 첫 번째 링크가 깨진

— 에릭 Hambardzumyan을

1

@ErikHambardzumyan 감사합니다. 웨이 백 머신에 저장된 버전을 찾았습니다.

— Avraham

10

두 접근법 사이의 대조에 대한 많은 흥미로운 측면 중 하나는 우리가 빈번한 영역에서 얻는 많은 양에 대한 공식적인 해석을하기가 매우 어렵다는 것입니다. 한 가지 예는 처벌 방법 (수축)의 중요성이 계속 증가하고 있다는 것입니다. 처벌 된 최대 우도 추정치를 얻을 때, 편향 점 추정 및 "신뢰 구간"은 해석하기가 매우 어렵습니다. 반면, 0에 집중된 이전 분포를 사용하여 0으로 불이익을받는 매개 변수에 대한 베이지안 후부 분포는 완전히 표준 해석됩니다.

— 프랭크 하렐
소스

1

이것은 좋은 지적입니다. 람다가 선험적으로 선택되었을 때 그것이 사실인지 궁금합니다. 종종, 교차 검증을 사용하여 샘플 외부 예측 오류를 최적화하기 위해 람다를 선택할 수 있습니다. 이 경우 람다는 분석에 가져온 '사전 정보'와 같다고 말하는 것이 이상합니다.

— gung-Monica Monica 복원

1

페널티가 2 차인 경우 평균이 0 인 가우시안에 해당하며 라고 생각합니다.

λ = σ^{- 2}

$\lambda = \sigma^{-2}$ 합니다. [예측 오류를 사용하여 최적화하지 마십시오. 불이익을받는 벌목 가능성 또는 효과적인 AIC를 사용하십시오.] 빈번한 의사는 일반적으로 불확실성을 설명하는 방법을 모릅니다

λ

$\lambda$ .

— Frank Harrell

3

나는 람다는 이전의 하이퍼 매개 변수이었다 말하고 싶지만 (당신이 하이퍼 이전이 이상 소외 수있는 더 베이지안되고있는 것과 잘 jmlr.org/papers/volume8/cawley07a/cawley07a.pdf )

— Dikran 유대류

5

Stan 사용자 그룹에서이 도매를 훔치고 있습니다. Michael Betancourt 는 베이지안 추론 에서이 두 가지 통계 학교의 대조에 대한 귀하의 요청에 따라 신원 확인에 대한 이 훌륭한 논의 를 제공했습니다 .

베이지안 분석과의 첫 번째 차이점은 약한 경우에도 4 개의 매개 변수에 대한 사후 질량을 유한 한 이웃으로 제한합니다 (그렇지 않으면 처음에는 유효하지 않았을 것입니다). 그럼에도 불구하고, 후자는 무한한 데이터의 한계에서 점 질량으로 수렴하지 않는다는 점에서 식별 할 수 없습니다. 그러나 (a) 무한한 데이터 제한은 실제가 아니며 (b) 베이지안 추론은 점 추정치가 아니라 분포를보고하기 때문에 매우 실제적인 의미는 중요하지 않습니다. 실제로 이러한 비 식별성은 매개 변수 (아마도 비 볼록성) 사이에 큰 상관 관계가 있지만 적절한 베이지안 분석은 이러한 상관 관계를 식별합니다. 단일 매개 변수 한계를보고하더라도

간단한 예 : 매개 변수가있는 모델을 고려하십시오. $\mu_1$ 과 $\mu_2$ 우연히 $\mathcal{N}(x | \mu_1 + \mu_2, \sigma)$ . 얼마나 많은 데이터를 수집하더라도 가능성은 포인트가 아니라 라인으로 수렴됩니다. $\mu_1 + \mu_2 = 0$ . 조건부 분산 $\mu_1$ 과 $\mu_2$ 매개 변수를 실제로 식별 할 수 없다는 사실에도 불구하고 해당 라인의 어느 시점에서든 실제로는 작습니다.

베이지안 이전의 선은 사후 분포를 그 선에서 긴 시가 모양의 분포로 제한합니다. 샘플링하기 쉽지 않지만 최소한 컴팩트합니다. 좋은 베이지안 분석은 시가 전체를 탐색하여 $\mu_1$ 과 $\mu_2$ 또는 긴 시가의 투사에 해당하는 한계 편차를 $\mu_1$ 또는 $\mu_2$ 조건부 분산보다 모수의 불확실성을 훨씬 더 충실하게 요약하는 축을 제공합니다.

— Sycorax는 Reinstate Monica를 말합니다
소스

3

베이지안 접근 방식과 잦은 접근 방식의 주요 차이점은 확률의 정의에 있습니다. 따라서 확률을 장기 빈도로 엄격하게 처리해야하는 경우 잦은 접근 방식이 합리적입니다. 그렇지 않은 경우에는 베이지안 접근 방식을 사용해야합니다. 어느 쪽이든 해석이 수용 가능하면 베이지안 및 잦은 접근 방식이 합리적 일 수 있습니다.

다른 실험 방법은 특정 실험에서 어떤 추론을 도출 할 수 있는지 알고 싶다면 베이지안이되고 싶을 것입니다. 일부 실험 집단 (예 : 품질 관리)에 대한 결론을 내리려면 빈번한 방법이 적합합니다.

본질적으로 중요한 것은 어떤 질문에 답을 원하는지 알고 질문에 가장 직접적으로 응답하는 분석 형식을 선택하는 것입니다.

— 디크 란 유대류
소스