Bayesians는 그들의 접근 방식이 잦은 접근 방식으로 일반화 / 중복되는 경우가 있다고 주장 하는가?

12

Bayesians는 그들의 접근 방식이 잦은 접근 방식을 일반화한다고 주장합니까? 비 정보적인 선행을 사용할 수 있기 때문에 전형적인 잦은 모델 구조를 회복 할 수 있습니까?

이 논쟁이 실제로 사용된다면 내가 읽을 수있는 곳을 누구든지 언급 할 수 있습니까?

편집 :이 질문은 내가 그것을 표현하는 방식과 정확히 일치하지 않을 수 있습니다. 문제는 "베이지안 접근 방식과 잦은 접근 방식이 특정 이전의 사용을 통해 공통점이 있거나 중복되거나 교차하는 경우에 대한 논의에 대한 언급이 있는가?"입니다. 한 가지 예는 부적절한 선행 을 사용하는 것이지만 이것이 빙산의 일각에 불과하다고 확신합니다. $p(\theta) = 1$

bayesian references frequentist

— 싱 겔턴
소스

2

Greenberg의 Bayesian Econometrics 소개에서이 주장이 떠올랐다는 점을 기억하지만, 긍정적이지 않고 더 나은 참조가 있는지 확실하지 않습니다. 또한, 나는 그것이 이전의 선택 일뿐 아니라 이전에 대한 신뢰라고 믿는다.

— John

3

잦은 주의자들이 베이 즈 접근 방식을 일반화한다는 좋은 주장이 있습니다! 빈번한 사람들은 이론이나 데이터에 의해 정당화 될 때 이전에 기꺼이 사용하지만 베이지안이 건드리지 않는 방법을 사용하기 때문에 다음과 같습니다. :-)

— whuber

3

확률 이 해석 되는 방식에서 시작하여 완전히 다른 접근 방식입니다 ( 예 : link 참조 ). 또한, 정보 에 대한 고유 한 (또는 수용된) 정의가 없기 때문에 비 정보 적 정보 에 대한 고유 한 (또는 덜 수용되는) 정의는 없습니다 . 추정량이 양적으로 동일하더라도 잦은 추정기와 베이 시안 추정의 해석이 다릅니다. 앞서 언급 한 바와 같이 "오렌지가 사과를 일반화한다고 말하는 것과 같습니다."

1

@ Procrastinator 나는 그들이 항상 교차하지는 않는다는 것을 완전히 동의합니다. 나는 그들이하는 경우에 논쟁을 찾고 있습니다. "베이지안 통계와 잦은 통계가 사전의 사용을 통해 서로 겹치는 토론에 대한 언급이 있습니까?" 한 가지 예는 부적절한 선행 입니다. 그러나 이것은 실제로 빙산의 일각입니다.

p (θ) = 1

$p(\theta) = 1$

— singelton

1

@ Procrastinator 예, 감사합니다! 그것은 내가 찾고있는 토론의 종류입니다 (그러나 그것이 여전히 빙산의 일각이라고 생각합니다). 나는 그것을 철저히하는 책을 찾아야하는데 책을 찾을 수 없었습니다. 계속 찾아 볼게요 다시 감사합니다. (대부분의 책은 잦은 접근 방식이나 베이지안 접근 방식에 중점을두고 있지만 두 방식을 비교하지는 않습니다.)

— singelton

11

나는 베이지안 분석이 빈번한 분석의 일반화라는 두 가지 주장이 진보 한 것을 보았다. 둘 다 뺨에 약간 혀가 있었고, 사람들이 사전을 맥락으로 사용하여 회귀 모델에 대한 가정을 인식하도록 점점 더 많은 관심을 가졌습니다.

인수 1 : Frequentist 분석은 순전히 정보가없는 사전 0을 중심으로하는 베이지안 분석입니다 (예, 중심 위치는 중요하지 않지만 무시). 이것은 베이지안이 잦은 분석 결과를 추출 할 수있는 맥락을 제공하며, 최대 가능성 수렴이 거칠고 어려운 상황에서 잦은 추정값을 추출하기 위해 MCMC와 같은 "베이지안"기법을 사용하여 벗어날 수있는 이유를 설명합니다. 사람들은 "데이터가 자신을 위해 말하는 것"등을 말할 때 실제로 말하는 것은 모든 값이 똑같이 가능하다는 것입니다.

인수 2 : 모형에 포함 하지 않은 회귀 항 에는 사실상 분산 없이 0을 중심으로 한 사전이 할당되었습니다 . 이것은 "베이지안 분석은 일반화"가 아니며 " 자주주의 모델조차도 어디에나 사전이 있습니다 "라는 주장 만큼이나 아닙니다 .

— 포미 테
소스

3

+1 인수 2가 흥미 롭습니다. 논쟁 1에 대한 두 가지 의견 : 1. 나는 정보가 아닌 평평한 사전에 대해 말하고 싶습니다. 2. 빈번한 분석에서 MCMC를 사용하도록 동기를 부여하기 위해 사전에 대해 이야기 할 필요가 없습니다.이 수치 기법 에 대한 베이지안은 본질적으로 없습니다 !

— MånsT

EpiGrad에게 감사합니다. 언급 한 두 가지 주장에 대해 언급 한 참고 자료가 있습니까?

— singelton

1

+1 사람들이 요점을 맞추는 것이 혀라는 것을 알기 만하면 좋습니다. 그러나 진지하게 받아들이지 마십시오!

— Michael R. Chernick

@ MånsT-MCMC 가 정당화 할 필요 가 없는 것에 대해 동의 했지만, 순수한 수치 기술이 아니라 베이지안 영역에서 사람들의 마음 속에 존재한다는 것을 알았습니다. 이것은 그들을 밀어내는 데 도움이됩니다.

— Fomite

@bayesianOrFrequentist 아니에요.

— Fomite

6

짧은 대답은 아마 "그렇습니다. 그리고 당신은이 주장을하기 전에 평평 할 필요조차 없습니다."

예를 들어, MAP (Maximum A Posteriori) 추정값 은 이전을 포함하는 최대 가능성의 일반화이며이 값을 찾는 것과 동일한 빈도의 접근 방식이 있습니다. 잦은 주의자는 가능성 함수에 대해 "이전"을 "제약"또는 "벌칙"으로 표시하고 동일한 대답을 얻습니다. 따라서 빈번 주의자와 베이지안은 철학이 다르더라도 최선의 모수 추정치와 동일한 것을 가리킬 수 있습니다. 이 빈번한 논문 의 섹션 5 는 동등한 예제입니다.

더 긴 대답은 "그렇습니다. 그러나 두 가지 접근 방식을 구별하는 분석의 다른 측면이 종종 있습니다. 그럼에도 불구하고, 이러한 구별조차도 많은 경우에 반드시 철판이 될 필요는 없습니다."

예를 들어, 베이지안에서는 편리한 경우 MAP 추정값 (전방 모드)을 사용하는 경우가 있지만 일반적으로 사후 평균을 강조합니다. 다른 한편으로, 사후 평균에는 거의 구별 할 수없는 "부여 진"추정치 ( "부트 스트랩 집계")라고하는 빈번한 유사체가 있습니다 ( 이 논쟁의 예는이 pdf 참조 ). 따라서 이는 "어려운"구분이 아닙니다.

실제로,이 모든 것은 잦은 주의자가 베이 즈 인이 완전히 불법적 인 것으로 간주하는 (또는 그 반대의 경우) 행동을 할 때에도 다른 야영지에서 거의 같은 주장을하는 접근 방식 (적어도 원칙적으로)이 있다는 것을 의미합니다.

주요 예외는 일부 모델이 빈번한 관점에서 실제로 적용하기가 어렵다는 점이지만 철학적 모델보다 실제적인 문제입니다.

— 데이비드 제이 해리스
소스

고마워 데이비드. 당신의 대답은 유용합니다. 또한이 요점을 자세히 설명하는 참조를 찾고 있습니다. 나는 베이지안의 논증이 정보가없는 선행에 관한 것이 무엇인지, 그리고 그것들이 빈번한 접근 방식으로 축소 될 수있는 방법을보고 싶다. 나는 그 뒤에있는 기술적 요점을 완벽하게 이해합니다 (예를 들어, 당신의 가능성에 1을 곱하면 ... : 당신은 당신의 가능성을 얻을 것입니다 :-)), 그러나 나는 더 적절한 토론을 찾고 있습니다.

— singelton

1

나는 많은 젊은이들이 베이지안 패러다임의 역사를 알지 못하거나 본질을 이해하지 못한다는 것을 알게되었습니다. 그것을 잦은 접근 방식의 일반화라고하면 실제로 이러한 패러다임의 비교를 잘못 표현합니다. Procrastinators의 의견을 수렴하고 약간 다른 방식으로 말하면, 이것은 사과가 너무 큰 오렌지라고 말하는 것과 같습니다.

— Michael R. Chernick

@DavidJHarris 나는 당신의 대답을 좋아하지 않았습니다. 기술적으로 당신이 지적하는 관계는 합법적이지만 짧은 대답에서 "예"라고 말하는 것은 잘못된 인상을줍니다. 나는 베이지안이 그들의 패러다임을 frequntist 통계의 일반화라고 부르고 싶지 않다고 생각한다. 완전히 베이지안, 경험적인 베이지안이라는 용어는 베이지안 관련 패러다임을 구별 할 수 있지만, 베이지안은 이러한 베이지안 패러다임의 분기를 부르는 것에 반대 할 수 있다고 생각합니다.

— Michael R. Chernick

2

@MichaelChernick 포인트를 가져 왔습니다. 나는 것을 의미하는 말은하지 않았다 베이지안 통계 및 철학의 모든 가까운 빈도주의 유사체하고있다 반대로, 하나는 종종 찾을 수있는 것만 방법 중 하나를 캠프에서 동일한 작업을 수행하고, 베이지안 접근 방식이 될 경향이됩니다 둘 중 더 유연합니다. 아마도 두 학교에서 얻은 매개 변수 추정치가 동일하더라도 Procrastinator가 다른 곳에서 지적한 것처럼 여전히 다르게 해석되어야한다고 강조했을 것입니다.

— David J. Harris

@DavidJHarris. 나는 당신이 말하는 모든 것에 동의하지만 일반화라는 용어의 사용을 제외하고는 예외입니다.

— Michael R. Chernick

3

Edwin Jaynes는 베이지안과 잦은 추론 사이의 연관성을 강조하는 데 최고였습니다. 그의 논문 신뢰 구간과 베이지안 구간 (Google 검색에서 표시)은 매우 철저한 비교이며 공정한 것으로 생각합니다.

소규모 영역 추정은 ML / REML / EB / HB 답변이 가까운 경향이있는 또 다른 영역입니다.

— 확률 론적
소스

2

이러한 의견들 중 다수는 "자주 주의자"가 "최대 가능성 추정"을 의미한다고 가정합니다. 일부 사람들은 다른 정의를 가지고 있습니다. "자주 주의자"는 베이지안이든, 순간적이든, 최대 가능성이든, 비 확률 적인가에 상관없이 모든 추론 방법의 장기 추론 적 속성에 대한 분석 유형을 의미합니다. 용어 (예 : SVM) 등

— 브렌든 오코너
소스

1

Stephane 또는 다른 베이지안 전문가의 의견을 듣고 싶습니다. 일반화가 아닌 다른 접근 방식이므로 아니오라고 대답합니다. 다른 맥락에서 이것은 이전에 여기에서 논의되었다. 플랫 프리어스가 플랫 프리어스를 가진 베이지안 방법이 빈번 할 가능성에 최대한 근접한 결과를 생성한다고 생각하지 마십시오! 나는 그것이 당신이 이전의 임의적 인 것을 만들어서 다른 가능한 이전을 일반화하고 있다고 생각하게 만드는 잘못된 추정 일 것이라고 생각합니다. 나는 그렇게 생각하지 않으며 대부분의 베이지안도 그렇지 않다고 확신합니다.

그래서 어떤 사람들은 그것을 주장하지만 그들이 베이지안으로 분류되어야한다고 생각하지 않습니다

스테판은 강력한 분류가 어렵다고 지적했다. 엄격히 말하면 단어가 베이지안을 어떻게 정의하는지에 달려 있다고 생각합니다.

— 마이클 R. 체 르닉
소스

(+1) 그들은 완전히 다른 접근법입니다. 오렌지가 사과를 일반화한다고 말하는 것과 같습니다.

5

오렌지를 많이 먹고 사과는 먹지 않습니다.

— Alfred M.

최대 가능성이 빈번한 추론을 수행하는 몇 가지 일반적인 절차 중 하나이지만 이것은 사실입니다. 따라서 빈번한 방법에 대한 일반적인 토론에서 항상 과대 표현 될 것입니다. GREG와 같은 설문 조사 샘플링이 언급되지 않은 것에 놀랐습니다.

— 확률