베이지안은 언제 유효한 베이지안 방법을 거부합니까? [닫은]


9

내가 읽고에 대한 답변에서 한에서 다른 질문에 내가 여기에 질문 한 많은 소위 빈도주의 방법은 해당 수학적으로 ( 그들이 철학적 해당하는 경우 난 상관 없어 소위의 특별한 경우에 나는 단지 그것을 수학적으로 대응하는지 신경) 베이지안 방법 (이에 반대하는 사람들은이 질문의 맨 아래에있는 메모를 참조하십시오). 이 답변 관련 질문 (안 내)에이 결론을 지원합니다 :

대부분의 빈번한 방법은 대부분의 상황에서 본질적으로 동일한 결과를 제공하는 베이지안 등가를 갖습니다.

다음에서 수학적으로 동일하다는 것은 동일한 결과를 제공한다는 의미입니다. 항상 "다른"것과 동일한 결과를 나타내는 것으로 입증 될 수있는 두 가지 방법을 특성화하면 그것은 당신의 권리입니다. 그러나 그것은 철학적 판단이며, 수학적 또는 실제적인 것이 아닙니다.

그러나 "베이지 아인"이라고 자칭하는 많은 사람들은 비록 그것이 "자주 주의적 방법"이기 때문에 ( 수학적으로 ) 베이지안 방법 의 특별한 경우 임에도 불구하고 어떤 상황에서도 최대한 가능성 추정을 사용하는 것을 거부하는 것 같습니다 . 베이지안 관점 에서도 수학적으로 정확 하더라도, 베이지안은 빈번한 비교에 비해 제한된 / 제한된 분포의 분포를 사용합니다 .

질문 : 베이지안은 언제, 왜 베이지안 관점에서 수학적으로 올바른 방법을 거부합니까? "철학적"이 아닌 이것에 대한 정당성이 있습니까?

여기에 이미지 설명을 입력하십시오

배경 / 배경 : 다음은 CrossValidated에 대한 이전 질문에 대한 답변과 의견을 인용 한 것입니다 .

베이지안 대 잦은 토론의 수학적 기초는 매우 간단합니다. 베이지안 통계에서 알 수없는 매개 변수는 무작위 변수로 취급됩니다. 잦은 통계에서 고정 요소로 취급됩니다 ...

위에서 나는 ( 수학적으로 말해서 ) 베이지안 방법이 잦은 방법보다 더 일반적 이라는 결론을 내 렸는데, 잦은 모델이 베이지안 과 동일한 수학적 가정을 만족 하지만 그 반대는 아닙니다. 그러나 같은 대답은 위의 결론이 잘못되었다고 주장했습니다 (다음 내용의 강조점은 내 것입니다).

상수는 임의 변수의 특별한 경우이지만 베이지안이 더 일반적이라는 결론을 주저합니다. 랜덤 변수를 상수로 간단히 축소하여 베이지 안에서 빈번한 결과를 얻지 못합니다. 그 차이는 더 심오하다 ...

개인 취향에 따라 ... 베이지안 통계가 사용 가능한 분포의 제한된 부분 집합을 사용하는 것을 좋아하지 않습니다 .

대답에 따르면 다른 사용자는 베이지안 방법 더 일반적이라고 말했지만, 이상하게도 이것이 빈번하게 훈련 된 사람에 의해 주어진 이전 답변에 있었던 이유에 대해 내가 찾을 수있는 가장 좋은 이유는 이상합니다.

수학적 결과는 Frequentists가 확률의 기본 방정식이 때때로 적용되는 것으로 생각하고 Bayesians는 항상 적용한다고 생각합니다. 그래서 그들은 같은 방정식을 올바른 것으로 보지만, 그것이 얼마나 일반적인 지에 따라 다릅니다. 베이지안은 빈번한 것보다 엄격 합니다. 어떤 사실에 대해서도 불확실성이있을 수 있으므로, 어떤 사실에도 확률이 할당 될 수 있습니다. 특히, 작업중인 사실이 실제 빈도 (예측중인 데이터 또는 데이터의 일부)와 관련이있는 경우 베이지안 방법은 다른 실제 사실과 마찬가지로이를 고려하여 사용할 수 있습니다. 결과적으로 모든 문제가 자주 발생하는 사람들은 그들의 방법이 베이지안에도 적용된다고 생각합니다.

위의 답변에서, 나는 일반적으로 사용되는 베이지안이라는 용어에 대해 적어도 두 가지의 다른 정의가 있다는 인상을 받았습니다. 첫 번째는 상수 RV 인 파라미터와 상수 RV가 아닌 파라미터를 포함하기 때문에 모든 통계 방법을 포함하는 "수학적으로 베이지안"이라고합니다. 그런 다음, "수학적으로 베이지안"방법을 거부하는 "문화적으로 베이지안"이 있습니다. 그 방법은 "자주적"이기 때문에 (즉, 때로는 상수 또는 빈도로 모델링되는 매개 변수에 대한 개인적인 적성 때문에). 위에서 언급 한 질문에 대한 또 다른 대답은이 추측을 뒷받침하는 것 같습니다.

그것은 이상 (즉, 할 수있는 것보다 수행 된 내용과 관련이 두 캠프가 사용하는 모델 사이에 많은 분열이 있다는 것을 참고 또한 다른 캠프에 의해 정당화 될 수 전통적으로 한 캠프에서 사용하는 많은 모델은 ).

그래서 내 질문을 표현하는 또 다른 방법은 다음과 같습니다. 왜 문화적 베이지안들이 수학적으로 많은 베이지안 방법을 거부하면 왜 스스로 베이지안이라고 부릅니까? 그리고 왜 수학적으로 베이지안 방법을 거부합니까? 그러한 특정 방법을 가장 자주 사용하는 사람들에게는 개인적인 적대감이 있습니까?

편집 : 두 객체 는 구성 방법에 관계없이 동일한 속성 을 갖는 경우 수학적 의미에서 동일 합니다 . 예를 들어, 허수 단위 를 구성하는 5 가지 이상의 다른 방법을 생각할 수 있습니다 . 그럼에도 불구하고, 허수 연구에 관한 적어도 5 가지의 다른 사고 학교는 존재하지 않습니다. 사실, 나는 그들의 특성을 연구하는 그룹이 하나 밖에 없다고 생각합니다. 최대 우도를 사용하여 점 추정치를 얻는 것이 관련된 계산이 다르기 때문에 최대 선험을 사용하여 점 추정치를 얻는 것과 동일하지 않다고 생각하는 사람들에게는 철학적 의미 에서 다르다는 것을 인정 하지만 그들이 항상 정도i추정값에 동일한 값을 지정 하면 동일한 속성 을 가지기 때문에 수학적으로 동일 합니다 . 철학적 차이는 개인적으로 당신과 관련이 있지만,이 질문과 관련이 없습니다.

참고 : 이 질문은 원래 균일 한 사전으로 MLE 추정 및 MAP 추정의 잘못된 특성을 가지고있었습니다.


8
(-1)이 질문은 잘못된 가정에 근거합니다. MLE는 '균일 한 사전 사용'이 아니라 균일 한 사전 사용 사후 분포 모드 선택 (따라서 균일 한 사전을 갖는 MAP)에 해당합니다. MLE를 사용할 때 매개 변수는 임의 변수로 간주되지 않으므로 다음과 같은 구성Pr(θ[0,1]y)또는 적분 θy수학적으로 의미 가 없습니다.
Juho Kokkala

3
나는 Baesian이 아닌 것을 이름으로 거부하거나 제한된 수의 분포를 사용하는 베이지안을 기억하지 않습니다. 귀하의 질문에 "Bayesians"를 "Frequentists"로 쉽게 대체 할 수 있으며 잦은 사람들이 왜 자주 사용하지 않는 모든 것을 거부하는지, 왜 제한된 수의 분포 (기본적으로 모든 곳에서 정규 분포)를 사용하는지 묻습니다. 당신과 같은 정의가 잘못되었습니다. 나는 또한 MJ @ @JuhoKokkala에 동의합니다.포인트 추정치가 일치하더라도 사전에 균일 한 사용.
Tim

5
MLE과 MAP 에는 동일한 수학적 속성 이 없습니다 . 변수를 다시 매개 변수화하면 MLE과 MAP이 다르게 변환됩니다 (MLE가 모든 매개 변수화에서 "평평한 우선 순위"를 가지기 때문에 MAP은 그렇지 않습니다). 수학 객체의 정의 에는 변수 변환과 같은 연산자에서 객체가 작동하는 방식이 포함됩니다 (예 : 텐서 정의 참조). 그래서는 하지 같은 일.
lacerbi

2
나는 지금까지 아무도 언급하지 않은 것이 놀랍기 때문에 (짧은) 대답으로 만들 것입니다. 또한 쉽게 놓칠 수있는 미묘하기 때문에 과거에도 여러 번 설명해야했습니다.
lacerbi

4
체스 세트로 초안을 연주 한 적이 있습니까? 때때로 당신은 유효한 체스 위치에 자신을 발견하고 법적 초안 이동 인 합법적 인 체스 움직임을 만들 수 있습니다. 물론 좋은 체스 움직임이 항상 좋은 드래프트 움직임 은 아닙니다 . 그리고 당신은 단지 체스 이동 이기 때문에 좋은 초안 이동을 피할 수 없습니다 . 이것은 영어보다는 프랑스어로 체스 게임을 묘사하는 것과는 다르거 나, 칠판을 회전시켜 검은 사각형이 흰색이되거나 초기 위치와 규칙을
바꾸는 것과는 다릅니다

답변:


12

원래 게시물에서 잘못된 가정을 수정하고 싶습니다. 이는 일반적인 실수입니다. OP는 말합니다 :

내가 읽은 내용과 내가 여기에 요청한 다른 질문에 대한 답변에서 최대 가능성 추정은 수학적으로 일치합니다 (철학적으로 일치하면 상관없고 수학적으로 일치하는지 여부 만 신경 씁니다). 이에 반대하는 사람들은이 질문의 맨 아래에있는 참고 사항을 참조하십시오).

그리고 게시물 맨 아래의 메모는 다음과 같이 말합니다.

두 객체는 ​​구성 방식에 관계없이 동일한 속성을 갖는 경우 수학적 의미에서 동일합니다. [...]

나는 철학을 제외하고, 최대 우도 추정 (MLE)과 최대-포스 포레이 (MAP) 추정이 동일한 수학적 특성을 갖지 않는다는 것에 반대 한다.

결정적으로 MLE과 MAP는 공간의 (비선형 적) 매개 변수화에서 다르게 변형됩니다. 이는 MLE가 모든 매개 변수화에서 "평행 사전"을 갖는 반면 MAP은 그렇지 않기 때문에 발생합니다 (사전 확률확률 밀도 로 변환 되므로 Jacobian 항이 있습니다).

수학 객체의 정의 에는 변수 변환과 같은 연산자에서 객체가 작동하는 방식이 포함됩니다 (예 : 텐서 정의 참조 ).

결론적으로, MLE 및 MAP은 하지 아니 철학적으로도 수학적으로, 같은 일; 이것은 의견이 아닙니다.


아마 당신의 요점을 놓친 것 같아요. MLE의 점 추정치가 균일 한 사전의 MAP의 점 추정치와 같지 않도록 모델을 매개 변수화 할 수 있습니까? (분명히, MAP의 경우, 이전에이에 대한 균일 수 없습니다 현재 작업에 평등에 대한 순서로 매개 변수화 당신이 사전을 변경하지 않고 모델을 reparametrize 경우, 그것은 일반적으로 더 이상 균일하게 될 것입니다..)
Kodiologist

1
@Kodiologist : OP는 MAP과 MLE이 동일한 "수학적 대상"이라고 진술했습니다. 그들은 아닙니다. 고유 한 수학적 객체는 부분 공간에서 (예를 들어, 주어진 매개 변수에서) 동일 할 수 있지만 동일하지는 않습니다. "다른 매개 변수화에 신경 쓰지 않는다"고 말할 수는 있지만, 실질적인 제약을 강요하고 있습니다. OP가 원래 주장했던 것처럼 더 이상 철학적 포인트는 아닙니다.
lacerbi

6

개인적으로 저는 "자주 주의자"나 "바이아 식인"보다는 "실용 주의자"이므로 어떤 캠프에 대해서도 말할 수 없습니다.

즉, 당신이 암시하는 구별은 아마도 MLE 대 MAP가 아니라 포인트 추정치사후 PDF 추정치 사이에 있다고 생각합니다 . 희소 데이터와 큰 불확실성이있는 분야에서 일하는 과학자로서, 오도 할 수있는 "최고의 추측"결과에 대해 너무 많은 신뢰를 갖기를 원하지 않아서 과신을 초래할 수 있습니다.

이와 관련된 실질적인 차이는 사이 파라비모수 방법. 예를 들어 칼만 필터링과 파티클 필터링 모두 재귀 베이지안 추정 으로 받아 들여질 것이라고 생각합니다 . 그러나 칼만 필터링 (파라 메트릭 방법)에 대한 가우시안 가정은 후부가 단조롭지 않은 경우 매우 잘못된 결과를 제공 할 수 있습니다. 나에게 이런 종류의 공학적 예는 차이점이 철학적이거나 수학적인 것이 아니라 실제적인 결과 (즉, 자율 주행 차가 충돌 할 것인가)의 관점에서 나타나는 곳을 강조 한다. 내가 잘 알고있는 베이지안 애호가들에게는 이것이 "작동하는 것을보십시오"엔지니어링 스타일 태도가 우세한 것 같습니다. 이것이 더 광범위하게 사실인지 확실하지 않습니다.


1
잡음이 가우시안 또는 다른 분포에서 모델링 되는지 여부는 방법이 모수인지 비모수인지를 결정하는 것이 아닙니다 .
Cliff AB

1
입자 필터링과 칼만 필터링을 생각하고있었습니다.
GeoMatt22

1
@CliffAB "Gaussian <==> parametric"이라는 의도하지 않은 의미를 수정하기 위해 답변을 편집했습니다.
GeoMatt22

2
내 경험상 (전혀 포괄적 인 것은 아님), "기술"분야의 엔지니어를 대상으로하는 책은이 같은 경향이 있습니다. 로봇 공학 및 기타 실시간 / 강력한 응용 프로그램과 같은 것들은 작동하지 않을 때 빨리 찾는 경향이 있습니다. 아마도 명목상 더 많은 베이지안 일지 모르지만 Sebastian Thrun의 확률 로봇 은 나에게 깨달았습니다. 그는 Udacity 사람입니다.
GeoMatt22

2
나는이 영역을 전혀 연구하지는 않았지만 고전적인 신뢰도 공학의 많은 부분이 "자주 주의적"접근 방식을 사용 한다는 점이 인상적이며 실제 텍스트가있는 영역 일 수도 있습니다.
GeoMatt22

6

그러나 "베이지 아인"이라고 자칭하는 많은 사람들은 (수학적으로) 베이지안 방법의 특별한 경우에도 "자주주의 방법"이기 때문에 어떤 상황에서도 최대한 가능성 추정을 거부하는 것 같습니다.

그런 사람들은 포인트 추정을위한 일반적인 방법으로 MLE를 거부 할 것입니다. 특히 균일 한 사용을해야하는 이유가 있었으며 MLE과의 계산의 일치로 인해 전혀 귀찮지 않을 사후 추정을 최대로하고 싶었던 경우.

베이지안 관점에서도 수학적으로 정확하더라도, 베이지안은 빈번한 비교에 비해 제한된 / 제한된 분포의 분포를 사용합니다.

어쩌면 때로는 계산을 쉽게하기 위해 원칙의 관점에서가 아닐 수도 있습니다.

나는 일반적으로 사용되는 베이지안이라는 용어에 대해 적어도 두 가지의 다른 정의가 있다는 인상을 받았습니다. 첫 번째는 상수 RV 인 파라미터와 상수 RV가 아닌 파라미터를 포함하기 때문에 모든 통계 방법을 포함하는 "수학적으로 베이지안"이라고합니다. 그런 다음, "수학적으로 베이지안"방법을 거부하는 "문화적으로 베이지안"이 있습니다. 그 방법은 "자주적"이기 때문에 (즉, 때로는 상수 또는 빈도로 모델링되는 매개 변수에 대한 개인적인 적성 때문에).

베이지안 추론에 대한 서로 다른 접근법 사이에는 분명한 차이점이 있지만, 이것은 아닙니다. 베이지안이 더 일반적이라는 의미가 있다면, 잦은주의와 관련이있는 데이터 생성 과정의 승용 적 불확실성뿐만 아니라 매개 변수 값에 대한 비 확실성 불확실성에 확률 개념을 적용 할 의지가있다. 빈번한 추론은 베이지안 추론의 특별한 경우 가 아니며 , 이에 대한 답변이나 의견 이 없습니다 . 베이지안 대 빈번한 논쟁에 대한 수학적 근거가 있습니까?그것을 암시하고 있습니다. 베이지안 접근 방식에서 매개 변수를 상수 랜덤 변수로 간주한다면, 데이터가 무엇이든 동일한 구배를 얻을 수 있습니다. 말할 가치가 있습니다. 잦은 접근 방식은 완전히 다른 방식을 취하고 사후 분포 계산을 전혀 포함하지 않습니다.


"자주 주의적 접근 방식은 완전히 다른 방식을 취하고 사후 분포 계산을 전혀 포함하지 않습니다"– 그것은 내 요점이 아닙니다. 나는 철학적 의도에 관한 것이 아니라 수학적 동등성에 관한 것입니다. 어떤 사람은 양수 만 더하고 빼기 만하고 "음성 주의자"인 음수를 사용하지 않기 때문에 "감산사"라고 말할 수 있습니다. 철학적으로 그럴 수도 있지만 수학적으로 양수를 빼는 것은 음수를 더하는 것과 같습니다.
Chill2Macht

내가 말하려고하는 것은 "수학적으로 베이지안"은 매개 변수 값에 대한 비 확실성 불확실성에 확률 개념을 적용하고 적용하지 않는 것입니다. "Culturally Bayesian"은 매개 변수 값에 대한 전염성 불확실성에 대한 확률 개념만을 적용하고 적용하지 않을 것입니다. "Frequentist"는 매개 변수 값에 대한 비 확실성 불확실성에 확률을 적용하지 않고 적용하지 않습니다. 내가 말하는 것은 "바이에른 추론 = 문화적으로 베이지안"과 "자주 주의자"는 사람들의 말에 근거한 특별한 경우처럼 보인다는 것입니다.
Chill2Macht

어쨌든 나는 빈번한 통계에 대해 더 언급하기 전에 van der Vaart의 Asymptotic Statistics를 읽으려고 노력할 것입니다. 확률의 개념을 "데이터 생성 프로세스의 파괴적인 불확실성"에 적용하는 것은 여러분이 쓴 내용의 다른 부분과 모순되는 것 같습니다.
Chill2Macht

2
(1) 당신의 요점이 빈번하고 베이지안 절차가 수학적으로 동일하지만 단순히 다른 용어로 묘사된다면, 그것은 사실이 아닙니다. 그들은 당신이 운동을 할 때까지 뺄셈과 부정주의 뺄셈이 일치하는 것처럼 때때로 일치합니다.35. (2) "적용 및 비적용"을 "때때로 적용, 때때로 적용하지 않음"으로 읽을 수있는 경우, "수학적으로 베이지안"은 때때로 베이지안, 때로는 빈번한, "문화적으로 베이지안"은 단지 베이지안입니다. (3) 콕스 (2006), 통계적 추론의 원칙 ,가
이셔

2
파라 메트릭 통계적 추론 모드 & Barnett (1999), 비교 통계적 추론 . (4) 잦은 접근 방식은 주어진 매개 변수 값에서 데이터의 확률 만 고려합니다. 관찰 된 데이터에 대한 베이지안 접근 조건은 후부를 구한다.
Scortchi-Monica Monica 복원
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.