베이지안 접근 방식이 더 단순하고 더 실용적이거나 더 편리한 상황 목록

베이지안과 잦은 사람들 사이의 통계 내에서 많은 논쟁이있었습니다. 나는 일반적으로 이것들이 다소 터무니없는 것을 발견합니다 (그러나 그것이 죽었다고 생각하지만). 다른 한편으로, 나는 종종 빈번한 분석을 수행하는 것이 더 편리하고 때로는 베이지안 분석을 실행하는 것이 더 쉽다고 말하면서 문제에 대해 실질적으로 실용적인 견해를 가진 여러 사람들을 만났습니다. 나는이 관점이 실용적이고 상쾌하다는 것을 안다.

그러한 경우의 목록을 갖는 것이 도움이 될 것입니다. 통계 분석이 너무 많고 상용주의 분석을 수행하는 것이 일반적으로 더 실용적이라고 가정하기 때문에 (WinBUGS에서 t- 테스트를 코딩하는 것이 R에서 상용주의 기반 버전을 수행하는 데 필요한 단일 함수 호출보다 훨씬 더 복잡합니다. 예를 들어, 베이지안 접근 방식이 빈번한 접근 방식보다 더 단순하고, 실용적이며 및 / 또는 더 편리한 상황 목록을 갖는 것이 좋을 것입니다.

(내가 관심이없는 두 가지 답변은 '항상'과 '절대'입니다. 사람들이 강한 의견을 가지고 있음을 이해하지만 여기에 방송하지 마십시오.이 글타래가 소소한 논쟁의 장소가되면 아마도 삭제하겠습니다. 여기서 목표는 갈고 싶은 도끼가 아니라 업무를 수행하는 분석가에게 유용한 리소스를 개발하는 것입니다.)

사람들은 하나 이상의 사례를 제안 할 수 있지만 각 상황을 개별적으로 평가 (투표 / 토의) 할 수 있도록 별도의 답변을 사용하십시오. 답변 나열한다 : (1) 어떤 상황의 본질이며, (2) 왜 베이지안 접근 방식은이 경우 간단합니다. 분석이 어떻게 수행되고 베이지안 버전이 더 실용적인 이유를 보여주는 일부 코드 (예 : WinBUGS)는 이상적이지만 너무 번거로울 것으로 예상합니다. 쉽게 할 수 있다면 고맙겠지만 그 이유 를 포함시켜주세요 .

마지막으로, 나는 한 접근법이 다른 접근법보다 '더 단순'하다는 의미를 정의하지 않았다는 것을 알고 있습니다. 진실은, 한 접근법이 다른 접근법보다 더 실용적이라는 것이 무엇을 의미하는지는 확실하지 않습니다. 나는 다른 제안들에 대해 개방적입니다. 당신이 논의한 상황에서 베이지안 분석이 왜 더 편리한 지 설명 할 때 당신의 해석을 지정하십시오.

(1) 우도 함수를 다루기 어려운 상황 (적어도 수치 적으로)에서, 근사 베이지안 계산 (ABC)에 의한 베이지안 접근법의 사용은 복합 우도 ( 1 , 2 ) 와 같은 일부 빈번한 경쟁자보다 우위에 있습니다. 또는 구현하기가 쉬워지기 때문에 경험적 가능성 이있을 수 있습니다 (반드시 정확하지는 않음). 이로 인해 생물학 , 유전학 및 생태학 과 같이 다루기 힘든 가능성을 발견하는 것이 일반적인 영역에서 ABC의 사용이 대중화되었습니다 . 여기서 우리는 예의 바다를 언급 할 수 있습니다.

다루기 힘든 가능성의 몇 가지 예는 다음과 같습니다.

• 중첩 된 프로세스. 콕스와 스미스 (1954) 는 중첩 된 점 프로세스 로 구성된 신경 생리학의 맥락에서 모델을 제안했다 . 예를 들어, 특정 기간 동안 여러 뉴런에 의해 방출 된 뇌의 일부에서 관찰 된 전기 펄스 사이의 시간을 고려하십시오. 이 표본에는 해당 가능성을 구성하기 어렵게하는 비 iid 관측 값이 포함되어있어 해당 매개 변수의 추정이 복잡합니다. 본 논문 에서는 최근에 (일부) 상용 솔루션이 제안되었다 . ABC 접근법의 구현도 최근에 연구되었으며 여기 에서 찾을 수 있습니다 .$N$

• 인구 유전학 은 다루기 어려운 가능성으로 이어지는 모델의 또 다른 예입니다. 이 경우 다루기 힘든 특성이 다릅니다. 가능성은 다차원 적분 (때때로 차원 ) 으로 표현되며 단일 지점에서 평가하는 데 수십 년이 걸립니다. 이 지역은 아마도 ABC의 본부 일 것입니다.$1000+$

베이지안 소프트웨어가 향상됨에 따라 "적용하기 쉬운"문제가 해결 될 것입니다. 베이지안 소프트웨어는 더 쉽고 쉬운 형태로 패키지되고 있습니다. 최근 사례는 베이지안 추정이 t 검정보다 우선합니다 . 다음 웹 사이트는 기사 및 소프트웨어에 대한 링크를 제공합니다. http://www.indiana.edu/~kruschke/BEST/

기사 소개에서 발췌 :

... 어떤 사람들은 NHST와 베이지안 방법의 결론이 두 그룹의 비교와 같은 간단한 상황에서 동의하는 경향이 있다는 인상을 가지고 있습니다. 베이지안 전체를 그렇게 단순한 문제에 적용하려고 시도 할 필요는 없다”(Brooks, 2003, p. 2694). 반대로이 기사에서는 베이지안 모수 추정이 NHST t 검정보다 훨씬 더 풍부한 정보를 제공하며 결론은 NHST t 검정과 다를 수 있음을 보여줍니다. 베이지안 모수 추정에 기초한 결정은 두 가지 방법에 의해 도출 된 결정이 동의하든 아니든 NHST에 기초한 결정보다 더 잘 확립된다.

(2) 스트레스 강도 모델. 의 사용은 스트레스 강도 모델은 신뢰성 인기가있다. 기본 아이디어는 매개 변수 를 추정하는 것으로 구성됩니다. 여기서 와 는 임의 변수입니다. 흥미롭게도,이 매개 변수의 프로파일 가능성 계산은 지수 또는 정상 사례와 같은 일부 장난감 예를 제외하고는 일반적으로 (수적으로도) 매우 어렵습니다. 이러한 이유로, 임시 빈도주의 솔루션은 경험적 가능성 등을 고려해야합니다 ( 참조$\theta=P(X<Y)$$X$$Y$) 또는 일반적인 프레임 워크에서 구성이 어려운 신뢰 구간. 반면에, 베이지안 접근 방식의 사용은 당신의 분포의 매개 변수의 사후 분포의 샘플이 있으면 주어진 매우 간단 와 , 당신은 쉽게의 후방의 샘플로 변환 할 수 있습니다 .$X$$Y$$\theta$

를 및 각각 주어진 밀도와 분포를 갖는 임의의 변수라고 하자 . 마찬가지로 는 및 각각 주어진 밀도와 분포를 갖는 임의의 변수가 . 그때$X$$f(x;\xi_1)$$F(x;\xi_1)$$Y$$g(y;\xi_2)$$G(y;\xi_2)$

이 매개 변수는 매개 변수 의 함수입니다 . 지수 형 및 일반형의 경우, 이것은 닫힌 형태로 표현 될 수 있지만 ( 참조 ), 일반적인 경우는 아닙니다 ( 이 예는 이 백서 를 참조하십시오 ). 이것은 의 프로파일 가능성 과 결과적으로이 파라미터에 대한 고전적인 간격 추론 의 계산을 복잡하게합니다 . 주요 문제는 다음과 같이 요약 할 수 있습니다. "관심 매개 변수는 모형 매개 변수의 알려지지 않은 / 복잡한 기능이므로 관심 매개 변수를 포함하는 매개 변수화를 찾을 수 없습니다".$(\xi_1,\xi_2)$$\theta$

베이지안 관점에서 이것은 사후 분포의 표본이있는 경우 사후 표본을 얻기 위해 이러한 표본을 에 간단히 입력 할 수 있다는 점에서 문제가되지 않습니다. 의 이 매개 간격 추론을 제공.( ⋆ ) $(\xi_1,\xi_2)$$(\star)$$\theta$

나는 빈번한 통계 (실제로 계량 경제학)를 훈련 받았지만, 베이지안 접근에 대한 대립적 입장은 없었습니다. 제 관점은이 "서사시"전쟁의 철학적 근원이 시작부터 근본적으로 잘못 인도 되었기 때문입니다. 내 견해는 여기에 있습니다 ). 사실 나는 또한 가까운 미래에 베이지안 접근법에 대해 스스로를 훈련시킬 계획입니다.

왜? 수학적 통계적 노력으로 저를 매료시키는 잦은 통계의 측면들 중 하나는 샘플 크기의 무증상과 같은 문제입니다. 적어도 계량 경제학에서는 거의 없다진지한 논문은 오늘날 빈번한 계량 경제학에 일반적으로 적용되는 다양한 추정기 중 어느 것이 우리가 추정기에서 원하는 바람직한 "소 표본"속성을 가지고 있다고 주장합니다. 그들은 모두 용도를 정당화하기 위해 점근 적 특성에 의존합니다. 사용 된 대부분의 테스트는 무의식적으로 바람직한 특성을 갖지만 ... 더 이상 "z-land / t-land"에 있지 않습니다. 현대의 빈번한 추정 및 추론의 모든 정교하고 강력한 장치는 또한 매우 특이합니다. 때때로, 다양한 시뮬레이션에 의해 입증 된 바와 같이, 이러한 귀중한 점근 적 특성이 나타나고 추정기로부터 도출 된 추정치에 유리하게 영향을 미치기 위해 laaaaaaaaa ... aaaarge 샘플이 실제로 필요하다. 수만 건의 관찰을 의미합니다. 비록 노동이나 금융 시장과 같은 일부 경제 활동 분야에서는 이용 가능해지기 시작하지만 (적어도 제 평생 동안) 절대하지 않을 거시 경제학과 같은 다른 분야도 있습니다. 그리고 파생 된 결과를 진정으로 렌더링하기 때문에 상당히 귀찮습니다.불확실하다 (단지 확률 적이 지 않음).

작은 샘플에 대한 베이지안 계량 경제학은 점근 적 결과에 의존 하지 않습니다 . "그러나 그들은 주관적인 사전 에 의존합니다 !" 보통 응답은 ...이다에있는 내 간단하고 실용적인 대답은 다음과 같습니다. "현상은 과거와 이전 연구의 경우, 이전은 과거의 데이터로부터 추정 할 수있는 현상 인 경우 새 에 의해, 그 밖의 무엇을하지 경우 주관적인 논쟁으로 우리는 그것에 대해 토론을 시작할 수 있습니까?

그럼에도 불구하고 답변이 늦었습니다. 나는 우리가 대부분 베이지안 접근 방식을 사용하는 전기 통신 교육을 받았습니다.

다음은 간단한 예입니다. +5, +2.5, -2.5 및 -5 볼트의 네 가지 가능한 신호를 전송할 수 있다고 가정합니다. 이 세트의 신호 중 하나가 전송되지만 수신 측에 도달 할 때 신호는 가우시안 노이즈에 의해 손상됩니다. 실제로 신호도 감쇠되지만이 문제는 간단하게 해결합니다. 문제는 : 수신 측에 있다면,이 신호들 중 어느 것이 원래 전송되었는지 알려주는 검출기를 어떻게 설계합니까?

이 문제는 분명히 가설 검정 영역에 있습니다. 그러나 유의성 테스트는 네 가지 가능한 가설을 모두 기각 할 수 있으므로 이러한 신호 중 하나가 실제로 전송되었음을 알고 있으므로 p- 값을 사용할 수 없습니다. Neyman-Pearson 방법을 사용하여 검출기를 원칙적으로 설계 할 수 있지만이 방법은 이진 가설에 가장 적합합니다. 여러 가설의 경우 잘못된 경보 확률에 대한 여러 가지 제약 조건을 처리해야 할 때 너무 가혹합니다. 베이지안 가설 검정에 의해 간단한 대안이 제공됩니다. 이들 신호 중 임의의 것이 전송되도록 선택 될 수 있으므로, 이전의 신호는 동등하다. 그러한 경우에는이 방법이 최대한의 가능성이있는 신호를 선택하는 것으로 요약됩니다. 이 방법에는 멋진 기하학적 해석이 제공 될 수 있습니다. 수신 된 신호에 가장 가까운 신호를 선택하십시오. 이것은 또한 결정 공간을 다수의 결정 영역으로 분할하여, 수신 된 신호가 특정 영역 내에 속한다면, 그 결정 영역과 관련된 가설이 참이라고 결정된다. 따라서 검출기의 설계가 쉬워집니다.

소위 'Frequentist'통계 테스트는 일반적으로 특정 가정 하에서보다 복잡한 베이지안 접근법과 동일합니다. 이러한 가정이 적용되면 두 가지 방법 모두 동일한 결과를 나타내므로보다 쉽게 ​​상용 테스트를 적용하는 것이 안전합니다. 베이지안 접근 방식은 일반적으로 가정을 명시하기 때문에 일반적으로 더 안전하지만 Frequentist 테스트를 수행하는 것을 아는 경우 종종 베이지안 접근 방식만큼이나 일반적으로 적용하기가 더 쉽습니다.

(가장 일반적인 종류의 답변이라고 생각되는 것을 시도 할 것입니다.)

여러 변수와 하나의 응답이있는 상황에서 변수 중 하나가 응답과 어떻게 관련되어야하는지에 대해 잘 알고 있지만 다른 변수에 대해서는 그다지 많지 않다고 가정 해 봅시다.

이와 같은 상황에서 표준 다중 회귀 분석을 실행하는 경우 해당 사전 지식은 고려되지 않습니다. 메타 분석은 나중에 수행 될 수 있으며, 이는 현재 결과가 다른 결과와 일치하는지 여부를 밝히는 데 흥미로울 수 있으며 (그 시점의 사전 지식을 포함하여) 좀 더 정확한 추정치를 허용 할 수 있습니다. 그러나이 접근법은 해당 변수에 대해 알려진 것이 다른 변수의 추정치에 영향을 미치지 못하게합니다.

다른 옵션은 문제의 변수와의 관계를 수정하고 해당 제한이 주어지면 데이터의 가능성을 최대화하는 다른 변수의 매개 변수 값을 찾는 자신의 함수를 코딩하고 최적화하는 것이 가능하다는 것입니다. 여기서 문제는 첫 번째 옵션이 베타 추정치를 적절하게 제한하지는 않지만이 방법은이를 제한합니다.

상황을보다 적절하게 처리하는 알고리즘을 배심원 조작하는 것이 가능할 수 있습니다. 이와 같은 상황은 베이지안 분석의 이상적인 후보로 보입니다. 베이지안 접근법에 대해 교리 적으로 반대하지 않는 사람은 이런 경우에 기꺼이 시도해야합니다.

베이지안 방법이 매우 간단하고 빈번한 방법이 따르기 어려운 연구 분야는 최적 설계 입니다.

문제의 간단한 버전에서는 로지스틱 회귀의 단일 회귀 계수를 가능한 효율적으로 추정하려고합니다. 원하는대로 을 사용하여 단일 표본을 추출하고 대한 추정치를 업데이트 한 다음 대한 추정치까지 다음 등 을 선택하십시오 . 정확도 수준을 충족합니다. β x ( 2 )$x^{(1)}$$\beta$$x^{(2)}$$\beta$

$\beta$$x^{(i)}$$\hat \beta$$\beta$$\hat \beta$$x^{(i)}$$\beta$

$\beta$$\beta$$x$$x$

베이지안 관점에서이 문제는 매우 쉽습니다.

1. $\beta$
2. $x$
3. $x$
4. 원하는 정확도에 도달 할 때까지 2 단계와 3 단계를 반복하십시오.

$x$

베이지안 접근이 더 쉬운 가장 간단하고 일반적인 경우 중 하나는 매개 변수의 불확실성을 정량화하는 것입니다.

이 답변에서는 신뢰 구간과 신뢰할 수있는 구간의 해석을 언급하지 않습니다. 현재로서는 사용자가 어느 방법을 사용해도 괜찮다고 가정합시다.

그러나 베이지안 틀에서 그것은 간단합니다. 개별 관심 매개 변수에 대한 사소한 차이입니다. 후단에서 표본을 추출 할 수 있다고 가정하면 표본을 가져와 분산을 계산하면됩니다. 끝난!

빈번한 경우에, 이것은 보통 어떤 경우에는 간단하며, 그렇지 않은 경우에는 진짜 고통입니다. 많은 수의 샘플과 적은 수의 매개 변수가 있고 (그리고 실제로 얼마나 큰지 알고있는 사람이 있다면) MLE 이론을 사용하여 CI를 도출 할 수 있습니다. 그러나 특히 흥미로운 사례 (예 : 혼합 효과 모델)의 경우 이러한 기준이 항상 적용되는 것은 아닙니다. 때로는 부트 스트랩을 사용할 수 있지만 때로는 할 수 없습니다! 우리가 할 수없는 경우에, 실제로는 오차 추정치를 도출하기가 매우 어려울 수 있으며, 때로는 약간의 영리함이 필요합니다 (즉, Kaplan Meier 곡선에 대한 SE를 도출하기위한 Greenwood의 공식). "일부 영리함을 사용하는 것"이 ​​항상 신뢰할만한 조리법은 아닙니다!