다른 분석보다 먼저 수행 된 권한 분석에 대한 베이지안의 근거는 무엇입니까?

배경과 경험적 예

두 가지 연구가 있습니다. 실험 (연구 1)을 실행 한 다음 실험 (연구 2)을 수행했습니다. 연구 1에서 두 변수 사이의 상호 작용을 발견했습니다. 연구 2에서,이 상호 작용은 같은 방향이지만 유의하지는 않았습니다. 연구 1의 모델에 대한 요약은 다음과 같습니다.

Coefficients:
                        Estimate Std. Error t value Pr(>|t|)    
(Intercept)              5.75882    0.26368  21.840  < 2e-16 ***
condSuppression         -1.69598    0.34549  -4.909 1.94e-06 ***
prej                    -0.01981    0.08474  -0.234  0.81542    
condSuppression:prej     0.36342    0.11513   3.157  0.00185 ** 

그리고 Study 2의 모델 :

Coefficients:
                     Estimate Std. Error t value Pr(>|t|)    
(Intercept)           5.24493    0.24459  21.444   <2e-16 ***
prej                  0.13817    0.07984   1.731   0.0851 .  
condSuppression      -0.59510    0.34168  -1.742   0.0831 .  
prej:condSuppression  0.13588    0.11889   1.143   0.2545  

"복제에 실패했기 때문에 아무 것도 없다고 생각합니다."라고 말하는 대신 두 데이터 세트를 결합하고 데이터의 연구에 대한 더미 변수를 만든 다음 상호 작용을 실행했습니다. 연구 더미 변수를 제어 한 후 다시. 이 상호 작용은 그것을 제어 한 후에도 중요했으며 조건과 싫어요 / prej 간의이 양방향 상호 작용은 연구 더미 변수와의 3 방향 상호 작용에 의해 자격이 없다는 것을 알았습니다.

베이지안 분석 소개

나는 이것이 베이지안 분석을 사용할 수있는 좋은 기회라고 제안했다. 연구 2에서, 연구 1의 정보는 사전 정보로 사용할 수있다! 이런 식으로, 연구 2는 연구 1의 잦은 평범한 최소 제곱 결과로부터 베이지안 업데이트를 수행하고 있습니다. 따라서, 이제 계수에 대한 정보적인 우선 순위를 사용하여 연구 2 모델로 돌아가서 다시 분석합니다. 모든 계수에는 평균이 스터디 1의 추정치이고 표준 편차가 스터디 1의 표준 오차 인 경우의 정규.

결과는 다음과 같습니다.

Estimates:
                       mean    sd      2.5%    25%     50%     75%     97.5%
(Intercept)             5.63    0.17    5.30    5.52    5.63    5.74    5.96
condSuppression        -1.20    0.20   -1.60   -1.34   -1.21   -1.07   -0.80
prej                    0.02    0.05   -0.08   -0.01    0.02    0.05    0.11
condSuppression:prej    0.34    0.06    0.21    0.30    0.34    0.38    0.46
sigma                   1.14    0.06    1.03    1.10    1.13    1.17    1.26
mean_PPD                5.49    0.11    5.27    5.41    5.49    5.56    5.72
log-posterior        -316.40    1.63 -320.25 -317.25 -316.03 -315.23 -314.29

연구 2 분석의 상호 작용에 대한 확실한 증거가 생겼습니다. 이것은 단순히 서로의 위에 데이터를 쌓고 더미 변수로 연구 번호로 모델을 실행할 때 내가 한 일에 동의합니다.

반증 : 먼저 2 번 공부를하면 어떻게 되나요?

연구 2를 먼저 실행 한 다음 연구 1의 데이터를 사용하여 연구 2에 대한 신념을 업데이트하면 어떻게 될까요? 위와 동일한 작업을 수행했지만 그 반대의 경우도있었습니다. 연구 1 데이터를 분석하기위한 사전 평균 및 표준 편차로 연구 2의 잦은 일반 최소 제곱 계수 추정치 및 표준 편차를 사용하여 연구 1 데이터를 다시 분석했습니다. 요약 결과는 다음과 같습니다.

Estimates:
                          mean    sd      2.5%    25%     50%     75%     97.5%
(Intercept)                5.35    0.17    5.01    5.23    5.35    5.46    5.69
condSuppression           -1.09    0.20   -1.47   -1.22   -1.09   -0.96   -0.69
prej                       0.11    0.05    0.01    0.08    0.11    0.14    0.21
condSuppression:prej       0.17    0.06    0.05    0.13    0.17    0.21    0.28
sigma                      1.10    0.06    0.99    1.06    1.09    1.13    1.21
mean_PPD                   5.33    0.11    5.11    5.25    5.33    5.40    5.54
log-posterior           -303.89    1.61 -307.96 -304.67 -303.53 -302.74 -301.83

다시, 우리는 상호 작용에 대한 증거를 보지만, 반드시 그런 것은 아닙니다. 두 베이지안 분석 모두에 대한 포인트 추정치가 서로 95 % 신뢰할 수있는 간격을 유지하지는 않습니다. 베이지안 분석에서 두 개의 신뢰할 수있는 간격은 겹치는 것보다 겹치지 않습니다.

시간 우선 순위에 대한 베이지안 칭의는 무엇입니까?

따라서 제 질문은 : 베이지안이 데이터를 수집하고 분석하는 방법의 연대기를 존중하는 데 어떤 정당화가 있습니까? 나는 연구 1에서 결과를 얻고 연구 2에서 유익한 선행으로 사용하여 연구 2를 사용하여 나의 신념을 "업데이트"합니다. 그러나 우리가 얻는 결과가 진정한 모집단 효과를 가진 분포에서 무작위로 가져 온다고 가정하면 왜 연구 1의 결과에 특권을 부여합니까? 연구 1의 결과로서 연구 2 결과를 취하는 대신 연구 2의 결과로서 연구 1 결과를 이용하는 것에 대한 정당성은 무엇인가? 분석을 수집하고 계산 한 순서가 실제로 중요합니까? 나에게 꼭 필요한 것 같지 않습니다. 이것에 대한 베이지안의 정당성은 무엇입니까? 왜 연구 1을 먼저 실행했기 때문에 포인트 추정치가 .17보다 .34에 가깝다고 생각해야합니까?

Kodiologist의 답변에 응답

Kodiologist는 다음과 같이 말했습니다.

두 번째는 베이지안 컨벤션에서 출발 한 중요한 출발점입니다. 사전을 먼저 설정 한 다음 베이지안 방식으로 두 모델을 모두 맞추십시오. 바이에른이 아닌 방식으로 한 모델을 적합시킨 다음 다른 모델에 대해 이전 모델에 사용했습니다. 기존의 접근 방식을 사용했다면 여기서 본 순서에 의존하지 않습니다.

이 문제를 해결하기 위해 모든 회귀 계수가 이전 인 연구 1 및 연구 2의 모형에 적합합니다 . 변수는 0 또는 1을 부호화 실험 조건에 대한 더미 변수였다 변수뿐만 아니라, 결과는 모두 따라서, 나는 그것이 이전의 공정한 선택 생각 1에서 7까지 7 점 척도로 측정되었다. 데이터의 스케일링 방식만으로도 이전에 제안한 것보다 훨씬 큰 계수를 보는 것은 매우 드,니다.$\text{N}(0, 5)$condprej

이러한 추정치의 평균 추정치 및 표준 편차는 OLS 회귀 분석과 거의 같습니다. 연구 1 :

Estimates:
                       mean     sd       2.5%     25%      50%      75%      97.5% 
(Intercept)             5.756    0.270    5.236    5.573    5.751    5.940    6.289
condSuppression        -1.694    0.357   -2.403   -1.925   -1.688   -1.452   -0.986
prej                   -0.019    0.087   -0.191   -0.079   -0.017    0.040    0.150
condSuppression:prej    0.363    0.119    0.132    0.282    0.360    0.442    0.601
sigma                   1.091    0.057    0.987    1.054    1.088    1.126    1.213
mean_PPD                5.332    0.108    5.121    5.259    5.332    5.406    5.542
log-posterior        -304.764    1.589 -308.532 -305.551 -304.463 -303.595 -302.625

그리고 연구 2 :

Estimates:
                       mean     sd       2.5%     25%      50%      75%      97.5% 
(Intercept)             5.249    0.243    4.783    5.082    5.246    5.417    5.715
condSuppression        -0.599    0.342   -1.272   -0.823   -0.599   -0.374    0.098
prej                    0.137    0.079   -0.021    0.084    0.138    0.192    0.287
condSuppression:prej    0.135    0.120   -0.099    0.055    0.136    0.214    0.366
sigma                   1.132    0.056    1.034    1.092    1.128    1.169    1.253
mean_PPD                5.470    0.114    5.248    5.392    5.471    5.548    5.687
log-posterior        -316.699    1.583 -320.626 -317.454 -316.342 -315.561 -314.651

이러한 평균과 표준 편차는 OLS 추정치와 거의 동일하기 때문에 위의 차수 효과가 여전히 발생합니다. 연구 2를 분석 할 때 연구 1의 사후 요약 통계를 사전에 플러그인하면 연구 2를 먼저 분석 한 후 사후 요약 통계를 연구 1을 분석하기위한 사전으로 사용할 때와 다른 최종 사후를 관찰합니다.

잦은 추정치 대신 이전과 같이 회귀 계수에 베이지안 평균과 표준 편차를 사용하더라도 여전히 동일한 차수 효과를 관찰 할 수 있습니다. 따라서 문제는 여전히 남아 있습니다. 처음에 나온 연구를 특권으로하는 베이지안의 정당성은 무엇입니까?

베이 즈 정리 는 크기를 재조정 한 후와 posterior같다고 말합니다 prior * likelihood. 각 관측 값에는를 likelihood업데이트하고 prior새로 만드는 데 사용할 수있는가 있습니다 posterior.

posterior_1 = prior * likelihood_1
posterior_2 = posterior_1 * likelihood_2
...
posterior_n = posterior_{n-1} * likelihood_n

그래서

posterior_n = prior * likelihood_1 * ... * likelihood_n

곱셈의 commutativity는 어떤 순서로든 업데이트를 할 수 있음을 의미합니다 . 따라서 단일 선행으로 시작하는 경우 스터디 1 및 스터디 2의 관측 값을 임의의 순서로 혼합하고 베이 즈 공식을 적용하여 동일한 최종 결과에 도달 할 수 posterior있습니다.

먼저 다음을 지적해야합니다.

1. $p$
2. 당신은 그 샘플에서 찾은 결과를 바로 이전으로 번역함으로써 연구 1의 결과에 대해 많은 믿음을 갖고 있습니다. 이전은 과거의 결과를 반영한 ​​것이 아니라는 점을 기억하십시오. 이전 발견 이전의 신념을 포함하여 기존의 신념 전체를 인코딩해야합니다. 연구 1에 표본 오차와 모델 불확실성과 같은 다루기 어려운 불확실성이 다른 종류가 포함되어 있음을 인정하는 경우,보다 보수적 인 사전을 사용해야합니다.

두 번째는 베이지안 컨벤션에서 출발 한 중요한 출발점입니다. 사전을 먼저 설정 한 다음 베이지안 방식으로 두 모델을 모두 맞추십시오. 바이에른이 아닌 방식으로 한 모델을 적합시킨 다음 다른 모델에 대해 이전 모델에 사용했습니다. 기존의 접근 방식을 사용했다면 여기서 본 순서에 의존하지 않습니다.

상용주의에서 베이지안 방법으로 이동하는 것이 위험한 이유와 요약 통계를 사용하여 문제를 일으킬 수있는 이유를 보여주기 위해 다른 양식화 된 문제로 일련의 그래프를 만들 수 있다고 생각했습니다.

다차원적인 예제를 사용하는 대신 크기가 세 개의 관측치와 세 개의 관측치 인 두 개의 스터디로 한 차원으로 줄이려고합니다.

중앙 한계 정리가 적용되지 않고 충분한 통계가 부족하고 극단적 인 관측이 일반적이며 Chebychev의 불평등이 유지되지 않고 정상적으로 작동 가능한 모든 솔루션이 분리되어 있기 때문에 사용하고 있습니다. 문제에 너무 많은 노력을 기울이지 않고도 훌륭한 예를 만들 수 있기 때문에 사용하고 있습니다.

$\{-5,-1,4\}$$\{-1.5,-1,-.5\}$$\pm{669}\sigma$$\pm{3}\sigma$

두 개의 개별 연구의 후부 밀도는

시각적으로 명백한 것처럼 샘플 1에서 요약 통계를 가져 오는 것은 매우 오해의 소지가 있습니다. 멋지고 단조롭고 잘 정의되고 이름이 지정된 밀도를 보는 데 익숙하다면 Bayesian 도구를 사용하여 신속하게 문 밖으로 나갈 수 있습니다. 이와 같은 명명 된 분포는 없지만 시각적으로 보지 않았다면 요약 통계로 설명 할 수 있습니다. 요약 통계를 사용하면 새로운 통계를 작성하는 데 문제가 될 수 있습니다.

두 표본에 대한 빈번한 신뢰 분포는 동일합니다. 스케일이 알려져 있으므로 알 수없는 매개 변수는 중앙값뿐입니다. 샘플 크기가 3 인 경우 중앙값은 MVUE입니다. Cauchy 분포에는 평균 또는 분산이 없지만 중앙값의 샘플링 분포는 그렇지 않습니다. 최대 우도 추정값보다 효율적이지 않지만 계산에 아무런 노력이 필요하지 않습니다. 큰 표본 크기의 경우 Rothenberg의 방법은 MVUE이며 중간 표본 크기 솔루션도 있습니다.

Frequentist 배포의 경우

Pr ( θ | x $\Pr(x|\theta)$$\Pr(\theta|x)$

빈번한 분포는 표본 크기 3 드로우의 무한 반복을 가정하고 표본 중앙값의 분포에 대한 제한 분포를 보여줍니다. 베이지안 분포는 로 주어 지므로 관측 된 표본에만 의존하며이 표본이 가질 수있는 좋은 또는 나쁜 특성은 무시합니다. 실제로, 샘플은 베이지안 방법에서는 드문 경우이므로 샘플에 대한 강력한 추론을 형성하기 위해 일시 ​​중지 될 수 있습니다. 이것이 후방이 너무 넓어서 샘플이 비정상적인 이유입니다. 빈번한 방법은 특이한 샘플을 제어하지만 베이지안은 그렇지 않습니다. 이것은 스케일 파라미터의 추가 된 확실성이 빈번한 솔루션을 좁히지 만 베이 시안을 넓히는 잘못된 경우를 만듭니다.$x$

관절 후부는 후부의 곱과 곱셈의 연관성으로 인해 어떤 순서를 사용하든 상관 없습니다. 시각적으로 관절 후부는 입니다.

후부에 간단한 분포를 적용하고 요약 통계를 사용했다면 다른 대답을 얻을 수있을 것입니다. 사실, 그것은 매우 다른 대답 일 수 있습니다. 70 % 신뢰할 수있는 영역이 연구 1에 사용 된 경우 신뢰할 수있는 영역의 연결이 끊어졌을 수 있습니다. 연결 끊기 간격의 존재는 때때로 베이지안 방법에서 발생합니다. 연구 1에 대한 최고 밀도 간격 및 최저 밀도 간격의 그래픽은

HDR은 신뢰할 수있는 세트를 벗어난 영역의 은색으로 인해 깨졌습니다.

이러한 문제 중 많은 문제가 회귀 분석을 통해 대규모 세트에서 일반적으로 사라지는 반면, 베이지안 및 빈번한 방법이 누락 된 변수를 회귀 분석에서 다르게 처리하는 방법에 대한 자연적 차이의 예를 보여 드리겠습니다.

하나의 누락 된 변수 인 날씨로 잘 구성된 회귀를 고려하십시오. 비오는 날과 맑은 날에는 고객이 다르게 행동한다고 ​​가정 해 봅시다. 그 차이가 충분하면 두 개의 베이지안 후부 모드가 쉽게있을 수 있습니다. 하나의 모드는 햇볕이 잘 드는 동작을 반영하고 다른 하나는 비가 오는 것을 반영합니다. 왜 두 가지 모드가 있는지 모릅니다. 통계 실행이거나 누락 된 데이터 포인트 일 수 있지만 표본이 비정상적이거나 모형에 생략 된 변수가 있습니다.

Frequentist 솔루션은 두 상태를 평균화하고 고객 행동이 실제로 발생하지 않지만 두 유형의 행동을 평균화하는 지역에 회귀선을 넣을 수 있습니다. 또한 하향 바이어스됩니다. 잔차 분석에서 문제가 발생할 수 있습니다. 특히 실제 분산에 큰 차이가있는 경우에는 그렇지 않습니다. 때때로 Cross-validated에 나타나는 잔차의 이상한 그림 중 하나 일 수 있습니다.

동일한 데이터에서 두 개의 다른 후부가 있다는 사실은 둘을 직접 곱하지 않았 음을 의미합니다. 베이지안 후부와 일대일로 매핑하지 않은 Frequentist 솔루션의 후부를 만들거나 요약 통계에서 사전을 만들었고 가능성 함수가 완벽하게 대칭이 아니기 때문에 일반적입니다.