부트 스트랩 잔차 : 제대로하고 있습니까?

우선 : 내가 이해 한 바에 따르면 부트 스트랩 잔차는 다음과 같이 작동합니다.

1. 모델을 데이터에 적합
2. 잔차 계산
3. 잔차를 다시 샘플링하여 1에 더합니다.
4. 모델을 3의 새 데이터 세트에 맞 춥니 다.
5. 반복 n횟수는 있지만 항상 재 표본 된 잔차를 1의 적합치에 추가하십시오.

지금까지는 맞습니까?

내가하고 싶은 것은 약간 다른 것입니다.

일부 환경 변수를 추정하는 알고리즘의 매개 변수 및 예측 불확실성을 추정하고 싶습니다.

내가 가진 것은 합성 데이터 세트를 생성하기 위해 x_true노이즈를 추가 하는 변수의 오류없는 시계열 (시뮬레이션에서)입니다 . 그런 다음 알고리즘을 목적 함수로 제곱합 (! not !)으로 피팅하여 최적의 매개 변수를 찾습니다 . 내 알고리즘의 성능을 확인하고 매개 변수 분포 샘플을 작성하기 위해 리샘플링 하고에 추가하고 모델을 다시 맞추고 헹구고 반복하고 싶습니다. 이것이 매개 변수 불확실성을 평가하기위한 올바른 접근법입니까? 부트 스트랩 된 데이터 세트에 대한 적합치를 예측 불확실성으로 해석 할 수 있습니까, 아니면 위에 게시 한 절차를 따라야합니까?x_noisexsum((x_estimate - x_true)^2)x_estimate - xx_noisex_true

/ 편집 : 내 모델이 실제로 무엇인지 명확하게 밝히지 않았다고 생각합니다. 본질적으로 노이즈 제거 방법과 같은 것으로 생각하십시오. 예측 모델이 아니며 시끄러운 시계열 환경 데이터의 기본 신호를 추출하려고하는 알고리즘입니다.

/ edit ^ 2 : MATLAB-Users를 위해, 나는 의미하는 것의 빠르고 더러운 선형 회귀 예제를 작성했습니다.

이것이 내가 잔존물을 "보통"부트 스트랩한다고 믿는 것입니다 (잘못되면 정정하십시오) : http://pastebin.com/C0CJp3d1

이것이 내가하고 싶은 일입니다 : http://pastebin.com/mbapsz4c

다음은 일반적인 (반 파라 메트릭 부트 스트랩) 알고리즘입니다.

$\text{B}$ = 부트 스트랩 수

모델 :
$y = x\beta + \epsilon$

하자 잔차 수$\hat{\epsilon}$

1. 회귀를 실행하고 추정량 및 잔차 .$\hat\beta$$\hat\epsilon$
2. 잔차를 교체하여 다시 샘플링하고 부트 스트랩 된 잔차 벡터 얻습니다 .$\hat\epsilon_\text{B}$
3. : 일본어 회귀 (1)에서 추정기 (들)를 승산하고, 부트 스트래핑 된 잔류 가산함으로써 부트 스트래핑 된 종속 변수를 구하는 .$y_\text{B} = x\hat\beta + \hat\epsilon_\text{B}$
4. 부트 스트래핑 종속 변수와 원래의 회귀 변수로 회귀 분석을 실행, 이것이 부트 스트랩 추정, 즉 회귀 제공 에 ,이 제공 .$y_B$$x$$\hat\beta_\text{B}$
5. (2)로 돌아가서 절차를 반복하십시오 .$\text{B}$

이해가 올바른지 잘 모르겠습니다. 그러나 여기에 코드를 수정하는 제안 ( "잔류의 일반 부트 스트랩", 28-34 행)은 다음과 같습니다.

for i = 2:n_boot  
x_res_boot = x_residuals( randi(n_data,n_data,1) );  
x_boot = x_res_boot+ x_best_fit;  
p_est(:, i) = polyfit( t, x_boot, 1 );  
x_best_fit2 = polyval( p_est(:, i), t );  
x_residuals = x_best_fit2 - x_boot;
x_best_fit=x_best_fit2;
end  

아이디어는 잔차를 사용할 때마다 첫 번째 실행이 아니라 이전 부트 스트랩에서 나왔다는 것입니다. 나에 관해서는 다른 모든 것이 유효한 것 같습니다.

이것은 MATLAB에서 확인 된 수정 된 버전입니다. 두 가지 오류가 수정되었습니다.

예측 정확도 / 평균 제곱 오차 측면에서 알고리즘의 성능을 확인하려면 Efron-Gong "낙관론"부트 스트랩이 필요할 수 있습니다. 이것은 R rms패키지 에서 쉽게 사용할 수 있도록 구현되었습니다 . 그 기능을 참조하십시오 ols, validate.ols, calibrate.