컴퓨터 기반 실험 / 시뮬레이션에서 잔차의 독립성?

나는 palaeo sciences에 사용 된 특정 유형의 모델을 맞추는 다른 방법에 대한 컴퓨터 기반 평가를 수행했습니다. 나는 큰 훈련 세트를 가지고 있었기 때문에 무작위로 (층화 된 무작위 샘플링) 테스트 세트를 따로 설정했습니다. 나는 훈련 세트 샘플에 $m$ 개의 다른 방법을 적용하고 $m$ 결과 모델을 사용하여 테스트 세트 샘플에 대한 응답을 예측하고 테스트 세트의 샘플에 대한 RMSEP를 계산했습니다. 이것은 단일 실행 입니다.

그런 다음 새로운 테스트 세트를 무작위로 샘플링하여 다른 훈련 세트를 선택할 때마다이 과정을 여러 번 반복했습니다.

이 작업을 수행 한 후 방법 중 하나가 RMSEP 성능이 더 나은지 또는 더 나쁜지 조사하고 싶습니다 . 또한 쌍별 방법을 여러 번 비교하고 싶습니다.$m$

내 접근 방식은 Run에 대한 단일 임의 효과와 함께 선형 혼합 효과 (LME) 모델을 맞추는 것 입니다. 내가 사용 lmer()으로부터 lme4의 으로부터 내 모델과 기능에 맞게 패키지 multcomp의 다중 비교를 수행하는 패키지. 내 모델은 본질적으로

lmer(RMSEP ~ method + (1 | Run), data = FOO)

어디 method테스트 세트에 대한 모델 예측을 생성하는 데 사용 된 방법을 나타내는 요소 이며 내 "실험"의 Run각 특정 실행 에 대한 지표입니다 .

내 질문은 LME의 잔차에 관한 것입니다. Run에 대한 단일 무작위 효과를 감안할 때 해당 실행 에 대한 RMSEP 값은 어느 정도 상관 관계가 있지만 무작위 효과가 제공하는 유도 된 상관 관계에 따라 실행간에 상관 관계가 없다고 가정합니다.

달리기 간의 독립성에 대한 가정이 유효합니까? LME 모델에서이를 설명 할 방법이 없거나 다른 유형의 정적 분석을 사용하여 내 질문에 대답해야합니까?

본질적으로 각 m 방법 에 대해 어떤 형태의 교차 유효성 검사를 수행 한 다음 어떤 방법이 더 잘 수행되는지 확인하고 싶습니다. 달리기 사이의 결과는 동일한 데이터를 기반으로하고 기차 / 테스트 세트간에 겹치기 때문에 확실히 달라집니다. 문제는 방법을 비교할 때 이것이 중요한지 여부입니다.

한 번만 실행하면 한 방법이 다른 방법보다 낫다는 것을 알 수 있습니다. 그런 다음 스스로에게 물어보십시오. 이것은 단순히 테스트 세트의 특정 선택 때문입니까? 많은 기차 / 테스트 세트에 대해 테스트를 반복하는 이유입니다. 따라서 방법이 다른 방법보다 낫다는 것을 확인하기 위해 여러 번 실행하고 각 실행에서 다른 방법과 비교합니다 (오류 / 순위 / 등을 보는 다른 옵션이 있습니다). 이제 대부분의 실행에서 분석법이 더 우수하다는 것을 알게되면 결과는 그 결과입니다. p- 값을 제공하는 것이 도움이 될지 확실하지 않습니다. 또는 p- 값을 제공하려면 여기에서 배경 모델이 무엇인지 스스로에게 물어보십시오.

당신이 한 일을 실제로 이해하지 못하지만

실행을 위해 해당 실행의 RMSEP 값이 어느 정도 상관되어 있다고 가정합니다.

예, 해당 테스트에서 테스트 세트가 얼마나 어려운지 반영합니다.

달리기 사이에는 상관이 없습니다

테스트 세트를 샘플링 한 방식을 고려할 때 일부는 다른 것보다 더 겹칩니다 (대부분 독립적 인 복제는 아닙니다)

런이 독립적이되도록 오버랩을 기반으로 종속성을 모델링하거나 평가를 설계해야합니다. 교차 검증에 대한 통계 자료를 읽을 것입니다 ;-)