답변:
간단한 방법은 범주 형 변수 를 추가 하여 다른 실험 조건을 식별하고 와의 "상호 작용"과 함께 모델에 포함시키는 것입니다 . 즉, 입니다. 이것은 한 번에 다섯 가지 회귀를 모두 수행합니다. 그것의 는 당신이 원하는 것입니다.
개별 값의 평균을 계산하는 것이 왜 틀릴 수 있는지 확인하기 위해 일부 실험 조건에서 기울기 방향이 반전되었다고 가정합니다. 평균적으로 1과 -1이 0에 가까워지면 적합치의 품질이 반영되지 않습니다. 평균 (또는 고정 변형)의 평균 이 옳지 않은 이유를 확인하려면 대부분의 실험 조건에서 관측치가 두 개뿐이므로 모두 이되지만 한 실험에서 . 거의 1 의 평균 는 상황을 올바르게 반영하지 않습니다.
Pearson 상관 계수의 경우 일반적으로 Fisher z 변환을 사용하여 r 값 을 변환하는 것이 적절합니다 . 그런 다음 z 값 의 평균을 구하고 평균을 다시 r 값으로 변환하십시오 .
Spearman 계수에도 좋을 것 같습니다.
평균 상관 관계는 의미가 있습니다. 또한 상관 관계 분포를 고려하십시오 (예 : 히스토그램 플롯).
그러나 내가 알기로, 각 개인에 대해 항목 순위와 해당 개인에 대한 해당 항목의 예측 순위가 있으며 개인의 순위와 예측 된 항목 간의 상관 관계를보고 있습니다.
이 경우, 상관 관계가 알고리즘이 얼마나 잘 예측하고 있는지를 측정하는 최선의 방법이 아닐 수 있습니다. 예를 들어, 알고리즘이 처음 100 개의 항목을 완벽하게 가져오고 다음 200 개의 항목이 완전히 엉망이된다고 상상해보십시오. 최상위 순위의 품질에만 관심이있을 수 있습니다. 이 경우 개인의 순위와 예측 된 순위 간의 절대 차이의 합계를 볼 수 있지만 개인의 최상위 항목 중 하나만 볼 수 있습니다.
알고리즘 성능을 위해 평균 제곱 예측 오류 (MSPE)를 사용하는 것은 어떻습니까? 알고리즘 세트간에 예측 성능을 비교하려는 경우 수행하려는 작업에 대한 표준 접근 방식입니다.