RMSE의 신뢰 구간

모집단에서 데이터 점 샘플을 가져 왔습니다 . 이러한 각 포인트는 실제 값 (지상 사실에서 알려짐)과 예상 값을 갖습니다. 그런 다음 각 샘플링 포인트에 대한 오류를 계산 한 다음 샘플의 RMSE를 계산합니다. $n$

그런 다음 표본 크기 기준으로이 RMSE 주위의 신뢰 구간을 어떻게 유추 할 수 있습니까? $n$

RMSE가 아닌 평균을 사용하는 경우 표준 방정식을 사용할 수 있으므로이 작업을 수행하는 데 아무런 문제가 없습니다.

$m = \frac{Z \sigma}{\sqrt{n}}$

그러나 이것이 평균이 아닌 RMSE에 유효한지 여부는 알 수 없습니다. 내가 이것을 적응시킬 수있는 방법이 있습니까?

( 이 질문 을 보았지만 인구가 정상적으로 분포되는지 여부에 대한 문제는 없습니다.

confidence-interval

— Robintw
소스

"샘플의 RMSE를 계산할 때"구체적으로 무엇을 계산하고 있습니까? 그것은의 RMSE가 진정한 가치 의 추정 값, 또는 차이?

— whuber

차이의 RMSE를 계산합니다. 즉, 실제 값과 추정 값 사이의 제곱 차이 평균의 제곱근을 계산합니다.

— robintw

'진실 진실'을 알고 있다면 (실제로 무엇을 의미하는지 잘 모르겠지만) 왜 RMSE의 불확실성이 필요한가? 근거가없는 경우에 대해 일종의 추론을 구성하려고합니까? 이것은 교정 문제입니까?

— Glen_b-복지 모니카

@Glen_b : 그래, 우리가하려는 바로 그거야. 우리는 표본 전체에 대한 전체 인구에 대한 근거가 없습니다. 그런 다음 표본에 대한 RMSE를 계산하고이 표본을 사용하여 모집단의 RMSE를 유추 할 때 신뢰 구간을 가지려고합니다.

— robintw

R에서 RMSE

— Curious

답변:

here 과 비슷한 추론으로 특정 조건에서 귀하의 질문에 대한 답변을 드릴 수 있습니다.

보자 당신의에 대한 진정한 가치 일 데이터 포인트와 추정 값. 추정값과 참값의 차이가 $x_{i}$ $i^{th}$ $\hat{x}_{i}$

평균은 0입니다 (즉, 는 주위에 분포됩니다 ) $\hat{x}_{i}$ $x_{i}$
정규 분포를 따르십시오
모두 표준 편차 $\sigma$

한마디로 :

{\hat{x}}_{i} - x_{i} \sim N (0, σ^{2}),

$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$

그런 다음 대한 신뢰 구간을 원합니다 . $\sigma$

위의 가정이 는 ( )이 아닌 분포를 따릅니다. 자유. 이것은 의미

\frac{n {RMSE}^{2}}{σ^{2}} = \frac{n \frac{1}{n} \sum_{i} {(\hat{x_{i}} - x_{i})}^{2}}{σ^{2}}

$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$

χ_{n}^{2}

$\chi_{n}^{2}$

n

$n$

n - 1

$n-1$

\begin{aligned} P (χ_{\frac{α}{2}, n}^{2} \leq \frac{n {RMSE}^{2}}{σ^{2}} \leq χ_{1 - \frac{α}{2}, n}^{2}) = 1 - α \\ \Leftrightarrow P (\frac{n {RMSE}^{2}}{χ_{1 - \frac{α}{2}, n}^{2}} \leq σ^{2} \leq \frac{n {RMSE}^{2}}{χ_{\frac{α}{2}, n}^{2}}) = 1 - α \\ \Leftrightarrow P (\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE \leq σ \leq \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE) = 1 - α . \end{aligned}

$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$

따라서 는 신뢰 구간입니다.

[\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE, \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE]

$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$

상황을 시뮬레이션하는 파이썬 프로그램이 있습니다.

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

희망이 도움이됩니다.

가정이 적용되는지 확실하지 않거나 다른 방법으로 작성한 내용을 비교하려는 경우 언제든지 부트 스트랩을 시도 할 수 있습니다.

— 페이 비
소스

당신이 틀렸다고 생각합니다. 그는 아니라 RMSE의 CI를 원합니다 . 그리고 나는 그것을 원한다 :)

σ

$\sigma$

— Curious

나는 내가 틀렸다고 생각하지 않습니다. MSE는 실제로 이후 샘플 차이입니다. . 유일한 차이점은으로 분할한다는 것입니다 이 아니라 이 차감되지 않기 때문에 샘플이 여기에 의미한다. RMSE는 해당합니다 . 따라서 모집단 RMSE는 이며 CI를 원합니다. 그것이 내가 파생 한 것입니다. 그렇지 않으면 나는 당신의 문제를 완전히 이해해야합니다.

MSE = {\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - {\hat{x}}_{i})^{2}

$\mbox{MSE} = \hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\hat x_i)^2$

n

$n$

n - 1

$n-1$

σ

$\sigma$

σ

$\sigma$

— fabee

fabee 의 대답에 대한 추론 은 RMSE가 아닌 STDE (오류의 표준 편차)에 적용되는 경우 올바른 것으로 보입니다. 유사한 명명법을 사용하여 은 각 데이터 레코드를 나타내는 인덱스이고, 는 실제 값이고 는 측정 또는 예측입니다. $i=1,\,\ldots,\,n$ $x_i$ $\hat{x}_i$

오류 : BIAS, MSE (평균 제곱 오차) 및 RMSE는 주어진다 $\epsilon_i$

ϵ_{나는} = {\hat{엑스}}_{나는} - {엑스}_{나는}, 바이어스 = \bar{ϵ} = \frac{1}{엔} \sum_{나는 = 1}^{엔} ϵ_{나는}, MSE = \bar{ϵ^{2}} = \frac{1}{엔} \sum_{나는 = 1}^{엔} ϵ_{나는}^{2}, RMSE = \sqrt{MSE} .

$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$

이러한 정의에 동의하면 BIAS는 의 표본 평균에 해당 하지만 MSE는 치우친 표본 분산이 아닙니다. 대신 : 또는 BIAS와 RMSE가 모두 계산 된 경우 있습니다 바이어스 샘플 분산이 대신으로 사용되는 편견 중견 및 RMSE에 주어진 이전의 정의와 일관성을 유지하기 위해. $\epsilon$

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \frac{1}{엔} \sum_{나는 = 1}^{엔} (ϵ_{나는} - \bar{ϵ})^{2},

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \bar{ϵ^{2}} - {\bar{ϵ}}^{2} = {RMSE}^{2} - {바이어스}^{2} .

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$

따라서 내 의견으로는 fabee에 의해 설정된 신뢰 구간 은 , STDE 의 샘플 표준 편차를 나타냅니다. 마찬가지로 z- 점수 (또는 경우 t- 점수 ) 및 기반으로 BIAS에 대한 신뢰 구간을 설정할 수 있습니다. $\epsilon$ $n<30$ $\left.\text{STDE}\middle/\sqrt{n}\right.$

— cvr
소스

네 말이 맞지만 내 대답의 일부를 놓쳤다. 나는 기본적으로 BIAS = 0이라고 가정했다 (가정 1 참조). 이 경우 파생 입니다. 모두가 있기 때문에 와 있습니다 두의 합에 가까운 형태의 솔루션이 존재 의 RV를, 당신은 아마 경우에 가까운 형태의 신뢰 구간을 유도 할 수있다 가정 (1)이 제거 될 때. 그렇게하고 답변을 업데이트하면 분명히 찬성합니다.

R M S E^{2} = S T D E^{2}

$RMSE^2 = STDE^2$

R M S E^{2}

$RMSE^2$

B I A S^{2}

$BIAS^2$

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

— fabee

Faaber 1999에 이어 RMSE의 불확실성은 로 주어집니다. 여기서 은 데이터 포인트 수입니다.

σ (\hat{아르 자형 엠 에스 이자형}) / 아르 자형 엠 에스 이자형 = \sqrt{\frac{1}{2 엔}}

$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$

n

$n$

— LKlevin
소스