RMSE에서 가능성 계산

몇 가지 매개 변수를 사용하여 궤적 (시간의 함수로 x)을 예측하는 모델이 있습니다. 현재 예측 궤도와 실험적으로 기록 된 궤도 사이의 RMSE (root mean square error)를 계산합니다. 현재 나는 simplex (matlab의 fminsearch)를 사용 하여이 차이 (RMSE)를 최소화합니다. 이 방법이 적합하게 작동하는 동안 여러 모델을 비교하고 싶습니다. 따라서 RMSE를 최소화하는 대신 최대한 가능성 추정을 사용할 수 있도록 가능성을 계산해야한다고 생각합니다 (그런 다음 AIC 또는 BIC를 사용하여 모델을 비교하십시오) ). 이 작업을 수행하는 표준 방법이 있습니까?

maximum-likelihood curve-fitting

— 제이슨
소스

근 평균 제곱 오차와 가능성은 실제로 밀접한 관련이 있습니다. 쌍 의 데이터 세트가 있고 모델 사용하여 관계를 모델링한다고 가정하십시오 . 이차 오차를 최소화하기로 결정했습니다 $\lbrace x_i, z_i \rbrace$ $f$

\sum_{i} {(f (x_{i}) - z_{i})}^{2}

$\sum_i \left(f(x_i) - z_i\right)^2$

이 선택이 완전히 임의적이지 않습니까? 물론, 당신은 옳은 것보다 완전히 틀린 추정을 불이익을 원합니다. 그러나 제곱 오차를 사용해야 할 아주 좋은 이유가 있습니다.

가우스 밀도를 기억 : 여기서 우리가 지금 걱정하지 않는 것이 정규화 상수입니다. 목표 데이터 가 가우시안에 따라 분포되어 있다고 가정합시다 . 따라서 데이터의 가능성을 기록 할 수 있습니다. $\frac{1}{Z}\exp \frac{-(x - \mu)^2}{2\sigma^2}$ $Z$ $z$

L = \prod_{i} \frac{1}{Z} \exp \frac{- (f (x_{i}) - z_{i})^{2}}{2 σ^{2}}

$\mathcal{L} = \prod_i \frac{1}{Z}\exp \frac{-(f(x_i) - z_i)^2}{2\sigma^2}$

이제이 대수를 사용하면 ...

\log L = \sum_{i} \frac{- (f (x_{i}) - z_{i})^{2}}{2 σ^{2}} - \log Z

$\log \mathcal{L} = \sum_i \frac{-(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

... 그것은 rms와 매우 밀접한 관련이 있습니다. 유일한 차이점은 일정한 항, 제곱근과 곱셈입니다.

간단히 말해 : 제곱 평균 제곱 오류를 최소화하는 것은 데이터의 로그 가능성을 최대화하는 것과 같습니다.

— 바이엘
소스

명확한 설명에 감사드립니다. 따라서 BIC를 사용하여 두 개의 (임베디드되지 않은) 모델을 비교하려면 가능성을 계산할 때 sigma ^ 2 및 Z 항을 효과적으로 제거 할 수 있습니까?

— Jason

예. 두 용어는 에만 의존 하므로 두 가 같은 경우에는 삭제할 수 있습니다 .

σ

$\sigma$

σ

$\sigma$

— bayerj

위의 마지막 단계에서 실수 가능성이 있다고 생각합니다 ( . 로그 우도 선형 그래서 RMSE를 최소화하는 로그 우도 동등 최소화 RMSE 관련되기 때문이 "결론"을 변경하지 않는다

\log L = \sum_{i} \frac{(f (x_{i}) - z_{i})^{2}}{2 σ^{2}} - \log Z

$\log \mathcal{L} = \sum_i \frac{(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

— 제이슨

가우스 분포에 음의 부호가 없습니까?

— Manoj

결론이 반대가되어서는 안됩니까? 제곱 오차의 합을 최소화하면 로그 가능성이 최대화되고 (고정 ) 로그가 단조이므로 가능성이 최대화됩니다.

σ

$\sigma$

— Tim Goodman