MLE가 평균의 치우친 추정치를 생성하는 예가 있습니까?

편향된 평균에 대한 MLE 추정기의 예를 제공 할 수 있습니까?

규칙적 조건을 위반하여 일반적으로 MLE 추정기를 위반하는 예를 찾고 있지 않습니다.

인터넷에서 볼 수있는 모든 예제는 분산을 참조하며 평균과 관련된 것을 찾을 수없는 것 같습니다.

편집하다

@MichaelHardy는 특정 제안 모델에서 MLE를 사용하여 균일 분포 평균의 편향 추정값을 얻는 예제를 제공했습니다.

하나

https://ko.wikipedia.org/wiki/Uniform_distribution_(continuous)#Estimation_of_midpoint

MLE은 다른 제안 된 모델 하에서 평균적으로 균일 한 최소 편향 평균 추정값임을 제안합니다.

이 시점에서 모델 중립적 인 샘플 평균 추정 기와는 반대로 매우 가정 된 모델에 의존하는 경우 MLE 추정의 의미가 여전히 명확하지 않습니다. 결국 나는 모집단에 대한 무언가를 추정하는데 관심이 있으며 실제로 가정 된 모형의 모수의 추정에 관심이 없습니다.

편집 2

@ChristophHanck가 추가 정보가 바이어스를 도입 한 모델을 보여 주었지만 MSE를 줄이지는 못했습니다.

추가 결과도 있습니다 :

http://www.maths.manchester.ac.uk/~peterf/CSI_ch4_part1.pdf (p61) http://www.cs.tut.fi/~hehu/SSP/lecture6.pdf (슬라이드 2) http : / /www.stats.ox.ac.uk/~marchini/bs2a/lecture4_4up.pdf (슬라이드 5)

"가장 효율적인 비 편향 추정치 θ의 θ가 존재한다면 (즉, θθ는 편향되지 않고 그 분산은 CRLB와 동일하다) 추정의 최대 우도 방법이이를 생성 할 것이다."

또한 효율적인 추정기가 존재하면 ML 추정기입니다.

자유 모델 모수를 갖는 MLE는 편견이없고 효율적이기 때문에 정의 상으로는 이것이 "최대 가능성 추정기"입니까?

편집 3

@AlecosPapadopoulos는 수학 포럼에 Half Normal 분포가있는 예제를 가지고 있습니다.

/math/799954/can-the-maximum-likelihood-estimator-be-unbiased-and-fail-to-achieve-cramer-rao

균일 한 경우와 같이 매개 변수를 고정하지 않습니다. 비록 그가 평균 추정기의 편견을 보여주지는 않았지만, 그것이 해결 될 것이라고 말하고 싶습니다.

Christoph Hanck는 그의 제안 된 예의 세부 사항을 게시하지 않았습니다. I는 그 간격의 균일 한 분배 수단을 가지고 IID가 샘플에 기초하여 X 1 , ... , X n은 크기 이상의 N = $[0,\theta],$$X_1,\ldots,X_n$$n=1.$

평균은 입니다.$\theta/2$

평균의 MLE는 $\max\{X_1,\ldots,X_n\}/2.$

그 때문에 바이어스 그래서 E ( 최대 / 2 ) < θ /$\Pr(\max < \theta) = 1,$$\operatorname{E}({\max}/2)<\theta/2.$

추신 : 아마도 우리는 평균의 최선의 불편 추정 있음을 유의 입니다 하지 표본 평균, 오히려입니다 N + $\theta/2$일부 평균의 경우 표본 평균이1보다 작기 때문에 표본 평균은θ/2의추정량입니다.

$$\frac{n+1} {2n} \cdot \max\{X_1,\ldots,X_n\}.$$ $\theta/2$과 명확 불가능θ/2미만으로최대/2PS의 단부$\dfrac 1 2 \max\{X_1,\ldots,X_n\},$$\theta/2$${\max}/2.$

---

파레토 분포가 또 다른 경우라고 생각합니다. 확률 측정 값은 다음과 같습니다. 기대 값은

$$\alpha\left( \frac \kappa x \right)^\alpha\ \frac{dx} x \text{ for } x >\kappa.$$ 예상 값의 MLE는 $\dfrac \alpha {\alpha -1 } \kappa.$ 여기서분=분{X1,...,XN} $$\frac n {n - \sum_{i=1}^n \big((\log X_i) - \log(\min)\big)} \cdot \min$$ $\min = \min\{X_1,\ldots,X_n\}.$

평균에 대한 MLE의 예상 값을 계산하지 않았으므로 그 편향이 무엇인지 모릅니다.

다음은 일부 사람들이 놀랍게 생각할 수있는 예입니다.

로지스틱 회귀 분석에서 비 결정적 결과를 갖는 유한 표본 크기 (예 : )의 경우 추정 회귀 계수는 바이어스 될뿐만 아니라 회귀 계수의 평균은 실제로 정의되지 않습니다.$0 < p_{i} < 1$

이는 유한 한 표본 크기에 대해 결과의 완벽한 분리를 얻을 수있는 양의 가능성 (회귀 매개 변수의 수와 비교하여 표본 수가 많은 경우 매우 적음)이 있기 때문입니다. 이 경우, 추정 된 회귀 계수가 될 것입니다 또는 ∞ . 하나의 긍정적 인 확률을 갖는 - ∞ 또는하면 ∞ 기대 값이 정의되는 것을 의미한다.$-\infty$$\infty$$-\infty$$\infty$

이 특정 문제에 대한 자세한 내용은 Hauck-Donner-effect를 참조하십시오 .

@MichaelHardy가 요점을 지적했지만, 여기 에 다른 모델이 있지만 최대 값의 MLE (따라서 불변에 의한 평균 의 MLE )가 편향되지 않은 이유에 대한 더 자세한 주장 이 있습니다. 아래 편집).$\theta/2$

균일 분포 의 상한을 추정합니다 . 여기서, y ( n ) 은 랜덤 샘플 y에 대한 MLE 입니다. 우리는 y ( n ) 이 편향되지 않았 음을 보여줍니다 . cdf는 F y ( n ) ( x $U[0,\theta]$$y_{(n)}$$y$$y_{(n)}$ 따라서 밀도는 fy(n)(x)={

$$\begin{eqnarray*} F_{y_{(n)}}(x)&=&\Pr\{Y_1\leqslant x,\ldots,Y_n\leqslant x\}\\ &=&\Pr\{Y_1\leqslant x\}^n\\ &=&\begin{cases} 0&\qquad\text{for}\quad x<0\\ \left(\frac{x}{\theta}\right)^n&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 1&\qquad\text{for}\quad x>\theta \end{cases} \end{eqnarray*}$$ , E [ Y ( n ) $$f_{y_{(n)}}(x)= \begin{cases} \frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 0&\qquad\text{else} \end{cases}$$ $$\begin{eqnarray*} E[Y_{(n)}]&=&\int_0^\theta x\frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}dx\\ &=&\int_0^\theta n\left(\frac{x}{\theta}\right)^{n}dx\\ &=&\frac{n}{n+1}\theta \end{eqnarray*}$$

편집 : 실제로 MLE가 하한 및 상한 b 모두를 알 수없는 경우 평균에 대해 편향되지 않은 경우가 있습니다 (주석의 설명 참조) . 그리고, 최소 Y ( 1 ) MLE를위한 (상세 생략) 기대치와, E ( Y ( 1 ) ) = N + $a$$b$$Y_{(1)}$$a$ 동안 E(Y(N))=NB

$$E(Y_{(1)})=\frac{na+b}{n+1}$$ 이므로(a+b)/2에대한 MLE은 Y ( 1 ) +Y ( n $$E(Y_{(n)})=\frac{nb+a}{n+1}$$ $(a+b)/2$ 기대 값이 E 인 2 ( Y ( 1 ) + Y ( n $$\frac{Y_{(1)}+Y_{(n)}}{2}$$ $$E\left(\frac{Y_{(1)}+Y_{(n)}}{2}\right)=\frac{na+b+nb+a}{2(n+1)}=\frac{a+b}{2}$$

편집 2 : Henry의 요점을 자세히 설명하기 위해 평균 추정량의 MSE에 대한 약간의 시뮬레이션이 있습니다. 하한을 0으로 알 수없는 경우 MLE은 편견이 없지만 두 변형에 대한 MSE는 동일하다는 것을 보여줍니다 , 하한에 대한 지식을 통합 한 추정기는 변동성을 줄입니다.

theta <- 1
mean <- theta/2
reps <- 500000
n <- 5
mse <- bias <- matrix(NA, nrow = reps, ncol = 2)

for (i in 1:reps){
  x <- runif(n, min = 0, max = theta)
  mle.knownlowerbound <- max(x)/2
  mle.unknownlowerbound <- (max(x)+min(x))/2
  mse[i,1] <- (mle.knownlowerbound-mean)^2
  mse[i,2] <- (mle.unknownlowerbound-mean)^2
  bias[i,1] <- mle.knownlowerbound-mean
  bias[i,2] <- mle.unknownlowerbound-mean

}

> colMeans(mse)
[1] 0.01194837 0.01194413

> colMeans(bias)
[1] -0.083464968 -0.000121968

OP가 참조 한 math.se 에서 내 대답 에서 누락을 완료하면 ,

$n$

$$f_H(x) = \sqrt{2/\pi}\cdot \frac 1{v^{1/2}}\cdot \exp\big\{-\frac {x^2}{2v} \big\} \\ E(X) = \sqrt{2/\pi}\cdot v^{1/2}\equiv \mu,\;\; \operatorname{Var}(X) = \left(1-\frac 2 \pi \right)v$$

The log-likelihood of the sample is

$$L(v\mid \mathbf x) = n\ln\sqrt{2/\pi}-\frac n2\ln v -\frac 1 {2v} \sum_{i=1}^n x_i^2$$

The first derivative with respect to $v$ is

$$\frac {\partial}{\partial v}L(v\mid\mathbf x) = -\frac n{2v} + \frac 1 {2v^2} \sum_{i=1}^n x_i^2,\implies \hat v_\text{MLE} = \frac 1n \sum_{i=1}^nx_i^2$$

so it is a method of moments estimator. It is unbiased since,

$$E(\hat v_\text{MLE}) = E(X^2) = \operatorname{Var}(X) + [E(X)])^2 = \left(1-\frac 2 \pi \right)v + \frac 2 \pi v = v$$

But, the resulting estimator for the mean is downward biased due to Jensen's inequality

$$\begin{align} \hat \mu_\text{MLE} = \sqrt{2/\pi}\cdot \sqrt {\hat v_\text{MLE}} \implies & E\left(\hat \mu_\text{MLE}\right) = \sqrt{2/\pi}\cdot E\left(\sqrt {\hat v_\text{MLE}}\,\right) \\[6pt] & < \sqrt{2/\pi}\cdot \left[\sqrt {E(\hat v_\text{MLE})}\,\right] = \sqrt{2/\pi}\cdot \sqrt v = \mu \end{align}$$

The famous Neyman Scott problem has an inconsistent MLE in that it never even converges to the right thing. Motivates the use of conditional likelihood.

Take $(X_i, Y_i) \sim \mathcal{N}\left(\mu_i, \sigma^2 \right)$. The MLE of $\mu_i$ is $(X_i + Y_i)/2$ and of $\sigma^2$ is $\hat{\sigma}^2 = \sum_{i=1}^n \frac{1}{n} s_i^2$ with $s_i^2 = (X_i - \hat{\mu}_i)^2/2 + (Y_i - \hat{\mu}_i)^2/2 = (X_i - Y_i)^2 / 4$ which has expected value $\sigma^2/4$ and so biased by a factor of 2.

There is an infinite range of examples for this phenomenon since

1. the maximum likelihood estimator of a bijective transform $\Psi(\theta)$ of a parameter $\theta$ is the bijective transform of the maximum likelihood estimator of $\theta$, $\Psi(\hat{\theta}_\text{MLE})$;
2. the expectation of the bijective transform of the maximum likelihood estimator of $\theta$, $\Psi(\hat{\theta}_\text{MLE})$, $\mathbb{E}[\Psi(\hat{\theta}_\text{MLE})]$ is not the bijective transform of the expectation of the maximum likelihood estimator, $\Psi(\mathbb{E}[\hat{\theta}_\text{MLE}])$;
3. most transforms $\Psi(\theta)$ are expectations of some transform of the data, $\mathfrak{h}(X)$, at least for exponential families, provided an inverse Laplace transform can be applied to them.