최소 추정량 향상

내가 있다고 가정 추정 긍정적 인 매개 변수를 와 해당 추정량에 의해 생산 불편 추정치 , 즉 , 등입니다.$n$$\mu_1,\mu_2,...,\mu_n$$n$$\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}$$\mathrm E[\hat{\mu_1}]=\mu_1$$\mathrm E[\hat{\mu_2}]=\mu_2$

견적을 사용하여 을 추정하고 . 순진한 추정량 은 $\mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$

$$\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$

또한 해당 추정량 의 공분산 행렬이 있다고 가정합니다 . 주어진 추정값과 공분산 행렬을 사용하여 편향되지 않은 (또는 덜 편향된) 최소값을 얻을 수 있습니까?$\mathrm{Cov}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}) = \Sigma$

편견없는 견적 도구의 존재에 대한 명확한 답변이 없습니다. 그러나 추정 오차의 관점에서 추정 하는 것은 일반적으로 본질적으로 어려운 문제입니다.$\min(\mu_1, \dots, \mu_n)$

예를 들어 및 . 하자 대상 량 될 의 추정치이다 . "순진한"추정값을 사용하는 경우 여기서 이면 추정 오차는 일정합니다. (각 의 추정 오류 는 ). 물론, 만약$Y_1, \dots, Y_N \sim N(\mu, \sigma^2I)$$\mu = (\mu_1, \dots, \mu_n)$$\theta = \min_i \mu_i$$\hat{\theta}$$\theta$$\hat{\theta} = \min_i(\bar{Y}_i)$$\bar{Y_i} = \frac{1}{N}\sum_{j=1}^N Y_{i,j}$$L_2$

$$\mathbb{E}[\hat{\theta} - \theta]^2 \lessapprox \frac{\sigma^2\log n}{N}$$ $\mu_i$$\frac{\sigma^2}{N}$$\mu_i$은 서로 멀리 떨어져 있으며 는 매우 작 추정 오류는 으로 줄여야합니다 . 그러나 최악의 경우 순진한 추정기보다 가 더 효과적 일 것으로 추정되지 않습니다 . 당신은 정확하게 표시 할 수 여기서 은 샘플 기반으로 의 가능한 모든 하고 최상위는 가능한 모든 구성을 인수합니다 .$\sigma$$\frac{\sigma^2}{N}$$\theta$ $$\inf_{\hat{\theta}} \sup_{\mu_1, \dots,\mu_n} \mathbb{E}[\hat{\theta} - \theta]^2 \gtrapprox \frac{\sigma^2\log n}{N}$$ $\theta$$Y_1,\dots, Y_N$$\mu_i$

따라서, 순 추정기 상수 MINIMAX 최적까지이며, 그리고 더 나은 추정치 없다 이러한 의미에서이.$\theta$

편집 : 다음은 요청 된 것과 다른 질문에 대한 답변입니다. 가 임의의 것으로 간주되지만 가 고정 된 것으로 간주 되면 작동하지 않습니다 . 이는 아마도 OP가 염두에 둔 것입니다. 가 고정되어 있으면 보다 더 나은 대답이 없습니다.$\mu$$\mu$$\mu$$\min(\hat\mu_1,...,\hat\mu_n)$

---

평균 및 공분산 추정값 만 고려하면 을 다변량 정규 분포의 단일 표본으로 취급 할 수 있습니다 . 최소값을 추정하는 간단한 방법은 에서 많은 수의 샘플을 추출하고 각 샘플의 최소값을 계산 한 다음 최소값의 평균을 취하는 것입니다.$(\mu_1, ..., \mu_n)$$MVN(\hat{\mu}, \Sigma)$

위의 절차와 그 한계는 베이지안 용어로 이해할 수 있습니다 -MVN에 대한 Wikipedia 의 표기법을 사용 합니다. 가 추정값의 알려진 공분산이고 하나의 관측 값이있는 경우 관절 후부 분포는 여기서 및 은 이전 위치에서 발생합니다. ). 당신은 아마에 전과를 넣어 기꺼이 아니기 때문에 , 우리는 제한이 걸릴 수 있습니다 평평 이전과 후방이되고 결과$\Sigma$$\mu \sim MVN(\frac{\hat{\mu} + m \lambda_0}{1 + m}, \frac{1}{n+m} \Sigma)$$\lambda_0$$m$$\mu \sim MVN(\lambda_0, m^{-1} \Sigma$$\mu$$m \rightarrow 0$$\mu \sim MVN(\hat{\mu}, \Sigma)$. 그러나 이전의 플랫을 고려할 때 의 요소가 많이 다르다고 가정합니다 (모든 실수가 똑같이 가능성이 높으면 유사한 값을 얻는 것이 거의 불가능합니다).$\mu$

빠른 시뮬레이션 프로그램이 절차 약간 과대 평가로 추정 의 요소 많은 상이하고 과소 요소가 유사하다. 사전 지식이 없으면 이것이 올바른 행동이라고 주장 할 수 있습니다. 적어도 일부 사전 정보 (예 : )를 기꺼이 밝히려면 사용 사례에 따라 결과가 약간 더 잘 동작 할 수 있습니다.$min(\mu)$$\mu$$min(\mu)$$m = 0.1$

더 많은 구조를 기꺼이 생각한다면 multivariete normal보다 더 나은 분포를 선택할 수 있습니다. 또한 Stan 또는 다른 MCMC 샘플러 를 사용 하여 의 추정치를 처음 에 맞추는 것이 좋습니다. 이렇게하면 공분산 구조 (MVN이 제공 할 수있는 것보다 풍부 할 수 있음)를 포함하여 추정기 자체의 불확실성을 반영하는 샘플 세트를 얻을 수 있습니다. 다시 한 번 각 표본의 최소값을 계산하여 최소값보다 사후 분포를 구하고 점 추정값이 필요한 경우이 분포의 평균을 구할 수 있습니다.$\mu$$(\mu_1, ..., \mu_n)$