가중 제곱 바이어스와 분산의 합을 최소화하는 추정기는 의사 결정 이론에 어떻게 적합합니까?

알았어요. 제 원래의 메시지는 응답을 이끌어 내지 못했습니다. 질문을 다르게하겠습니다. 나는 결정 이론적 관점에서 추정에 대한 나의 이해를 설명하는 것으로 시작할 것이다. 나는 공식적인 훈련이 없으며 어떤 식 으로든 내 생각에 결함이 있다고해도 놀라지 않을 것입니다.

손실 함수 가 있다고 가정 합니다. 예상되는 손실은 (자주적인) 위험입니다.$L(\theta,\hat\theta(x))$

$$R(\theta,\hat\theta(x))=\int L(\theta,\hat\theta(x))\mathcal{L}(\theta,\hat\theta(x))dx,$$

여기서 는 가능성입니다. 베이 즈의 위험은 잦은 예상되는 위험입니다.$\mathcal{L}(\theta,\hat\theta(x))$

$$r(\theta,\hat\theta(x))=\int\int R(\theta,\hat\theta(x))\pi (\theta)dxd\theta,$$

여기서 는 우리의 이전입니다.$\pi (\theta)$

일반적으로 을 최소화 하는 가 있으며이 모든 것이 잘 작동합니다. 또한 Fubini의 정리가 적용되며 을 최소화 하는 주어진 가 다른 모든 것과 독립적이 되도록 통합 순서를 반대로 바꿀 수 있습니다. 이런 식으로 우도 원칙을 위반하지 않으며 베이지안 등을 좋아할 수 있습니다.$\hat\theta(x)$$r$$\hat\theta(x)$$r$

예를 들어, 친숙한 제곱 오차 손실 고려할 때 잦은 위험은 평균 제곱 오차 또는 합계입니다. 제곱 바이어스와 분산의 제곱과 베이 즈의 위험은 우리의 이전에 주어진 제곱 바이어스와 분산의 합, 즉 사후 예상 손실입니다.$L(\theta,\hat\theta(x))=(\theta- \hat\theta(x))^2,$

이것은 지금까지 나에게 합리적 인 것처럼 보인다. 그러나 어쨌든 다른 목표에는 상황이 훨씬 덜 이해됩니다. 예를 들어, 대신 합을 최소화의 가정 똑같이 가중 제곱 바이어스 및 분산을, I는 최소화하려는 불균등 가중 합 -이고, I는 원하는 최소화하는 것을 :$\hat\theta(x)$

$$(\mathbb{E}[\hat\theta(x)]-\theta)^2+k\mathbb{E}[(\hat\theta(x)-\mathbb{E}[\hat\theta(x)])^2],$$

여기서 는 양의 실수 상수입니다 (1 이외).$k$

나는 일반적으로이 용어를 "객관적인 함수"라고 말하지만, 그 용어를 잘못 사용하고있을 수도 있습니다. 내 질문은 솔루션을 찾는 방법에 관한 것이 아닙니다. 이 목적 함수를 최소화 하는 를 찾는 것은 수치 적으로 가능합니다. 대신 내 질문은 두 가지입니다.$\hat\theta(x)$

1. 그러한 객관적인 기능이 의사 결정 이론 패러다임에 적합 할 수 있습니까? 그렇지 않다면 다른 틀이 있습니까? 그렇다면 어떻게합니까? 의 함수일 것이다 연관된 손실 함수 같아 , 및 때문에 기대 - -이다 (어떤 나는 적절하지 않다고 생각한다.$\theta$$\hat\theta(x)$$\mathbb{E}[\hat\theta(x)]$

2. 주어진 추정치 는 다른 모든 추정치 (가설적인 추정치 의존 하기 때문에 우도 원리를 위반합니다 . 그럼에도 불구하고, 편차 감소를 위해 오차 분산 증가를 거래하는 것이 바람직한 경우가 있습니다. 그러한 목표가 주어질 때, 문제가 가능성 원칙에 부합하도록 문제를 개념화하는 방법이 있습니까?$\hat\theta(x_{j})$$\hat\theta(x_{i\neq j})$

의사 결정 이론 / 추정 / 최적화에 대한 몇 가지 기본 개념을 이해하지 못했다고 가정합니다. 답변에 대해 미리 감사 드리며이 분야 또는 수학에 대한 교육이 없기 때문에 아무것도 알지 못한다고 가정하십시오. 또한, 순진한 독자를 위해 제안 된 참고 문헌도 높이 평가됩니다.

이것은 상당히 흥미롭고 참신한 질문입니다! 공식적인 수준에서, 잦은 위험 함수 예를 들어 이후 와 같은 기대 가 손실 함수에 나타나는 것을 금지 할 이유가 없습니다 . 그것들이 의 전체 분포에 의존 한다는 것은 이상하게 보일 수있는 기능이지만, 전체 분포는 의 함수로 설정되며 결과적으로 손실은

$$(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k\mathbb{E}_\theta[(\hat\theta(X)-\mathbb{E}[\hat\theta(X)])^2],$$ $$L(\theta,\hat{\theta})=(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k(\hat\theta-\mathbb{E}_\theta[\hat\theta(X)])^2$$ $\mathbb{E}_\theta[\hat\theta(X)]$$\hat{\theta}(X)$$\theta$$\theta$ , 및 분포 .$\hat{\theta}$$\hat{\theta}(X)$

나는 완벽 손실 함수의 것으로 오는 이의 예측할 수 자연 상태의 함수가 원칙이다, 및 행동, , 매개 변수 공간에서 예를 들어 일어나고 , 따라서 어떤 배포 적 가정도 포함하지 않습니다. 게임 이론 관점에서 옳습니다. 그러나 이것은 통계적 결정 이론인데, 결정 가 임의의 변수 의 관측 값 에 의존하는 경우, 손실 함수가 분포에 의존하는 일반화 가 의해 색인화되는 이유는 없습니다.$L(\theta,\delta)$$\theta$$\delta$$\Theta$$\delta$$x$$X$$X$$\theta$, 고려할 수 없습니다. 그것이 가능성 이론을 위반할 수 있다는 것은 결정 이론에 직접적인 관심이 아니며 베이 즈 추정기의 공식 도출을 방해하지 않습니다.