축소가 영리한 방식으로 적용되는 경우 더 효율적인 추정기에서 항상 더 잘 작동합니까?

I 두 추정기 있다고 가정 과 같은 파라미터의 일관성 추정기 것을 그러한 저 와 의 PSD 감각. 따라서 은 보다 효율적 입니다. 이 두 추정기는 서로 다른 손실 함수를 기반으로합니다. $\widehat{\beta}_1$ $\widehat{\beta}_2$ $\beta_0$

\sqrt{n} ({\hat{β}}_{1} - β_{0}) \overset{d}{\to} N (0, V_{1}), \sqrt{n} ({\hat{β}}_{2} - β_{0}) \overset{d}{\to} N (0, V_{2})

$\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)$

V_{1} \leq V_{2}

$V_1 \leq V_2$

{\hat{β}}_{1}

$\widehat{\beta}_1$

{\hat{β}}_{2}

$\widehat{\beta}_2$

이제 추정기의 유한 샘플 속성을 개선하기 위해 몇 가지 수축 기술을 찾고 싶습니다.

유한 샘플에서 추정기 를 개선하고 같은 MSE 값을 제공 하는 수축 기법을 발견했다고 가정 해 봅시다 . 이것은 에 적용 할 수있는 적절한 수축 기술을 찾을 수 있음을 의미합니까? MSE 는 보다 크지 않습니다 . $\widehat{\beta}_2$ $\widehat{\gamma}_2$ $\widehat{\beta}_1$ $\widehat{\gamma}_2$

다시 말해, 축소가 영리하게 적용되면 더 효율적인 추정기에서 항상 더 잘 작동합니까?

— 알리 크
소스

답변:

약간 지루한 반례를 제안하겠습니다. 말 것을 단지 점근 적으로 더 효율적 이상이다 , 또한 크레이머 라오 낮은 바운드 달성한다. 수축하는 영리한 기술 것이다 와 . 의 점근 분산 인 $\hat{\beta}_1$ $\hat{\beta}_2$ $\hat{\beta}_2$

{\hat{β}}_{2}^{*} = w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}

$\hat{\beta}_2^\ast = w \hat{\beta}_2 + (1 - w) \hat{\beta}_1$

w \in (0, 1)

$w\in(0,1)$

{\hat{β}}_{2}^{*}

$\hat{\beta}_2^\ast$

마지막 평등은

V^{*} = A v a r (w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}) = A v a r (w ({\hat{β}}_{2} - {\hat{β}}_{1}) + {\hat{β}}_{1}) = V_{1} + w^{2} (V_{2} - V_{1})

$V^\ast = \mathbb{Avar}(w \hat{\beta}_2 + (1 - w) \hat{\beta}_1) = \mathbb{Avar}(w (\hat{\beta}_2 - \hat{\beta}_1) + \hat{\beta}_1 ) = V_1 + w^2 (V_2 - V_1)$ 하우스 먼의 논문 . 우리는이

이므로 점근선 위험 개선 (무 바이어스 조건이 존재하지 않음)이있다. 우리는 이상의 일부 점근 (따라서 희망 유한 샘플) 개선을 제공하는 수축 기술 발견 그래서

. 하지만, 어떠한 유사한 수축 추정기 없다

이 과정을 따른다.

V_{2} - V^{*} = V_{2} (1 - w^{2}) - V_{1} (1 - w^{2}) \geq 0

$V_2 - V^\ast = V_2(1-w^2) - V_1(1-w^2) \geq 0$

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}^{*}

$\hat{\beta}_1^\ast$

여기서 요점은 축소가 효율적인 추정기로 향하기 때문에 효율적인 추정기 자체에는 적용 할 수 없다는 것입니다. 이것은 높은 수준에서 매우 분명해 보이지만 특정 예에서는 이것이 그렇게 명확하지 않다고 생각합니다 ( 균일 분포에 대한 MLE 및 Moments 방법 추정기 가 예일 수 있습니까?).

— 마티아스 슈미트 블라이 처
소스

흥미로운 예에 감사드립니다! (+1) 그러나,이 카운터 예를 고려해야한다는 것을 나에게 분명하지 않다 : 그것은 모두 점근 그리고 그 표시되지 않습니다

동일하거나 낮은 위험을 가지고 개선 할 수 없습니다. (사실, 당신의

자동으로 최적의에서와 같은 위험이있다

.) 위해는 반례, 수정 된 추정의 위험을 제공하기 위해

의 위험보다 적은해야 할 것이다

, 그리고는이 제도로 가능하다는 것을 분명하지 않다.

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

— user795305

감사합니다. 나를 그러나데도 문제가 지정되지 않았 음을 지적하자 그 수정의 MSE

보다 낮은해야

. 그래서

이러한 맥락에서 유효한 수축 기술이다. 그러나 나는 이것이 단지 부분적인 대답이라는 것에 동의하며 다른 사람들 이이 질문에 대해 무엇을 말해야하는지 기대하고 있습니다.

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}

$\hat{\beta}_1$

{\hat{β}}_{2}^{⋆}

$\hat{\beta}^\star_2$

— Matthias Schmidtblaicher 2018 년

"내가 찾은 것으로 생각하십시오 ..."로 시작하는 단락에서 OP는이를 지정하는 것으로 보입니다. 내가 오해하고 있습니까? 다음 것에서, 별도록 수정 추정기를 나타낸다하게

일부 (아마도 수축) 함수

. 우리 발견한다고 가정

그래서

{\hat{β}}_{j}^{*} = f_{j} ({\hat{β}}_{j})

$\hat\beta_j^* = f_j(\hat\beta_j)$

f_{j}

$f_j$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

r i s k ({\hat{β}}_{2}) \geq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_2) \ge risk(\hat\beta_2^*)$ . 참조 단락, OP는 우리가 어떤 찾을 수 묻는

되도록

f_{1}

$f_1$

r i s k ({\hat{β}}_{1}^{*}) \leq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_1^*) \le risk(\hat\beta_2^*)$

— user795305

내가 참조. 이것이 문제라면,

은 단순히 신원이고 예제에서 답은 긍정적입니다. 우리 함수 찾을 수 있다면 I는 상기와 같은 질문을 판독 "

되도록

하는가 존재

되도록

f_{1}

$f_1$

f (β, x)

$f(\beta, x)$

r i s k (f ({\hat{β}}_{2}, x)) < r i s k ({\hat{β}}_{2})

$risk(f(\hat{\beta}_2,x)) < risk(\hat{\beta}_2)$

g (β, x)

$g(\beta, x)$

? "

r i s k (g ({\hat{β}}_{1}, x)) < r i s k ({\hat{β}}_{1})

$risk(g(\hat{\beta}_1,x)) < risk(\hat{\beta}_1)$

— 티아 Schmidtblaicher

귀하의 질문에 실제로 대답하지는 않았지만이 크레딧을 공유해 주셔서 감사합니다 ...

— Matthias Schmidtblaicher 2016 년

-2

이것은 몇 가지 주요 사항을 먼저 지적하려는 흥미로운 질문입니다.

두 추정기가 일관됩니다
보다 더 효율적이다덜 변화를 달성 때문에 $\hat{\beta}_1$ $\hat\beta_2$
손실 기능은 동일하지 않습니다
하나의 수축 방법이 하나에 적용되어 그 자체로 더 나은 견적을 내리는 변동을 줄입니다.
질문 : 다시 말해, 축소가 영리하게 적용되면 더 효율적인 추정기에서 항상 더 잘 작동합니까?

기본적으로, 편향되지 않은 추정기 클래스와 같은 특정 프레임 워크에서 추정기를 향상시킬 수 있습니다. 그러나 당신이 지적한 것처럼, 하나의 손실 함수가 2 차 손실을 최소화하고 다른 하나는 엔트로피를 최소화하기 때문에 다른 손실 함수는 상황을 어렵게 만듭니다. 또한, "항상 (always)"이라는 단어를 사용하는 것은 매우 까다롭기 때문에 하나의 견적자가 수업에서 최고라면 논리적으로 말하면 더 나은 견적을 요구할 수 없습니다.

간단한 예 (동일한 프레임 워크에서)에 대해 두 추정값, 즉 브릿지 ( 놈 페널티가있는 페널티 회귀 ) 및 Lasso (첫 번째 놈이 페널티 페널티 된 가능성)와 희소 매개 변수 세트, 즉 , 선형 모델 , 오차 항의 정규성 , 알려진 , 2 차 손실 함수 (최소 제곱 오차) 및 의 공변량 독립성 . 대해 를 선택합시다 $l_p$ $\beta$ $y=x\beta+e$ $e\sim N(0,\sigma^2<\infty)$ $\sigma$ $x$ $l_p$ $p=3$ 첫 번째 추정기의 경우 이고 두 번째 추정기의 경우 입니다. 그런 다음 을 선택하여 추정값을 향상시킬 수 있습니다. 은 더 낮은 분산으로 더 나은 추정량을 제공합니다. 그런 다음이 예에서는 추정기를 향상시킬 수 있습니다. $p=2$ $p\rightarrow 1$

따라서 귀하의 질문에 대한 나의 대답은 그렇습니다. 여러분은 동일한 추정량의 가정과 동일한 손실 함수 및 가정을 가정합니다.

— TPArrow
소스

을 취한다는 것이 무슨 의미인지 명확하지 않습니다 . 두 개의 추정기 (예 : 응답에서 논의하는 것처럼 최소 제곱의

정규화 에서

및

를 가짐 )를 고려하면 질문은 이러한 추정기 를 사후 처리 하는 방법에 대해 묻습니다 (예 : 수축). 특히 일관되고 무증상적인 추정량에 대해 유사한 개선 (MSE 측면에서)을 생성 할 수있는 방법이 있는지 묻습니다. 귀하의 답변이 이것과 관련하여 무엇을 전달해야하는지 명확하지 않습니다.

p \to 1

$p \to 1$

p = 3

$p=3$

p = 2

$p=2$

ℓ_{p}

$\ell_p$

— user795305

@ 벤 감사합니다. 문제는 수축에 관한 것이며 추정기에

규범 페널티를 부과하여 수축을 적용하는 간단한 예를 보았습니다 . 나는 그것이 매우 관련이 있다고 본다. 추신 : LASSO (

표준 처벌 가능성)는 최소 절대

l_{p}

$l_p$

l_{1}

$l_1$

— 축소

여전히 나에게 분명하지 않습니다. 당신은 우리가 초기 추정이 걸릴 것을 제안하는

과

다음 평가

새로운 평가는 그래서, 그들 중 인접 연산자를

용

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

ℓ_{p}

$\ell_p$

{\hat{α}}_{j}^{p} = \arg min_{α} ‖ α - {\hat{β}}_{j} ‖_{2}^{2} + λ ‖ α ‖_{p}

$\hat\alpha^p_j = \arg\min_\alpha \|\alpha-\hat\beta_j\|_2^2 + \lambda \|\alpha\|_p$

j \in {1, 2}

$j \in \{1,2\}$ ? 그렇다면 MSE 개선에 대한 귀하의 주장에 대한 증거 (또는 다른 주장)를 제공 할 수 있습니까? 나는이 문제가 후 처리 추정기 에 대해 묻는다는 것을 강조했다.

후 처리에 대한 추정치는 정확히 무엇 인가?

p = 2, 3

$p=2,3$

— user795305 2016 년

@Ben 덕분에 수축 정의에 대한 합의가 없다고 생각합니다. 당신은 그것을 포스트 프로세스처럼 생각하지만 인라인 처리로 사용합니다. 문제는 수축 유형을 고려하지 않기 때문에 우리 둘 다 맞다고 생각합니다. 추신 : 당신이 수축에서 의미하는 것은 어려운 임계치와 같습니다.

— TPArrow 2016 년

수축은 인라인 및 후 처리 둘 다일 수 있습니다. 귀하의 응답에서 언급 한 예는 "인라인 축소"에 관한 것이며 질문은 "사후 처리 축소"에 대해 묻습니다. 공지 사항 질문 주시는 두 추정량은

과

, 다음에 수축 기술을 요구 하는 신청

또는

. 나는 이것에 비추어 질문을 다시 읽는 것이 가치가 있다고 생각합니다.

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

— user795305