0이 아닌 점근 적 분산으로 점근 적 일관성-무엇을 나타내는가?

문제가 전에 제기되었지만 문제를 명확히하고 분류 할 수있는 답변을 이끌어 낼 구체적인 질문을하고 싶습니다.

"가난한 사람의 무증상"에서,

(a) 확률로 상수로 수렴하는 무작위 변수의 시퀀스

대조적으로

(b) 확률 변수에서 확률 변수로 수렴하는 (따라서 분포) 무작위 변수의 순서.

그러나 "Wise Man 's Asymptotics"에서 우리는 또한

(c) 한계에서 0이 아닌 분산을 유지하면서 확률로 일정하게 수렴하는 무작위 변수의 시퀀스.

내 질문은 (아래의 자체 탐색 답변에서 도용)입니다.

우리는 어떻게 점근 적으로 일치하지만, 추정 이해할 수 또한 비 - 제로, 유한 분산을 가지고 있습니까? 이 차이는 무엇을 반영합니까? 동작이 "일상적인"일관된 추정기와 어떻게 다른가요?

(c)에 설명 된 현상과 관련된 스레드 (의견도 참조) :

— 알레 코스 파파도풀로스
소스

당신이 "가난한 사람의 무증상"을 대문자로 사용하는 방법은 내가 참조에 대한 지식을 잃어 버렸어야한다고 생각하게한다. (또는 아마도 그것을 보았지만 잊어 버렸다. 실제 책이나 종이, 또는 심지어 문화적 참조 일 수도 있습니다. 나는 "Poor Man 's Data Augmentation"(Tanner and Wei)에 대해 알고 있지만 이것이 당신이 얻는 것과 관련이 있다고 생각하지 않습니다. 내가 무엇을 놓치고 있습니까?

— Glen_b-복지 주 모니카

@Glen_B 당신은 아무것도 놓치지 않습니다-저는 단지 저와 같은 사람들이 추기경과 같은 사람들에 대한 점근 론에 대한 지식 수준 (= 지적 접근)에 대비하는 용어를 만들었습니다. 대문자는 마케팅 전략 일뿐입니다.

— Alecos Papadopoulos

답변:

27-10-2014 : 불행히도 (즉, 저에게는) 아직 아무도 답을하지 못했습니다. 아마도 이상하고 "병리학 적"이론적 인 문제처럼 보였을 것입니다.

사용자 추기경에 대한 의견 을 인용하는 것이 좋습니다 (나중에 살펴볼 것입니다)

"여기서는 터무니 없지만 간단한 예가있다.이 아이디어는 무엇이 잘못 될 수 있고 왜 그런지를 정확히 설명하는 것이다. 실제적인 응용이있다 (내 강조). 예 : 유한 한 두 번째 순간을 가진 전형적인 iid 모델을 생각해 보자. 여기서 은 과 독립 적이고 각각 확률이 이고, 그렇지 않으면 0이며, 임의의 임의입니다. 은 편차가 편차가 에 의해 , 및 거의 확실하게 (강하게 일관된). 나는 연습으로 바이어스 "에 관한 사건을 둡니다. $\hat θ_n=\bar X_n+Z_n$ $Z_n$ $\bar X_n$ $Z_n=\pm an$ $1/n^2$ $a>0$ $\hat θ_n$ $a^2$ $\hat θ_n→\mu$

여기에서 랜덤 변수는 이므로 우리가 그것에 대해 말할 수있는 것을 보자. 변수는 대응 확률 와 함께 을 지원합니다 . 0에 대해 대칭이므로 $Z_n$
$\{-an,0,an\}$ $\{1/n^2,1-2/n^2,1/n^2\}$

E (Z_{n}) = 0, Var (Z_{n}) = \frac{(- a n)^{2}}{n^{2}} + 0 + \frac{(a n)^{2}}{n^{2}} = 2 a^{2}

$E(Z_n) = 0,\;\; \text{Var}(Z_n) = \frac {(-an)^2}{n^2} + 0 + \frac {(an)^2}{n^2} = 2a^2$

이 순간은 의존하지 않으므로 사소하게 쓸 수 있다고 생각합니다. $n$

lim_{n \to \infty} E (Z_{n}) = 0, lim_{n \to \infty} Var (Z_{n}) = 2 a^{2}

$\lim_{n\rightarrow \infty} E(Z_n) = 0,\;\;\lim_{n\rightarrow \infty}\text{Var}(Z_n) = 2a^2$

가난한 사람의 무증상에서, 모멘트의 한계가 제한 분포의 모멘트와 같은 조건을 알고 있습니다. 유한 사례 분포 의 번째 모멘트가 상수로 수렴하면 (우리의 경우와 같이), 더 나아가 $r$

\exists δ > 0 : lim sup E (| Z_{n} |^{r + δ}) < \infty

$\exists \delta >0 :\lim \sup E(|Z_n|^{r+\delta}) < \infty$

의 한계 번째 모멘트 것 제한 분포 번째 순간. 우리의 경우 $r$ $r$

E (| Z_{n} |^{r + δ}) = \frac{| - a n |^{r + δ}}{n^{2}} + 0 + \frac{| a n |^{r + δ}}{n^{2}} = 2 a^{r + δ} \cdot n^{r + δ - 2}

$E(|Z_n|^{r+\delta}) = \frac {|-an|^{r+\delta}}{n^2} + 0 + \frac {|an|^{r+\delta}}{n^2} = 2a^{r+\delta}\cdot n^{r+\delta-2}$

들면 어떤이 발산 이되도록 충분한 조건 편차 (이 평균을 위해 보류 않음)에 대해 유지되지 않는다. 다른 방법으로 : 의 점근 분포는 입니까? 의 CDF가 한계에서 비 퇴화 CDF로 수렴됩니까? $r\geq2$ $\delta >0$
$Z_n$ $Z_n$

제한적인 지원은 (우리가 작성하도록 허용 된 경우) 및 해당 확률 됩니다. 나에게 상수처럼 보인다. 그러나 처음에 제한적인 분포가 없다면 그 순간에 대해 어떻게 이야기 할 수 있습니까? $\{-\infty, 0, \infty\}$ $\{0,1,0\}$

그런 다음, 추정에 다시가는 때문에, 또한 일정한 수렴, 그것은 나타납니다 $\hat \theta_n$ $\bar X_n$

$\hat \theta_n$ 에는 (사소한) 제한 분포가 없지만 한계에 편차가 있습니다. 아니면이 차이가 무한할까요? 그러나 분포가 일정한 무한 분산?

우리는 이것을 어떻게 이해할 수 있습니까? 견적에 대해 무엇을 알려줍니까? 과 사이의 본질적인 차이점은 무엇입니까 ? $\hat \theta_n = \bar X_n + Z_n$ $\tilde \theta_n = \bar X_n$

— 알레 코스 파파도풀로스
소스

멍청한 참조 요청 : "r 번째 모멘트가 상수로 수렴하면 r보다 낮은 인덱스를 가진 모든 모멘트가 제한 분포의 모멘트로 수렴됩니까?"에 대한 (좋은) 소스가 있습니까? 나는 그것이 사실이라는 것을 알고 있지만, 좋은 소스를 찾지 못했다

— Guillaume Dehaene

둘째, 당신이 사용하려고 정리는이 경우에 적용 할 수 없습니다 :에 대한 R = 2 (사용하려는 경우입니다 : 당신이 증명하려는 그 분산 수렴) 어떤 엄격하게 긍정적를 들어, 의 !

δ

$\delta$

E (| Z_{n} |^{r + δ}

$E(|Z_n|^{r+\delta}$

— 기 illa 데 하네

아마도이 토론에 참여할 수 있도록 @cardinal (채팅 중)을 ping하는 것이 좋을 것입니다.

— amoeba는

@amoeba Cardinal은 실제 답변에 대해 수렴하는 견적 도구이지만 과거에 성공하지 못했던 그를 기억하려고합니다.

— Alecos Papadopoulos

@GuillaumeDehaene 참고 문헌은 AW Van der Vaart (1998) "Asymptotic Statistics", ch. 2.5 "순간의 수렴". 그것은 정리 2.20의 예시 2.21로 주어진다. 그리고 당신은 옳습니다 : 나는 유한 한 대한 경계를 갖는 것으로 충분하다는 인상을 받았습니다. 그러나 유한해야 할 것은 limsup입니다. 내 게시물을 수정하고 있습니다.

n

$n$

— Alecos Papadopoulos

귀하의 질문에 너무 만족스러운 답변을 드리지 않겠습니다. 왜이 질문이 어려운지에 대해 조금 알려 드리겠습니다.

확률 분포와 랜덤 변수에 사용하는 기존 토폴로지가 나쁘다는 사실로 어려움을 겪고 있다고 생각합니다. 필자는 블로그 에 이것 에 대해 더 큰 글을 썼지 만 요약 해 보도록하겠습니다. 수렴의 의미에 대한 상식적인 가정을 위반하면서 약한 (그리고 전체 변화) 의미로 수렴 할 수 있습니다.

예를 들어, 분산 = 1 ( 시퀀스가 수행하는 작업)을 유지하면서 약한 토폴로지에서 상수를 향해 수렴 할 수 있습니다 . 그런 다음 (약한 토폴로지에서) 한계 분포가 있습니다.이 임의의 변수는 대부분 0과 같지만 무한대와 거의 같습니다. $Z_n$

필자는 개인적으로 약한 토폴로지 (및 전체 변형 토폴로지)도 폐기해야하는 수렴 개념이 나쁘다는 것을 의미합니다. 실제로 사용하는 대부분의 수렴은 그보다 더 강력합니다. 그러나 약한 토폴로지 sooo 대신 무엇을 사용 해야하는지 모르겠습니다 ...

과 사이에 본질적인 차이를 찾으려면 여기에 내 테이크가 있습니다 : 두 추정기는 [0,1]-손실과 같습니다 실수의 크기는 중요하지 않습니다). 그러나 실수의 크기가 중요하다면 가 훨씬 좋습니다. 때때로 치명적으로 실패 하기 때문 입니다. $\hat \theta= \bar X+Z_n$ $\tilde \theta=\bar X$ $\tilde \theta$ $\hat \theta$

— 기 illa 데 하네
소스

추정기는 확률 적으로 일관성이 있지만 추정기가 "폭발"할 확률이 작은 경우 MSE에서는 그렇지 않습니다. 흥미로운 수학적 호기심이 있지만 실제적인 목적으로 귀찮게해서는 안됩니다. 실제적인 목적으로, 추정자는 유한 한지지를 가지므로 폭발 할 수 없습니다 (실제 세계는 무한히 작거나 크지 않습니다).

"실제 세계"에 대한 연속 근사를 계속 원하고 근사치가 MSE가 아닌 확률로 수렴하는 경우에는 그대로 사용하십시오. 평가자는 임의로 큰 확률로 옳을 수 있지만 폭발 할 확률은 항상 적습니다. 운 좋게도 그렇게되면 눈치 채지 못하므로 믿을 수 있습니다. :-)

— 존 로스
소스

그것은 내 느낌입니다 않습니다 평균 제곱 수렴, 이후

\hat{θ} = \bar{X} + Z_{n}

$\hat \theta = \bar X + Z_n$

lim E ({\hat{θ}}^{2}) = 2 a^{2}

$\lim E(\hat \theta^2) = 2a^2$

— Alecos 파파도풀로스

이 문제는 구체적으로 MSE가 아닌 확률로 수렴하는 추정기의 해석을 다루고 있습니다 (비 소멸 분산으로 인해).

— JohnRos

네가 옳아, 나는 더하기 기호와 빼기 기호를 혼동했다.

— Alecos Papadopoulos