분포의 수렴과 확률의 수렴에 대한 직관적 인 설명

26

확률로 수렴하는 랜덤 변수와 분포로 수렴하는 임의 변수 사이 의 직관적 인 차이점 은 무엇입니까 ?

나는 수많은 정의와 수학 방정식을 읽었지만 실제로 도움이되지는 않습니다. (생태계를 공부하는 학부생입니다.)

랜덤 변수는 어떻게 단일 숫자로 수렴하지만 분포로 수렴 할 수 있습니까?

— 니 스펠라
소스

1

"어떻게 할 수 확률 변수의 수렴 하나의 숫자 만 도는 수렴 유통?" -RV가 일반적으로 단일 숫자 또는 전체 분포로 수렴 될 수 있는지 혼동이 있는지 확인하는 것이 좋습니다. "단일 숫자"가 본질적으로 특별한 유형의 분포라는 사실을 알게되면 수수께끼는 없습니다. 또는 하나의 RV가 하나의 수렴 모드에 따라 상수로 수렴하지만 다른 수렴 모드에 따라 분포로 수렴하는 방법이 혼란인지 여부?

— Silverfish

1

@CloseToC와 같이 나는 한편으로 가 "무증상 정상" 이라고 들었던 회귀를 발견했는지 궁금 하지만 다른 한편으로는 그것이 진정한 수렴된다고 들었습니다 .

β^ $\hat \beta$

β $\beta$

— Silverfish

@ Silverfish, 나는 실제로하지 않았습니다!

— nicefella

25

난수가 어떻게 상수로 수렴 할 수 있습니까?

상자에 개의 공이 있다고 가정 해 봅시다 . 하나씩 선택할 수 있습니다. 당신이 공 을 고른 후 , 나는 당신에게 묻습니다 : 상자에있는 공의 평균 무게는 얼마입니까? 가장 좋은 대답은 입니다. 자체가 임의의 값 이라는 것을 알고 있습니까? 먼저 선택한 공 에 따라 다릅니다 . $N$ $k$ $\bar x_k=\frac{1}{k}\sum_{i=1}^kx_i$ $\bar x_k$ $k$

이제 공을 계속 당기면 어느 시점에서 상자에 공이 남지 않고 됩니다. $\bar x_N\equiv\mu$

그래서 우리는 랜덤 시퀀스 에 상수 수렴합니다. . 따라서 수렴 확률로 문제를 이해하는 열쇠 는 특정 방식으로 구성된 임의의 변수 시퀀스에 대해 이야기하고 있다는 것을 깨닫는 것 입니다.

x ¯ 1, \dots, x ¯ k, \dots, x ¯ N, x ¯ N, x ¯ N, \dots

$\bar x_1,\dots,\bar x_k, \dots, \bar x_N ,\bar x_N, \bar x_N, \dots$

x¯N=μ $\bar x_N = \mu$

다음으로 균일 한 난수 얻습니다 . 여기서 입니다. 랜덤 시퀀스에서 살펴 보자 , . 모든 조항은 임의의 값이기 때문에, 임의의 값입니다. 가 무엇인지 예측할 수 없습니다 . 그러나 의 확률 분포 는 표준 정규 과 주장 할 수 있습니다 . 이것이 분포가 수렴하는 방식입니다. $e_1,e_2,\dots$ $e_i\in [0,1]$ $\xi_1,\xi_2,\dots$ $\xi_k=\frac{1}{\sqrt{\frac{k}{12}}}\sum_{i=1}^k \left(e_i- \frac{1}{2} \right)$ $\xi_k$ $\xi_k$ $\xi_k$ $\mathcal{N}(0,1)$

— 악사 칼
소스

1

N에 도달 한 후 첫 번째 예에서 무작위 변수의 순서는 무엇입니까? 한도는 어떻게 평가됩니까?

— ekvall

직관 일뿐입니다. 무한한 상자를 상상해보십시오. 추정값 는 모집단 평균 수렴합니다 .

엑스¯∞ $\bar x_\infty$

μ $\mu$

— Aksakal

21

이 질문을 읽는 독자가 임의의 변수는 물론 수렴에 대해 얼마나 직관을 가질 수 있는지는 확실하지 않으므로 답이 "매우 작은"것처럼 쓰겠습니다. 힘의 도움이 뭔가 : 오히려 생각보다 "어떻게 확률 변수의 수렴"어떻게 물어 시퀀스 확률 변수의 수렴 할 수 있습니다. 다시 말해, 그것은 단지 하나의 변수가 아니라 (무한하게 긴!) 변수 목록이며, 나중에 목록에있는 변수는 점점 더 가까워지고 있습니다. 아마도 단일 숫자, 아마도 전체 분포 일 것입니다. 직관을 발전시키기 위해서는 "더 가깝고 더 가까운"의 의미를 알아 내야합니다. 랜덤 변수에 대한 수렴 모드 가 너무 많은 이유 는 여러 유형의 "

먼저 실수 시퀀스의 수렴을 요약 해 봅시다. 에서 우리가 사용할 수있는 유클리드 거리 가 얼마나 가까운 지 측정합니다 . 고려 . 그런 다음 시퀀스 는 그리고 이 수렴 한다고 주장합니다 . 분명히 점점 더 가까이 에 ,하지만 것 또한 사실이다 가까이 점점 $\mathbb{R}$ $|x-y|$ $x$ $y$ $x_n = \frac{n+1}{n} = 1 + \frac{1}{n}$ $x_1, \, x_2, \, x_3, \dots$ $2, \frac{3}{2}, \frac{4}{3}, \frac{5}{4}, \frac{6}{5}, \dots$ $x_n$ $1$ $x_n$ $1$ $x_n$ $0.9$ . 예를 들어, 세 번째 항부터 순서의 항 은 에서 이하 의 거리입니다 . 중요한 것은 그들이 임의로 가까워 지지만 아니라는 것 입니다. 순서의 어떤 용어는 지금까지 내 오지 의 , 혼자 숙박 할 후속 용어 가깝습니다. 콘트라스트에 그렇다 부터 및 이후의 모든 조건은 내에 의 아래와 같이. $0.5$ $0.9$ $1$ $0.9$ $0.05$ $0.9$ $x_{20}=1.05$ $0.05$ $1$ $0.05$ $1$

(n + 1) / n에서 1 로의 수렴

나는 엄격한 될 수 및 수요 조건은 얻을 내 숙박 의 ,이 예제에서 나는이 용어 마찬가지입니다 찾을 수 년 이후. 또한 내가 선택할 수 있는 친밀감의 고정 임계 값 , 얼마나 엄격한 상관없이 (를 제외하고 , 즉 용어가 실제로있는 ), 결국 조건 은 특정 용어 이외의 모든 용어에 대해 만족 될 것입니다 (기호 적으로 : , 여기서 값은 얼마나 엄격한 지에 달려 있습니다) $0.001$ $1$ $N=1000$ $\epsilon$ $\epsilon = 0$ $1$ $|x_n - x| \lt \epsilon$ $n \gt N$ $N$ $\epsilon$ 나는 선택했다). 더 복잡한 예제의 경우, 조건이 처음 충족 될 때 반드시 관심이있는 것은 아니라는 점에 유의하십시오. 다음 용어는 조건에 따르지 않을 수 있으며 순서에 따라 용어를 더 찾을 수있는 한 괜찮습니다. 조건이 충족 및 숙박은 이후의 모든 용어를 만났다. I는 예시 이것 에 또한 수렴 과 다시 음영. $x_n = 1 + \frac{\sin(n)}{n}$ $1$ $\epsilon=0.05$

1 + sin (n) / n을 1로 수렴

이제 및 임의 변수 시퀀스 . 이는 , , 의 RV 시퀀스입니다 . 어떤 의미에서 이것이 자체에 가까워지고 있다고 말할 수 있습니까? $X \sim U(0,1)$ $X_n = \left(1 + \frac{1}{n}\right) X$ $X_1 = 2X$ $X_2 = \frac{3}{2} X$ $X_3 = \frac{4}{3} X$ $X$

이후 및 분포, 단지 하나없는 번호, 조건이 은 이제 이벤트입니다 . 고정 된 및 이러한 상황이 발생하거나 발생하지 않을 수 있습니다 . 그것이 충족 될 확률을 고려하면 확률이 수렴하게됩니다 . 들어 우리는 보완 확률 원하는 - 직관적, 확률 (적어도에 의해 다소 차이가 에) -에 충분히 커서 임의로 작아지다 $X_n$ $X$ $|X_n - X| \lt \epsilon$ $n$ $\epsilon$ $X_n \overset{p}{\to} X$ $P(|X_n - X| \ge \epsilon)$ $X_n$ $\epsilon$ $X$ $n$ . 고정 경우 전체 확률 이 , , , 그리고이 확률 시퀀스가 0으로 수렴하면 (예 에서처럼) 은 에 확률 적으로 수렴 한다고 합니다. 확률 한계는 종종 상수입니다. 예를 들어 계량 경제학의 회귀 분석에서 표본 크기 됩니다 . 그러나 여기 $\epsilon$ $P(|X_1 - X| \ge \epsilon)$ $P(|X_2 - X| \ge \epsilon)$ $P(|X_3 - X| \ge \epsilon)$ $\dots$ $X_n$ $X$ $\text{plim}(\hat \beta) = \beta$ $n$ $\text{plim}(X_n) = X \sim U(0,1)$ . 효과적으로, 그것은 가능성 있다고 확률 수단의 융합 및 특정 구현에 많은 차이 것이다 - 나는 확률 할 수 와 보다 더 인 너무 오래 나는를 선택으로, 내가 원하는대로 떨어져 작은 등을 충분히 큰 . $X_n$ $X$ $X_n$ $X$ $\epsilon$ $n$

이 가까워지는 다른 의미는 분포가 점점 더 비슷해 보인다는 것입니다. CDF를 비교하여이를 측정 할 수 있습니다. 특히, 일부 선택 하는 연속 (우리의 예에서는 의 CDF 사방 연속하고 그래서 할 것)하고 평가 시퀀스의 CDF가 있습니다. 이렇게하면 , , , 등 의 확률 시퀀스가 생성 시퀀스는 수렴됩니다 . CDF는 $X_n$ $X$ $x$ $F_X(x) = P(X \leq x)$ $X \sim U(0,1)$ $x$ $X_n$ $P(X_1 \leq x)$ $P(X_2 \leq x)$ $P(X_3 \leq x)$ $\dots$ $P(X \leq x)$ $x$ 의 각각 임의로 확대의 CDF로되어 평가에서 . 선택한 관계없이이 결과가 참이면 은 분포 에서 로 수렴합니다 . 여기서 발생하는 것으로 나타 났으며, 확률의 수렴이 분포의 수렴을 의미 하므로 놀라지 않아야합니다 . 참고 그것이 그렇지 않을 수 일정한 분포에 특정 비축 퇴성 확률 분포에 수렴하지만, 수렴. $X_n$ $X$ $x$ $x$ $X_n$ $X$ $X$ $X$ $X_n$ (원래의 질문에서 혼동의 여지가 있었을 가능성은 어느 정도입니까? 그러나 나중에 설명을 주목하십시오.)

다른 예를 들어, 보자 . 이제 RV 시퀀스가 있습니다 : , , , 및 확률 분포가 에서 급격히 줄어든다는 것이 분명합니다 . 지금 축퇴 분포 고려 I는 평균되는, . 임의의 에 대해, 시퀀스 는 0으로 수렴하여 이 로 수렴 한다는 것을 . 결과적으로 $Y_n \sim U(1, \frac{n+1}{n})$ $Y_1 \sim U(1,2)$ $Y_2 \sim U(1,\frac{3}{2})$ $Y_3 \sim U(1,\frac{4}{3})$ $\dots$ $y=1$ $Y=1$ $P(Y=1)=1$ $\epsilon \gt 0$ $P(|Y_n - Y| \ge \epsilon)$ $Y_n$ $Y$ $Y_n$ 또한 CDF를 고려하여 확인할 수있는 배포에서 로 수렴해야합니다 . 의 CDF 가 에서 불연속 이기 때문에 해당 값에서 평가 된 CDF를 고려할 필요는 없지만 다른 에서 평가 된 CDF의 경우 서열 , , , 에 수렴 에 대한 제로 와 하나의 . 이번에는 RV의 시퀀스가 확률로 상수로 수렴되었으므로 분포에 따라 상수로 수렴했습니다. $Y$ $F_Y(y)$ $Y$ $y=1$ $y$ $P(Y_1 \leq y)$ $P(Y_2 \leq y)$ $P(Y_3 \leq y)$ $\dots$ $P(Y \leq y)$ $y \lt 1$ $y \gt 1$

몇 가지 최종 설명 :

수렴의 확률은 분포의 수렴을 의미하지만, 그 대화는 일반적으로 거짓입니다. 두 변수가 같은 분포를 가지고 있다고해서 반드시 서로 가까이 있어야 할 필요는 없습니다. 간단한 예제의 경우 및 . 그러면 와 는 정확히 같은 분포 (각각 0 또는 1 일 확률이 50 % 임)이며 시퀀스 즉 이동하는 시퀀스 는 로 배포됩니다 . 시퀀스의 어느 위치에서나 CDF는 의 CDF와 동일합니다 . 하지만 와 $X\sim\text{Bernouilli}(0.5)$ $Y=1-X$ $X$ $Y$ $X_n=X$ $X,X,X,X,\dots$ $Y$ $Y$ $Y$ $X$ 이므로 항상 0이 아니므로 은 로 수렴하지 않습니다 . 그러나 상수 분포 에 수렴이있는 경우 해당 상수에 대한 확률의 수렴을 의미합니다 (직관적으로 더 많은 시퀀스에서는 해당 상수와 멀지 않을 것입니다). $P(|X_n - Y| \ge 0.5)=1$ $X_n$ $Y$
필자의 예제에서 알 수 있듯이 확률의 수렴은 일정 할 수 있지만 반드시 그럴 필요는 없습니다. 분포의 수렴도 일정 할 수 있습니다. 일정 확률로 확률로 수렴 할 수 없지만 특정 비 퇴화 분포로의 분포 수렴 또는 그 반대로 수렴 할 수는 없습니다.
예를 들어, 시퀀스 이 다른 시퀀스 수렴 습니까? 시퀀스라는 것을 알지 못했을 수도 있지만, 그것이 의존하는 분포라면 공짜가 될 것 입니다. 두 서열이 일정하게 수렴 될 수있다 (즉, 퇴화 분포). 귀하의 질문에 따르면 특정 RV 시퀀스가 어떻게 상수와 분포로 수렴 할 수 있는지 궁금합니다. 이것이 당신이 묘사 한 시나리오인지 궁금합니다. $X_n$ $Y_n$ $n$
내 현재 설명은 "직관적"이 아닙니다. 직관을 그래픽으로 만들려고했지만 아직 RV에 대한 그래프를 추가 할 시간이 없었습니다.

— 은어
소스

16

내 생각에 기존 답변은 모두 유용한 요점을 전달하지만 두 가지 수렴 모드 사이에 중요한 구분이 명확하지 않습니다.

하자 , 및 확률 변수 일. 직관을 위해 에 각 에 대해 약간 변경되는 임의의 무작위 실험에 의해 값이 할당되고 무한한 무작위 변수 시퀀스가 제공되고 가 다른 임의의 실험에 의해 할당 된 값을 얻는다고 가정하십시오 . $X_n$ $n=1,2,\dots$ $Y$ $X_n$ $n$ $Y$

경우 , 우리는 정의에 의해, 확률 것을 와 어떤 임의의 소량에 의해 서로 다른는 제로에 접근 에 대한 당신의 작은 금액으로 처럼. 느슨하게 말해서, 시퀀스에서 멀리 떨어져서 , 우리는 과 가 서로 매우 가까운 값을 취할 것이라고 확신 합니다. $X_n\overset{p}{\to}Y$ $Y$ $X_n$ $n\to\infty$ $X_n$ $X_n$ $Y$

반면에 분포에 수렴 만 있고 확률에 수렴하지 않는 경우 큰 경우 는 거의 모든 대해 와 거의 같습니다 . 이것은 과 의 값이 서로 얼마나 가까운 지에 대해서는 아무 것도 말하지 않습니다 . 예를 들어, 이므로 도 큰 대해 이와 거의 비슷하게 분포되어 있으면 및 값이 직관적으로 보일 수 있습니다. $n$ $P(X_n\leq x)$ $P(Y\leq x)$ $x$ $X_n$ $Y$ $Y\sim N(0, 10^{10})$ $X_n$ $n$ $X_n$ $Y$ 주어진 관측에서 상당히 다를 것입니다. 결국, 분포의 수렴 이외의 제한이 없다면, 모든 실질적인 이유로 독립 변수 일 수 있습니다. $N(0,10^{10})$

(어떤 경우에는 과 를 비교하는 것이 합리적이지 않을 수도 있습니다 . 아마도 같은 확률 공간에 정의되어 있지 않을 수도 있습니다. 이것은 더 기술적 인 메모입니다.) $X_n$ $Y$

— ekvall
소스

1

(+1) 당신은 을 변경할 필요조차 없습니다 -나는 이것에 대한 세부 사항을 내 대답에 추가하려고했지만 길이에 근거하여 그것에 대해 결정했습니다. 그러나 나는 그것이 가치가 있다고 생각합니다.

Xn $X_n$

— Silverfish

12

내가 이해하지 못하는 것은 무작위 변수가 단일 숫자로 수렴하지만 분포로 수렴하는 방법입니다.

계량 경제학을 배우고 있다면 아마도 회귀 모형의 맥락에서 이것에 대해 궁금 할 것입니다. 그것은 퇴화 분포, 상수로 수렴합니다. 그러나 다른 것에는 비 퇴행 적 제한 분포가 있습니다.

$\hat{\beta}_n$ 필요한 가정이 충족되면 은 확률로 수렴 합니다. 이는 충분히 큰 표본 크기 을 선택 함으로써 추정기가 실제 모수에 원하는만큼 가깝고 원하는만큼 더 멀어 질 확률이 있음을 의미합니다. 다양한 대해 의 히스토그램을 플로팅하려는 경우 결국 중심의 스파이크가 됩니다. $\beta$ $N$ $\hat{\beta}_n$ $n$ $\beta$

은 어떤 의미 에서 배포에 수렴합니까? 또한 상수로 수렴합니다. 정규 분포의 랜덤 변수가 아닙니다. 의 분산을 계산하면 과 함께 축소됩니다 . 따라서 결국 충분히 큰 에서 0으로 이동 하므로 추정기가 일정하게 유지됩니다. 정규 분포 확률 변수에 수렴하는 것은 $\hat{\beta}_n$ $\hat{\beta}_n$ $n$ $n$

$\sqrt{n}(\hat{\beta}_n - \beta)$ . 그것의 분산을 취하면 줄어들거나 커지지 않는다는 것을 알 수 있습니다 . 매우 큰 표본에서는 표준 가정 하에서 대략 입니다. 그런 다음이 근사값을 사용하여 큰 표본에서 의 분포를 근사화 할 수 있습니다 . $n$ $N(0, \sigma^2)$ $\hat{\beta}_n$

그러나 의 제한 분포도 상수 라는 것이 맞습니다 . $\hat{\beta}_n$

— CloseToC
소스

1

이것을 비율에서 증가시키면서 "돋보기를 사용하여 을 보는"것으로 간주 하십시오 .

βn^ $\hat{\beta_n}$

n $n$

$\sqrt{n}$

— kjetil b halvorsen

7

아주 간단한 예를 사용하여 아주 짧은 대답을 드리겠습니다.

분포의 수렴

하자 모든 N 들면, 다음 수렴에 분배한다. 그러나, 의 실현에있어서의 랜덤 시간이 지나도 변하지 않는다. 값을 예측해야한다면 시간이 지나도 오류에 대한 기대치는 변하지 않습니다. $X_n \sim N\left(\frac{1}{n}, 1 \right)$ $X_n$ $X \sim N(0, 1)$ $X_n$ $X_n$

수렴 확률

이제 확률이 이고 값이 임의의 변수 을 고려하고 그렇지 않으면 . 이 무한 대로되면서 이 과 같아 것 입니다. 따라서 은 확률 적으로 수렴 한다고 합니다. 이것은 또한 이 으로의 분포로 수렴 함을 의미 합니다. $Y_n$ $0$ $1-\frac{1}{n}$ $1$ $n$ $Y_n$ $0$ $Y_n$ $0$ $Y_n$ $0$

— 스벤
소스