IID 균일 랜덤 변수 샘플의 최대 확률 확률 함수를 어떻게 계산합니까?

45

임의의 변수가 주어지면

Y = max (X_{1}, X_{2}, \dots, X_{n})

$Y = \max(X_1, X_2, \ldots, X_n)$

어디 $X_i$ IID 유니폼 변수는 어떻게의 PDF 계산합니까이다 $Y$ ?

pdf maximum

— 마스카 르포 네
소스

4

이것이 숙제라면 FAQ를 읽고 그에 따라 질문을 업데이트하십시오.

— 추기경

Vandermonde의 아이덴티티를 사용하여 2 차 통계의 공동 함수를 F_y (r) * G_y (r)라고 표시 할 수 있습니까?

— larry mintz 2016 년

관심이 없다면 어떤 종류의 문제가 이런 종류의 문제를 다루고 있습니까? 공학 확률 코스에서 만난 것이 아닙니다.

— Alex

@Alex 리샘플링을 다루는 통계 과정은 어떻습니까?

— SOFE

64

이 질문이 숙제 일 수도 있지만이 고전적인 기초 확률 질문에 몇 달이 지나도 여전히 완전한 답이 부족하다고 생각했기 때문에 여기에 하나를 드리겠습니다.

문제 진술에서 우리는

Y = max {X_{1}, . . ., X_{n}}

$Y = \max \{ X_1, ..., X_n \}$

여기서 은 iid 입니다. 샘플의 모든 요소가 보다 작은 경우에만 임을 알고 있습니다. 그런 다음 @varty의 힌트에 표시된 것처럼 가 독립적 이라는 사실과 결합 하여 추론 할 수 있습니다 $X_1, ..., X_n$ ${\rm Uniform}(a,b)$ $Y < x$ $x$ $X_i$

P (Y \leq x) = P (X_{1} \leq x, . . ., X_{n} \leq x) = \prod_{i = 1}^{n} P (X_{i} \leq x) = F_{X} (x)^{n}

$P(Y \leq x) = P(X_1 \leq x, ..., X_n \leq x) = \prod_{i=1}^{n} P(X_i \leq x) = F_{X}(x)^n$

여기서 는 균일 분포 의 CDF입니다 . 따라서 의 CDF 는 $F_{X}(x)$ $Y$

F_{Y} (y) = P (Y \leq y) = {\begin{cases} 0 & y \leq a \\ {[(y - a) / (b - a)]}^{n} & y \in (a, b) \\ 1 & y \geq b \end{cases}

$F_{Y}(y) = P(Y \leq y) = \begin{cases} 0 & y \leq a \\ \phantom{} \left[ (y-a)/(b-a) \right]^n & y\in(a,b) \\ 1 & y \geq b \\ \end{cases}$

때문에 절대적 연속 분포가 우리는 CDF를 미분하여 그 밀도를 유도 할 수있다 . 따라서 의 밀도 는 $Y$ $Y$

p_{Y} (y) = \frac{n (y - a)^{n - 1}}{(b - a)^{n}}

$p_{Y}(y) = \frac{n(y-a)^{n-1}}{(b-a)^{n}}$

특별한 경우, , 우리가 가지고 (A)의 밀도이며, 베타 분포 와 및 이후 입니다. $a=0,b=1$ $p_{Y}(y)=ny^{n-1}$ $\alpha=n$ $\beta=1$ ${\rm Beta}(n,1) = \frac{\Gamma(n+1)}{\Gamma(n)\Gamma(1)}=\frac{n!}{(n-1)!} = n$

참고로, 순서대로 샘플을 정렬 할 경우 얻는 순서를 주문 통계 라고합니다 . 이 답변의 일반화는 @bnaul의 답변에 명시된 바와 같이 분산 샘플 의 모든 주문 통계에 Beta 분포 가 있다는 것입니다. $X_{(1)}, ..., X_{(n)}$ ${\rm Uniform}(0,1)$

— 매크로
소스

이것은 실제로 숙제 질문이었습니다. 설명 주셔서 감사합니다.

— Paul PM

나는 여기에 당신의 통찰력을 가지고이 질문에 대답 할 수 있어야한다고 생각 하지만, 어떻게 해야할지 모르겠습니다. 당신이 나를 도울 수 있습니까? 이 일반적인 문제를 다루는 교과서 나 장을 추천 할 수 있습니까?

@PaulPM 관심이 없다면 어떤 종류의 문제가 이런 종류의 문제를 다루고 있습니까? 공학 확률 코스에서 만난 것이 아닙니다.

— Alex

6

샘플의 최대 값은 주문 통계 중 하나 , 특히 샘플 의 차 통계량 중 하나입니다 . 일반적으로 Wikipedia 기사에 설명 된대로 주문 통계 분포를 계산하는 것은 어렵습니다. 일부 특수 분포의 경우 주문 통계가 잘 알려져 있습니다 (예 : 베타 분포 된 주문 통계가있는 균일 분포). $n$ $X_1,\dots,X_n$

편집 : 샘플 최대 및 최소 에 대한 Wikipedia 기사 도 도움이되며 문제에 더 구체적입니다.

— 브 나울
소스

5

밀도가있는 분포의 경우 특정 주문 통계량의 한계 분포를 계산하는 것은 매우 간단합니다. 최소 및 최대와 같은 "특별한"주문 통계가 훨씬 더 쉽습니다.

— 추기경

나는 그것이 원래 질문에서 "계산"의 의미에 달려 있다고 생각합니다. 분명히 수치 적으로 그렇게하는 것은 간단합니다. 나는 폐쇄 형 솔루션을 찾는 방법을 묻는 질문을 해석했지만 일반적으로는 쉽지 않습니다.

— bnaul

8

@bnaul :하자 일 임의의 분포 함수 및하자 에서 샘플 수 IID . 하자 수 차 통계 번째. 그런 다음QED .

F (x) = P (X \leq x)

$F(x) = \mathbb P(X \leq x)$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

F

$F$

X_{(k)}

$\newcommand{Xk}{X_{(k)}}\Xk$

k

$k$

P (X_{(k)} \leq x) = \sum_{m = k}^{n} P (| {i : X_{i} \leq x} | = m) = \sum_{m = k}^{n} (\binom{n}{m}) F (x)^{m} (1 - F (x))^{n - m} .

$\mathbb P(\Xk \leq x) = \sum_{m=k}^n \mathbb P( |\{i: X_i \leq x\}| = m) = \sum_{m=k}^n {n \choose m} F(x)^m (1-F(x))^{n-m} \>.$

— 추기경

1

아마도 카디널스의 대답을 이해하는 방법은 (통일 순서 통계를 이해하면) cdfs는 균일 한 cdf의 단조로운 일대일 변환이기 때문에 항상 균일 한 관점에서 이벤트 {X <a}를 표현할 수 있다는 것입니다 무작위 변수 (몬테 카를로가 작동하는 이유). 따라서 균일 분포를 기반으로 한 결과는 다른 임의의 변수로 쉽게 일반화됩니다-변환 .

U = F_{X} (X)

$U=F_{X}(X)$

— 확률 론적

2

@probabilityislogic : 직관은 훌륭하지만 의견에 지속적인 임의 변수가있는 것처럼 보입니다. (예를 들어, 위의 두 번째 주석의 결과는 임의 분포 함수에서 작동합니다.)

— 추기경

1

경우 의 CDF이다 , 다음 그런 다음 IID 속성을 사용할 수 있으며, 균일 한 확률 변수의 CDF를 계산하기 . $F_{Y}(y)$ $Y$

F_{Y} (y) = Prob (y > X_{1}, y > X_{2}, . . ., y > X_{n})

$F_Y(y)=\text{Prob}(y>X_1,y>X_2,...,y>X_n)$

F_{Y} (y)

$F_Y(y)$

— 버티
소스

-3

적절하게 정규화 될 때 IID 랜덤 변수의 최대 세트는 일반적으로 세 가지 극단적 인 값 유형 중 하나로 수렴됩니다. 이것은 Gnedenko의 정리입니다. 극한에 대한 중앙 제한 정리의 동등성입니다. 특정 유형은 모집단 분포의 꼬리 동작에 따라 다릅니다. 이것을 알면 제한 분포를 사용하여 최대 분포를 근사 할 수 있습니다.

[a, b]의 균일 분포는이 질문의 주제이므로 Macro는 n에 대한 정확한 분포와 아주 좋은 답변을주었습니다. 결과는 다소 사소합니다. 정규 분포의 경우 양호한 닫힌 형태는 가능하지 않지만 정상의 최대 값은 Gumbel 분포 F (x) = exp (-e )로 수렴됩니다 . $^-$ $^x$

균일 한 경우 정규화는 (ba) -x / n 및 F (bax / n) = (1-x / [n (ba)]) $^n$ $^n$

이는 e 로 수렴합니다 . 여기서 y = bax / n입니다. y가 ba로 갈 때 F (y)는 1로 수렴합니다. 이것은 0을 모두 보유합니다. $^-$ $^x$ $^/$ $^($ $^b$ $^-$ $^a$ $^)$ $^n$

이 경우 정확한 값을 점근 제한과 쉽게 비교할 수 있습니다.

— 마이클 체 르닉
소스

4

이 대답을 실현 가능하게하려면 값을 "적절하게 정규화하는 방법"을 자세하게 지정 해야하며 점근 공식이 신뢰할 수있는 근사치가되기 전에 얼마나 큰 있어야 하는지 추정 할 수있는 방법도 제공 해야합니다.

n

$n$

— whuber

@whuber 누구나 정규화를보기 위해 Gnedenko의 정리를 볼 수 있습니다. 세 가지 유형 중 어느 것이 적용되는지를 결정하는 테일 특성도 마찬가지로 중요합니다. 정리는 고정 확률 론적 과정으로 일반화된다. 따라서 세부 사항을 알고 싶은 사람은 Leadbetter의 저서 또는 저의 박사 학위 논문을 볼 수 있습니다. n이 충분히 크면 모든 형태의 무증상에 대해 대답하기 어려운 질문입니다. Berry-Esseen 정리가 중심 한계 정리에 도움이된다고 생각합니다. 나는 극단과 비교할만한 것이 무엇인지 모른다.

— Michael Chernick