베타 랜덤 변수의 역 정규 CDF는 어떤 분포를 따르는가?

다음을 정의한다고 가정하십시오.

$$X\sim\mbox{Beta}(\alpha,\beta)$$

$$Y\sim \Phi^{-1}(X)$$

여기서 $\Phi^{-1}$ 은 표준 정규 분포 의 CDF의 역수입니다 .

내 질문은 : Y가 따르는 간단한 분포가 있습니까 , 아니면 Y와 근사 할 수 있습니까? $Y$$Y$나는 α 와 β 가 높을 때 $Y$ 가 정규 분포로 수렴 한다는 시뮬레이션 결과 (아래 그림 참조)를 기반으로 강한 의혹을 가지고 있기 때문에 묻습니다 .하지만 왜 수학적으로 그럴지 모르겠습니다. (물론 α = 1 ; β = 1 인 경우 X 는 균일하고 Y 는 표준 표준이되지만 더 높은 값에 대해서는 왜 그렇 습니까?)$\alpha$$\beta$$\alpha=1;\beta=1$$X$$Y$

이것이 법선에 수렴하면 $\alpha$ 와 관점에서 그 법선의 매개 변수는 무엇 $\beta$입니까? (평균은 $\Phi^{-1}(\frac{\alpha}{\alpha+\beta})$는 모드의 변환이므로 표준 편차를 모릅니다).

(또 다른 방법으로, 이것은 " $\Phi(\mbox{Norm}(\mu, \sigma))$ 가 $\mu$ 와 의 일부 방향에 대해 베타 분포로 수렴 $\sigma$합니까?" 라고 묻는 것일 수 있습니다 .) 대답하기 쉬운 지 확실하지 않습니다).

시뮬레이션 결과

여기에 왜 결과가 정상이라는 의혹이 있는지 보여줍니다 (수학으로 백업 할 수 없기 때문에). 시뮬레이션은 및 로 R에서 수행 할 수 있습니다 . 예를 들어 높은 매개 변수 α = 3000 및 β = 7000을 선택하면 다음 과 같습니다.$Y$qnormrnorm$\alpha=3000$$\beta=7000$

hist(qnorm(rbeta(5000, 3000, 7000)))

이는 정상적인보고 수행하고, qqnorm및 샤피로-Wilk 시험 때문에뿐만 아니라 (정상은 귀무 가설이있는) 제안을 :

qqnorm(qnorm(rbeta(5000, 3000, 7000)))

shapiro.test(qnorm(rbeta(5000, 3000, 7000)))
#> 
#>  Shapiro-Wilk normality test
#> 
#> data:  qnorm(rbeta(5000, 3000, 7000))
#> W = 0.99954, p-value = 0.2838

정규성을 조금 더 깊게 탐색하기 위해 매번 에서 5,000 값을 시뮬레이션 한 다음 테스트를 수행하여 정규과 비교 하는 2,000 개의 시뮬레이션 을 수행합니다. (5K 값을 선택했습니다. 최대 값 이 처리 할 수 ​​있고 표준 편차를 감지 할 수있는 힘을 최대화하기 때문입니다 ).$Y$shapiro.test

분포가 실제로 정상이면 p- 값이 균일 할 것으로 예상됩니다 (null이 참이므로). 그것들은 실제로 균일에 가깝고 분포가 정규에 매우 가깝다는 것을 나타냅니다.

hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 3000, 7000)))$p.value))

일부 실험에 따르면 와 β 가 높을수록 분포가 정상에 가까워지는 것으로 나타났습니다 (예를 들어 정상과 는 거리가 멀지 만 시도해 보면 중간에있는 것 같습니다).$\alpha$$\beta$rbeta(5000, 3, 7)hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 30, 70)))$p.value))

개요

샘플 중앙값에 대한 중앙 한계 정리에 설명 된 구성의 일부를 다시 발견 했으며 , 이는 샘플 의 중앙값 분석을 보여줍니다. (분석 분명히 적용 준용를 , 어떤 분위수에,뿐만 아니라 중간 값). 따라서 (큰 샘플에 해당하는) 큰 베타 매개 변수의 경우 문제에 설명 된 변환에서 정규 분포가 발생한다는 것은 놀라운 일이 아닙니다. 중요한 것은 분포가 작은 베타 매개 변수에 대해서도 정규에 얼마나 가까운 지 입니다. 설명이 필요합니다.

아래에 분석을 스케치하겠습니다. 이 게시물을 적당한 길이로 유지하려면 많은 제안이 필요합니다. 핵심 아이디어 만 지적하고자합니다. 따라서 결과를 여기에 요약하겠습니다.

1. 때 에 가까운 β , 모든 것이 대칭이다. 이로 인해 변환 된 분포가 이미 정상으로 보입니다.$\alpha$$\beta$

2. 형식의 함수는 작은 값의 α 및 β ( 1을 초과 하고 비율이 너무 높지 않은 경우에도)에서 처음에는 보통 정상으로 보입니다. 0 또는 1에 가까움 ).$\Phi^{\alpha-1}(x)\left(1-\Phi(x)\right)^{\beta-1}$$\alpha$$\beta$$1$$0$$1$

3. 변환 된 분포의 명백한 정규성은 밀도가 (2)의 함수를 곱한 정규 밀도로 구성되어 있기 때문입니다.

4. 마찬가지로 와 β 증가, 정규성에서 출발은 로그 밀도 테일러 시리즈의 나머지로 측정 할 수있다. 차수 n 의 항은 α 와 β 의 ( n - 2 ) / 2 제곱 에 비례하여 감소 합니다. 이는 결국 충분히 큰 α 및 β 에 대해 n = 3 이상의 모든 항의 항이 상대적으로 작아 져 2 차만 남게됩니다. 이는 정확히 정규 분포의 로그 밀도입니다.$\alpha$$\beta$$n$$(n-2)/2$$\alpha$$\beta$$\alpha$$\beta$$n=3$

종합적으로, 이러한 거동은 작은 및 β 의 경우에도 iid Normal 샘플의 극한이 아닌 Quantile이 대략 Normal 인 이유를 잘 설명 합니다.$\alpha$$\beta$

---

분석

그것을 일반화하는 것이 유용 할 수 있기 때문에,하자 될 수 있는 우리가 염두에두고 있지만, 분포 함수 F = Φ .$F$$F=\Phi$

베타 ( α , β ) 변수 의 밀도 함수 는 정의에 따라$g(y)$$(\alpha,\beta)$

$$y^{\alpha-1}(1-y)^{\beta-1}dy.$$

시키는 확률 적분으로 변환 될 X 및 기록 F 의 유도체 F하는 것으로, 그것은 즉각적 X가 에 비례하는 밀도$y=F(x)$$x$$f$$F$$x$

$$G(x;\alpha,\beta)=F(x)^{\alpha-1}(1-F(x))^{\beta-1}f(x)dx.$$

이것은 강력한 단봉 분포 (단일 베타)의 단조로운 변환이기 때문에 가 다소 이상 하지 않으면 변환 된 분포도 단봉이됩니다. 노멀에 얼마나 가까운 지 연구하기 위해 밀도의 로그를 살펴 보겠습니다.$F$

$$\log G(x;\alpha,\beta) = (\alpha-1)\log F(x) + (\beta-1)\log(1-F(x)) + \log f(x) + C\tag{1}$$

여기서 는 관련이없는 정규화 상수입니다.$C$

Taylor 시리즈에서 의 성분을 확장하여 값 x 0 주위에 3을 정렬합니다 (이는 모드에 가깝습니다). 예를 들어, 로그 F 의 확장을 다음 과 같이 쓸 수 있습니다.$\log G(x;\alpha,\beta)$$x_0$$\log F$

$$\log F(x) = c^{F}_0 + c^{F}_1 (x-x_0) + c^{F}_2(x-x_0)^2 + c^{F}_3h^3$$

몇 동안 | h | ≤ | x − x 0 | . log ( 1 - F ) 와 log f에 대해 비슷한 표기법을 사용하십시오 . $h$$|h| \le |x-x_0|$$\log(1-F)$$\log f$

선형 항

따라서 의 선형 항 은$(1)$

$$g_1(\alpha,\beta) = (\alpha-1)c^{F}_1 + (\beta-1)c^{1-F}_1 + c^{f}_1.$$

경우 의 모드 G는 $x_0$ 이 식은 0입니다. 계수는 x 0 의 연속 함수이므로 α 및 β 가변하기때문에 모드 x 0 도 연속적으로 변합니다. 또한, 일단 α 및 β 가 충분히 크면, c f 1 항은 비교적 중요하지 않게된다. 우리는 한계를 연구하는 것을 목표로하면 α → ∞ 및 β → ∞ 되는 α : β 일정 비율의 숙박 γ$G(\,;\alpha,\beta)$$x_0$$\alpha$$\beta$$x_0$$\alpha$$\beta$$c^{f}_1$$\alpha\to\infty$$\beta\to\infty$ $\alpha:\beta$$\gamma$따라서 우리는 한번에 모든 기준점 을 선택할 수 있습니다.$x_0$

$$\gamma c^{F}_1 + c^{1-F}_1 = 0.$$

좋은 예는 이고, 여기서 α = β 이며, F 는 약 0 입니다. 이 경우는 명백한 X 0 = F ( 0 ) = 1 / 2 .$\gamma=1$$\alpha=\beta$$F$$0$$x_0=F(0)=1/2$

우리는 (a) 한계에서 테일러 시리즈의 1 차 항이 사라지고 (b) 방금 설명한 특별한 경우 1 차 항이 항상 0 인 방법을 달성했습니다.

Quadratic terms

These are the sum

$$g_2(\alpha,\beta) = (\alpha-1)c^{F}_2 + (\beta-1)c^{1-F}_2 + c^{f}_2.$$

Comparing to a Normal distribution, whose quadratic term is $-(1/2)(x-x_0)^2/\sigma^2$, we may estimate that $-1/(2g_2(\alpha,\beta))$ is approximately the variance of $G$. Let us standardize $G$ by rescaling $x$ by its square root. we don't really need the details; it suffices to understand that this rescaling is going to multiply the coefficient of $(x-x_0)^n$ in the Taylor expansion by $(-1/(2g_2(\alpha,\beta)))^{n/2}.$

Remainder term

Here's the punchline: the term of order $n$ in the Taylor expansion is, according to our notation,

$$g_n(\alpha,\beta) = (\alpha-1)c^{F}_n + (\beta-1)c^{1-F}_n + c^{f}_n.$$

표준화 후에는

$$g_n^\prime(\alpha,\beta) = \frac{g_n(\alpha,\beta)}{(-2g_2(\alpha,\beta))^{n/2})}.$$

Both of the $g_i$ are affine combination of $\alpha$ and $\beta$. By raising the denominator to the $n/2$ power, the net behavior is of order $-(n-2)/2$ in each of $\alpha$ and $\beta$. As these parameters grow large, then, each term in the Taylor expansion after the second decreases to zero asymptotically. In particular, the third-order remainder term becomes arbitrarily small.

The case when $F$ is normal

The vanishing of the remainder term is particularly fast when $F$ is standard Normal, because in this case $f(x)$ is purely quadratic: it contributes nothing to the remainder terms. Consequently, the deviation of $G$ from normality depends solely on the deviation between $F^{\alpha-1}(1-F)^{\beta-1}$ and normality.

This deviation is fairly small even for small $\alpha$ and $\beta$. To illustrate, consider the case $\alpha=\beta$. $G$ is symmetric, whence the order-3 term vanishes altogether. The remainder is of order $4$ in $x-x_0=x$.

Here is a plot showing how the standardized fourth order term changes with small values of $\alpha \gt 1$:

The value starts out at $0$ for $\alpha=\beta=1$, because then the distribution obviously is Normal ($\Phi^{-1}$ applied to a uniform distribution, which is what Beta$(1,1)$ is, gives a standard Normal distribution). Although it increases rapidly, it tops off at less than $0.008$--which is practically indistinguishable from zero. After that the asymptotic reciprocal decay kicks in, making the distribution ever closer to Normal as $\alpha$ increases beyond $2$.

Convergence

Suppose that $\alpha = \beta$ and let $\alpha \to \infty$ and take any small $\varepsilon > 0$. Then $var(X) \to 0$. By Chebyshev's inequality we have $\mathbb{P} [\vert X - 0.5 \vert > \varepsilon] \to 0$ and $\mathbb{P} [\vert Y \vert > \varepsilon] \to 0$. This means that $Y$ converges in probability (not in distribution actually it converges in distribution - to singleton).

Exact distribution

Denote by $f_X$ the density of beta distribution. Then your variable $Y$ has density

$$f_Y (y) = f_X ( \Phi (y) ) \phi (y).$$ Since $\Phi$ does not have a closed form I believe that this is the furthest you can get (analytically). You can try to put it into FullSimplify function in Wolfram Mathematica to see if it finds some better form.

Here is the density in R so you can plot it instead of histogram.

f_y <- function(x, alpha, beta) {
  dbeta(pnorm(x), alpha, beta) * dnorm(x)
}

Modification

However, you are maybe interested in distribution of

$$Z = \Phi^{-1} (\sqrt{\alpha} X)$$ . (still assuming $\alpha = \beta$) This may be useful because $var(\sqrt{\alpha} X) \to 1/8$ (useful because it is not zero).

Here I present a heuristic explanation (which can be made rigorous at least asymptotically). For simplicity, take $k \in \mathbb N$, $k \geq 2$. Let $X \sim \text{Beta}(k,k)$. I want to argue that $Y = \Phi^{-1}(X)$ is approximately normal.

Now let $n=2k-1$. We start by drawing $n$ i.i.d. uniformly distributed random variables $U_1, \dotsc, U_n$. Next, form the order statistics $U_{(1)} \leq \dotsc \leq U_{(n)}$.

It is well known that $U_{(k)} \sim \text{Beta}(k, n+1-k)$, thus:

$$U_{(k)} \sim \text{Beta}(k, k)$$

In other words: The sample median of $n$ i.i.d. uniformly distributed random variables is $\text{Beta}(k,k)$ distributed.

Now let's transform by $Z_i = \Phi^{-1}(U_i)$. Then by the probability integral transform, the $Z_i$ are i.i.d. normally distributed. Also form the order statistics of the $Z_i$ ($Z_{(1)} \leq \dotsc \leq Z_{(n)}$). Since $\Phi^{-1}$ is strictly increasing, it follows that:

$$\Phi^{-1}(U_{(k)}) = Z_{(k)}$$

Therefore, to show that $Y$ is approximately normal, we just have to argue that the sample median of $n$ i.i.d. normal random variables is approximately normal.

For $k$ large, this can be made precise by a central limit theorem for sample medians. For $k$ small, say $k=2$, I will let everyone's gut feeling do the speaking.

For $a \neq b$ (but not too different) one can argue similarly by using corresponding quantiles.