터무니없이 큰 Z 점수와 관련된 확률을 계산하는 방법은 무엇입니까?

네트워크 모티프 감지를위한 소프트웨어 패키지는 엄청나게 높은 Z- 점수를 반환 할 수 있습니다. 이 Z- 점수가 가짜임을 보여줄 계획입니다.

거대한 Z- 점수는 매우 낮은 관련 확률에 해당합니다. 관련 확률의 값은 예를 들어 최대 6의 Z- 점수에 대한 정규 분포 위키 백과 페이지 (및 아마도 모든 통계 교과서)에 제공됩니다.

질문 : 최대 1,000,000까지 n에 대해 오류 함수 을 어떻게 계산합니까?$1-\mathrm{erf}(n/\sqrt{2})$

특히 이미 구현 된 패키지를 사용하고 있습니다 (가능한 경우). 지금까지 내가 찾은 최고는 WolframAlpha이며 n = 150 ( here ) 동안 계산합니다 .

문제는 상보 오차 함수에 관한 것입니다

$$\textrm{erfc}(x) = \frac{2}{\sqrt{\pi}}\int_{x}^{\infty}\exp(-t^2) d t$$

"대형"값 ( 원래 질문의 경우 ), 즉 100에서 700,000 사이입니다. (실제로, 약 6보다 큰 값은 "큰"으로 간주해야합니다.) 이것은 p- 값을 계산하는 데 사용되므로 3 자리 이상의 유효 (10 진) 숫자를 얻는 데는 가치가 거의 없습니다. .$x$$=n/\sqrt{2}$

시작하려면 @Iterator가 제안한 근사를 고려하십시오.

$$f(x) = 1 - \sqrt{1 - \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right)},$$

어디

$$a = \frac{8(\pi-3)}{3(4-\pi)} \approx 0.439862.$$

이것은 오류 함수 자체에 대한 근사치 대한 끔찍한 근사치 입니다. 그러나 체계적으로 수정하는 방법이 있습니다.$\textrm{erfc}$

큰 값과 관련된 p- 값의 경우 상대 오차 이 있습니다. 세 개의 유효 값에 대해 절대 값이 0.001보다 작기를 바랍니다. 정밀도 불행하게도이 식은 배정 밀도 계산의 언더 플로로 인해 큰 대해 연구하기가 어렵습니다 . 다음은 한 번의 시도로, 대한 상대 오류 대 를 표시합니다 .$x$ $f(x)/\textrm{erfc}(x) - 1$$x$$x$$0 \le x \le 5.8$

가 5.3을 초과하면 계산이 불안정 해지고 5.8을 초과하는 유효 숫자 하나를 전달할 수 없습니다. 이것은 놀라운 일이 아닙니다. 이 배정 밀도 산술의 한계를 밀고 있습니다. 가 클수록 상대 오차가 상당히 작다는 증거는 없기 때문에 더 잘해야합니다 .$x$$\exp(-5.8^2) \approx 10^{-14.6}$$x$

확장 된 산술 계산 ( Mathematica 사용 )을 수행하면 현재 상황에 대한 그림이 향상됩니다.

따라 오류가 급격히 증가 하며 수평이 해제되지 않습니다. 과거 정도 인이 근사값은 신뢰할 수있는 한 자리수의 정보조차 제공하지 않습니다!$x$$x=10$

그러나 줄거리는 선형으로 보이기 시작합니다. 상대 오차가 직접 비례한다고 추측 할 수 있습니다 . (이것은 이론적 근거에서 의미가있다 : 는 명백하게 홀수 함수이고 는 명백하게 짝수이므로 비율은 홀수 함수 여야한다. 따라서 상대 오차가 증가하면 의 입니다.) 이로 인해 상대 오차를 로 나눈 값 을 연구하게 됩니다 . 마찬가지로, 나는 를 검사하기로 선택합니다. 희망적인 값은 일정한 제한 값을 가져야하기 때문입니다. 그래프는 다음과 같습니다.$x$$\textrm{erfc}$$f$$x$ $x$$x \cdot \textrm{erfc}(x)/f(x)$

우리의 추측은 널리 퍼져있는 것으로 보입니다 :이 비율은 약 8 정도의 한계에 근접한 것으로 보입니다. 요청하면 Mathematica 는 다음을 제공합니다.

a1 = Limit[x (Erfc[x]/f[x]), x -> \[Infinity]]

값은 입니다. 이를 통해 견적을 개선 할 수 있습니다.$a_1 = \frac{2 }{\sqrt{\pi }}e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \approx 7.94325$

$$f_1(x) = f(x) \frac{a_1}{x}$$

근사치의 첫 세분화로 때 정말 큰 -보다 몇 천 -이 근사는 괜찮습니다. 에서 사이의 흥미로운 논쟁 범위에 대해서는 여전히 충분하지 않기 때문에 절차를 반복합시다. 이번에는 역 상대 오류 (특히, 표현 는 큰 처럼 동작해야합니다 (이전 패리티 고려 사항으로 인해). . 따라서 곱하고 다음 한계를 찾습니다.$x$$5.3$$2000$$1 - \textrm{erfc}(x)/f_1(x)$$1/x^2$$x$$x^2$

a2 = Limit[x^2 (a1 - x (Erfc[x]/f[x])), x -> \[Infinity]] 

값은

$$a_2 = \frac{1}{32 \sqrt{\pi }} e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \left(32-\frac{9 (-4+\pi )^3 \pi }{(-3+\pi )^2}\right) \approx 114.687.$$

이 프로세스는 원하는만큼 진행될 수 있습니다. 한 걸음 더 나아가서

a3 = Limit[x^2 (a2 - x^2 (a1 - x (Erfc[x]/f[x]))), x -> \[Infinity]] 

대략 1623.67의 값으로. (전체 표현은 의 8도 합리적 함수를 포함하며 여기서 너무 길어서 유용하지 않습니다.)$\pi$

이러한 연산을 풀면 최종 근사치가 산출됩니다.

$$f_3(x) = f(x)\left(a_1 - a_2/x^2 + a_3/x^4\right)/x.$$

오류는 비례합니다 . 수입은 비례 상수이므로 .$x^{-6}$$x^6(1 - \textrm{erfc}(x) / f_3(x))$

약 2660.59의 한계 값에 빠르게 접근합니다. 근사값 사용하여 모든 대해 상대 정확도가 보다 나은 추정값을 얻습니다 . 일단 20 정도 초과 (로, 또는 훨씬 더, 우리는 우리의 세 개의 유효 숫자가 커진다). 점검으로, 올바른 값을 과 사이의 에 대한 근사치와 비교 한 표가 있습니다 .$f_3$$\textrm{erfc}(x)$$2661/x^6$$x \gt 0$$x$$x$$x$$10$$20$

 x  Erfc    Approximation      
10  2.088*10^-45    2.094*10^-45
11  1.441*10^-54    1.443*10^-54
12  1.356*10^-64    1.357*10^-64
13  1.740*10^-75    1.741*10^-75
14  3.037*10^-87    3.038*10^-87
15  7.213*10^-100   7.215*10^-100
16  2.328*10^-113   2.329*10^-113
17  1.021*10^-127   1.021*10^-127
18  6.082*10^-143   6.083*10^-143
19  4.918*10^-159   4.918*10^-159
20  5.396*10^-176   5.396*10^-176

실제로이 근사값은 에 대해 적어도 두 개의 유효 정밀도를 제공 하는데, 이는 보행자 계산 (예 : Excel의 함수)이 거의 끝나가는 부분입니다.$x=8$NormSDist

마지막으로 초기 근사값 를 계산하는 능력에 대해 걱정할 수 있습니다 . 그러나, 어렵지는 않습니다. 가 지수에서 언더 플로를 유발할만큼 충분히 크면 제곱근은 지수의 절반만큼 근사합니다.$f$$x$

$$f(x) \approx \frac{1}{2} \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right).$$

이것의 대수를 계산하는 것은 간단하며, 원하는 결과를 쉽게 얻을 수 있습니다. 예를 들어, 이라고하자 . 이 근사의 일반적인 로그는$x=1000$

$$\log_{10}(f(x)) \approx \left(-1000^2 \left(\frac{4 + a \cdot 1000^2}{\pi + a \cdot 1000^2}\right) - \log(2)\right) / \log(10) \sim -434295.63047.$$

지수 산출

$$f(1000) \approx 2.34169 \cdot 10^{-434296}.$$

수정을 적용하면 ( )$f_3$

$$\textrm{erfc}(1000) \approx 1.86003\ 70486\ 32328 \cdot 10^{-434298}.$$

보정이 99 % 이상 일본어 근사 감소 (실제로, 참고 .) (마지막 자리에서 정확한 값에서이 근사 다르다. 다른 공지의 근사 , 와 6 자리 숫자가 잘못되었습니다. 동일한 기술을 사용하여 원했습니다.)$a_1/x \approx 1\text{%}$$\exp(-x^2)/(x\sqrt{\pi})$$1.860038 \cdot 10^{-434298}$

간단한 상한

정규의 상단 꼬리 확률 계산에서 인수의 매우 큰 값의 경우 배정 밀도 부동 소수점이있는 다른 방법을 사용하는 것만 큼 좋은 우수한 범위가 존재합니다. 들면 ,하자 여기서 는 표준 일반 pdf입니다. 생존 분석의 표준 표기법에 따라 표기법 를 사용했습니다. 엔지니어링 컨텍스트에서는이 함수를 함수라고하며 합니다.$z > 0$

$$\renewcommand{\Pr}{\mathbb{P}}\newcommand{\rd}{\mathrm{d}} S(z) := \Pr(Z > z) = \int_z^\infty \varphi(z) \rd z \>,$$ $\varphi(z) = (2\pi)^{-1/2} e^{-z^2/2}$$S(z)$$Q$$Q(z)$

그런 다음 매우 간단한 기본 상한은 여기서 오른쪽의 표기법은이 값이 상한 추정치를 나타냅니다. 이 답변 은 한계에 대한 증거를 제공합니다.

$$\newcommand{\Su}{\hat{S}_u} \newcommand{\Sl}{\hat{S}_\ell} S(z) \leq \frac{\varphi(z)}{z} =: \Su(z) \> ,$$

상보적인 하한도 있습니다. 가장 손쉽고 가장 쉬운 방법 중 하나는 이 경계를 도출하기위한 세 가지 별도의 방법이 있습니다. 이러한 방법 중 하나의 대략적인 스케치 는 관련 질문에 대한 이 답변 에서 찾을 수 있습니다 .

$$S(z) \geq \frac{z}{z^2+1} \varphi(z) =: \Sl(z) \> .$$

사진

아래는 실제 함수 와 함께 두 경계 (회색)의 도표입니다 .$S(z)$

얼마나 좋은가요?

플롯으로부터, 중간 정도의 대해서도 경계가 상당히 좁아지는 것 같습니다 . 우리는 그들이 얼마나 타이트하고 그 점에서 어떤 종류의 양적 진술을 할 수 있는지 스스로에게 물어볼 수 있습니다.$z$

하나의 유용한 기밀 측정은 절대 상대 오차 이것은 추정치의 비례 오차를 제공합니다.

$$\newcommand{\err}{\mathcal{E}} \err(z) = \left|\frac{\Su(z) - S(z)}{S(z)}\right| \>.$$

침범 된 모든 기능은의 경계 특성을 이용하여, 음이 있기 때문에 지금, 참고, 것을 와 , 우리가 얻을 이므로 증거가됩니다. 동안 그 위 결합 된 1 % 이내로 정확한 대해 는 0.1 % 이내와 대 정확함 은 0.01 % 이내까지 정확하다.$\Su(z)$$\Sl(z)$

$$\err(z) = \frac{\Su(z) - S(z)}{S(z)} \leq \frac{\Su(z) - \Sl(z)}{\Sl(z)} = z^{-2} \> ,$$ $z \geq 10$$z \geq 28$$z \geq 100$

사실, 간단한 범위의 경계는 다른 "근사치"를 잘 점검합니다. 더 복잡한 근사치의 수치 계산에서 이러한 경계 밖의 값을 얻는 경우 여기에 제공된 상한값을 취하기 위해 간단히 "수정"할 수 있습니다.

이 범위에는 많은 수정이 있습니다. 여기에 언급 된 Laplace 경계 는 형식의 에서 멋진 상한 및 하한을 제공합니다. 여기서 는 합리적인 함수입니다.$S(z)$$R(z) \varphi(z)$$R(z)$

마지막으로, 여기 에는 다소 관련된 질문과 답변이 있습니다.

훨씬 간단한 기능으로 대략적으로 계산할 수 있습니다 . 자세한 내용 은 이 Wikipedia 섹션 을 참조하십시오. 기본 근사치는$\textrm{erf}(x) \approx \textrm{sgn}(x)\sqrt{1 - \exp(-x^2 \frac{4/\pi + ax^2}{1+ax^2}})$

기사에 해당 섹션에 대한 링크가 잘못되었습니다. 참조 된 PDF는 Sergei Winitzki의 파일 또는 이 링크 에서 찾을 수 있습니다 .