정규 분포 대 로그 정규 분포에서 데이터가 추출 될 가능성을 계산하는 알고리즘 필요

값 집합이 있고 가우시안 (정규) 분포에서 추출되었거나 로그 정규 분포에서 샘플링 될 가능성이 더 높은지 알고 싶습니까?

물론 이상적으로는 모집단이나 실험 오류의 원인에 대해 알고 있으므로 질문에 대답하는 데 유용한 추가 정보가 있어야합니다. 그러나 여기서는 숫자 만 있고 다른 정보는 없다고 가정합니다. 가우시안에서 샘플링하거나 로그 정규 분포에서 샘플링 할 가능성이 더 큽니까? 얼마나 더 가능성이 있습니까? 내가 바라는 것은 두 모델 중에서 선택하고 각각의 상대적 가능성을 수량화하는 알고리즘입니다.

각 분포 (정상 또는 대수 정규)를 최대 가능성으로 데이터에 피팅 한 다음 각 모형에서 로그 가능성을 비교하여 분포 유형을 가장 잘 추측 할 수 있습니다. 예를 들어, R에서 :

# log likelihood of the data given the parameters (par) for 
# a normal or lognormal distribution
logl <- function(par, x, lognorm=F) {
    if(par[2]<0) { return(-Inf) }
    ifelse(lognorm,
    sum(dlnorm(x,par[1],par[2],log=T)),
    sum(dnorm(x,par[1],par[2],log=T))
    )
}

# estimate parameters of distribution of x by ML 
ml <- function(par, x, ...) {
    optim(par, logl, control=list(fnscale=-1), x=x, ...)
}

# best guess for distribution-type
# use mean,sd of x for starting parameters in ML fit of normal
# use mean,sd of log(x) for starting parameters in ML fit of lognormal
# return name of distribution type with highest log ML
best <- function(x) {
    logl_norm <- ml(c(mean(x), sd(x)), x)$value
        logl_lognorm <- ml(c(mean(log(x)), sd(log(x))), x, lognorm=T)$value
    c("Normal","Lognormal")[which.max(c(logl_norm, logl_lognorm))]
}

이제 정규 분포에서 숫자를 생성하고 ML에 의해 정규 분포에 적합합니다.

set.seed(1)
x = rnorm(100, 10, 2)
ml(c(10,2), x)

생산 :

$par
[1] 10.218083  1.787379

$value
[1] -199.9697
...

정규 분포와 로그 정규 분포의 ML 적합에 대한 로그 우도를 비교합니다.

ml(c(10,2), x)$value # -199.9697
    ml(c(2,0.2), x, lognorm=T)$value # -203.1891
best(x) # Normal

로그 정규 분포를 사용해보십시오.

best(rlnorm(100, 2.6, 0.2)) # lognormal

n, 평균 및 sd에 따라 할당이 완벽하지 않습니다.

> table(replicate(1000, best(rnorm(500, 10, 2))))

Lognormal    Normal 
        6       994 
> table(replicate(1000, best(rlnorm(500, 2.6, 0.2))))

Lognormal    Normal 
      999         1 

문제에 대한 베이지안 접근 방식 은 일련의 데이터 포인트 를 고려하여 모델 대한 사후 확률을 고려하는 것 입니다 ,$M \in \{ \text{Normal}, \text{Log-normal} \}$$X = \{ x_1, ..., x_N \}$

$$P(M \mid X) \propto P(X \mid M) P(M).$$

어려운 부분은 한계 가능성을 얻는 것입니다 .

$$P(X \mid M) = \int P(X \mid \theta, M) P(\theta \mid M) \, d\theta.$$

의 특정 선택에 대해 가우스의 한계 확률은 닫힌 형태로 얻을 수 있습니다 . 말하는 이후 분산 일반적으로 로그가 말하는 것과 동일하다 정규 분포}, 당신은에 대해 동일한 한계 가능성 사용할 수 있어야 로그를 정상 대신 에 적용하여 가우시안 모델과 같습니다 . 자코비 안의 변화 를 고려하는 것만 기억하십시오 .$p(\theta \mid M)$$X$$Y = \{ \log x_1, ..., \log x_N$$Y$$X$

$$P(X \mid M = \text{Log-Normal}) = P(Y \mid M=\text{Normal}) \cdot \prod_i \left| \frac{1}{x_i} \right|.$$

이 방법을 사용하려면 모수 대한 분포를 선택해야합니다. 여기에서 아마도 및 이전 확률 .$P(\theta \mid M)$$P(\sigma^2, \mu \mid M=\text{Normal})$$P(M)$

예:

들면 I는 선택 정상 역 감마 분포 매개 변수 .$P(\mu, \sigma^2 \mid M = \text{Normal})$$m_0 = 0, v_0 = 20, a_0 = 1, b_0 = 100$

따르면 머피 (2007) (식 203), 정규 분포 확률의 한계는 다음에 의해 주어진다

$$P(X \mid M = \text{Normal}) = \frac{|v_N|^\frac{1}{2}}{|v_0|^\frac{1}{2}} \frac{b_0^{a_0}}{b_n^{a_N}} \frac{\Gamma(a_N)}{\Gamma(a_0)} \frac{1}{\pi^{N/2}2^N}$$

여기서 및 은 사후 의 매개 변수입니다 (수학 식 196-200).$a_N, b_N,$$v_N$$P(\mu, \sigma^2 \mid X, M = \text{Normal})$

$$\begin{align} v_N &= 1 / (v_0^{-1} + N), \\ m_N &= \left( v_0^{-1}m_0 + \sum_i x_i \right) / v_N, \\ a_N &= a_0 + \frac{N}{2}, \\ b_N &= b_0 + \frac{1}{2} \left( v_0^{-1}m_0^2 - v_N^{-1}m_N^2 + \sum_i x_i^2 \right). \end{align}$$

로그 정규 분포에 동일한 하이퍼 파라미터를 사용합니다.

$$P(X \mid M = \text{Log-normal}) = P(\{\log x_1, ..., \log x_N \} \mid M = \text{Normal}) \cdot \prod_i \left|\frac{1}{x_i}\right|.$$

log-normal의 사전 확률 , , 다음 log-normal 분포에서 얻은 데이터P ( M = 로그-노멀 ) = $0.1$$P(M = \text{Log-normal}) = 0.1$

후부는 다음과 같이 동작합니다.

실선은 데이터 포인트 의 다른 드로우에 대한 중간 사후 확률을 보여줍니다 . 데이터가 거의 없거나 전혀없는 경우, 신념은 이전 신념에 가깝습니다. 약 250 개의 데이터 포인트에 대해 알고리즘은 거의 항상 데이터가 로그 정규 분포에서 도출되었음을 확신합니다.$N$

방정식을 구현할 때는 밀도 대신 로그 밀도로 작업하는 것이 좋습니다. 그러나 그렇지 않으면 매우 간단합니다. 플롯을 생성하는 데 사용한 코드는 다음과 같습니다.

https://gist.github.com/lucastheis/6094631

전문 통계 전문가가 아니고 QQ 플롯, 밀도 플롯 등의 표준 탐색 기술을 수행하도록 자극 해야하는 분석가를 돕기 위해 매우 실용적인 무언가를 찾고있는 것처럼 들립니다.

그렇다면 원래 데이터와 로그 변환 된 데이터에 대해 정규성 검정 (Shapiro-Wilk 등)을 수행하지 말고 두 번째 p 값이 더 높으면 분석가가 로그 변환 사용을 고려하도록 플래그를 올리십시오. ? 보너스로, 원시 데이터와 변환 된 데이터의 밀도 선 플롯과 qqnorm 플롯의 2 x 2 그래픽을 뱉어냅니다.

이것은 상대적인 가능성에 대한 귀하의 질문에 기술적으로 대답하지는 않지만 그것이 당신이 필요한 전부인지 궁금합니다.