표본 크기, 최소값 및 최대 값에서 정규 분포를 재구성 할 수 있습니까? 중간 점을 사용하여 평균을 프록시 할 수 있습니다

나는 이것이 통계적으로 약간 끈적 거리는 것을 알고 있지만 이것이 내 문제입니다.

변수의 최소, 최대 및 샘플 크기를 말하는 많은 범위 데이터가 있습니다. 이러한 데이터 중 일부에는 평균도 있지만 많지는 않습니다. 각 범위의 변동성을 수량화하고 평균을 비교하기 위해 이러한 범위를 서로 비교하고 싶습니다. 분포가 평균 주위에 대칭이고 데이터에 가우시안 분포가 있다고 가정 할만한 충분한 이유가 있습니다. 이러한 이유로 나는 분포의 중간 점을 부재의 평균에 대한 프록시로 사용하여 정당화 할 수 있다고 생각합니다.

내가하고 싶은 것은 각 범위의 분포를 재구성 한 다음 그 분포에 대한 표준 편차 또는 표준 오류를 제공하는 데 사용하는 것입니다. 내가 가지고있는 유일한 정보는 샘플에서 관찰 된 최대 및 최소 정보이며 중간 점은 평균의 프록시입니다.

이 방법으로 나는 각 그룹에 대한 가중 평균을 계산하고, 내가 가지고있는 범위 데이터와 내 가정 (대칭 및 정규 분포)을 기반으로 각 그룹에 대한 변동 계수를 계산할 수 있기를 바랍니다.

R을 사용 하여이 작업을 수행 할 계획이므로 모든 코드 도움말도 감사하겠습니다.

최소의 조인트 누적 분포 함수 및 최대 X ( N ) 의 시료에 대한 n은 평균 가우시안 분포 μ 및 표준 편차 σ는 인$x_{(1)}$$x_{(n)}$$n$$\mu$$\sigma$

$$F(x_{(1)},x_{(n)};\mu,\sigma) = \Pr(X_{(1)}<x_{(1)}, X_{(n)}<x_{(n)})\\ =\Pr( X_{(n)}<x_{(n)}) - \Pr(X_{(1)}>x_{(1)}, X_{(n)}<x_{(n)}\\ =\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right)^n - \left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) -\Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right]^n$$

여기서 는 표준 가우스 CDF입니다. x ( 1 ) & x ( n )에 대한 미분 은 결합 확률 밀도 함수를 제공합니다$\Phi(\cdot)$$x_{(1)}$$x_{(n)}$

$$f(x_{(1)},x_{(n)};\mu,\sigma) =\\ n(n-1)\left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) - \Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right]^{n-2}\cdot\phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right)\cdot\phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\cdot\tfrac{1}{\sigma^2}$$

여기서 는 표준 가우스 PDF입니다. 모수를 포함하지 않는 로그를 삭제하고 항을 빼면 로그 우도 함수가 제공됩니다.$\phi(\cdot)$

$$\ell(\mu,\sigma;x_{(1)},x_{(n)}) =\\ (n-2)\log\left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) - \Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right] + \log\phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) + \log\phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right) - 2\log\sigma$$

This doesn't look very tractable but it's easy to see that it's maximized whatever the value of $\sigma$ by setting $\mu=\hat\mu=\frac{x_{(n)}+x_{(1)}}{2}$, i.e. the midpoint—the first term is maximized when the argument of one CDF is the negative of the argument of the other; the second & third terms represent the joint likelihood of two independent normal variates.

Substituting $\hat\mu$ into the log-likelihood & writing $r=x_{(n)}-x_{(1)}$ gives

$$\ell(\sigma;x_{(1)},x_{(n)},\hat\mu)=(n-2)\log\left[1 - 2\Phi\left(\tfrac{-r}{2\sigma}\right)\right] - \frac{r^2}{4\sigma^2} -2\log{\sigma}$$

This expression has to be maximized numerically (e.g. with optimize from R's stat package) to find $\hat\sigma$. (It turns out that $\hat\sigma=k(n)\cdot r$, where $k$ is a constant depending only on $n$—perhaps someone more mathematically adroit than I could show why.)

Estimates are no use without an accompanying measure of precision. The observed Fisher information can be evaluated numerically (e.g. with hessian from R's numDeriv package) & used to calculate approximate standard errors:

$$I(\mu)=-\left.\frac{\partial^2{\ell(\mu;\hat\sigma)}}{(\partial\mu)^2}\right|_{\mu=\hat\mu}$$ $$I(\sigma)=-\left.\frac{\partial^2{\ell(\sigma;\hat\mu)}}{(\partial\sigma)^2}\right|_{\sigma=\hat\sigma}$$

It would be interesting to compare the likelihood & the method-of-moments estimates for $\sigma$ in terms of bias (is the MLE consistent?), variance, & mean-square error. There's also the issue of estimation for those groups where the sample mean is known in addition to the minimum & maximum.

You need to relate the range to the standard deviation/variance.Let $\mu$ be the mean, $\sigma$ the standard deviation and $R=x_{(n)} - x_{(1)}$ be the range. Then for the normal distribution we have that $99.7$% of probability mass lies within 3 standard deviations from the mean. This, as a practical rule means that with very high probability,

$$\mu + 3\sigma \approx x_{(n)}$$ and

$$\mu - 3\sigma \approx x_{(1)}$$

Subtracting the second from the first we obtain

$$6\sigma \approx x_{(n)} - x_{(1)}= R$$ (this, by the way is whence the "six-sigma" quality assurance methodology in industry comes). Then you can obtain an estimate for the standard deviation by $$\hat \sigma = \frac 16 \Big(\bar x_{(n)} - \bar x_{(1)}\Big)$$ where the bar denotes averages. This is when you assume that all sub-samples come from the same distribution (you wrote about having expected ranges). If each sample is a different normal, with different mean and variance, then you can use the formula for each sample, but the uncertainty / possible inaccuracy in the estimated value of the standard deviation will be much larger.

Having a value for the mean and for the standard deviation completely characterizes the normal distribution.

It is straightforward to get the distribution function of the maximum of the normal distribution (see "P.max.norm" in code). From it (with some calculus) you can get the quantile function (see "Q.max.norm").

Using "Q.max.norm" and "Q.min.norm" you can get the median of the range that is related with N. Using the idea presented by Alecos Papadopoulos (in previous answer) you can calculate sd.

Try this:

N = 100000    # the size of the sample

# Probability function given q and N
P.max.norm <- function(q, N=1, mean=0, sd=1){
    pnorm(q,mean,sd)^N
} 
# Quantile functions given p and N
Q.max.norm <- function(p, N=1, mean=0, sd=1){
    qnorm(p^(1/N),mean,sd)
} 
Q.min.norm <- function(p, N=1, mean=0, sd=1){
    mean-(Q.max.norm(p, N=N, mean=mean, sd=sd)-mean)
} 

### lets test it (takes some time)
Q.max.norm(0.5, N=N)  # The median on the maximum
Q.min.norm(0.5, N=N)  # The median on the minimum

iter = 100
median(replicate(iter, max(rnorm(N))))
median(replicate(iter, min(rnorm(N))))
# it is quite OK

### Lets try to get estimations
true_mean = -3
true_sd = 2
N = 100000

x = rnorm(N, true_mean, true_sd)  # simulation
x.vec = range(x)                  # observations

# estimation
est_mean = mean(x.vec)
est_sd = diff(x.vec)/(Q.max.norm(0.5, N=N)-Q.min.norm(0.5, N=N))

c(true_mean, true_sd)
c(est_mean, est_sd)

# Quite good, but only for large N
# -3  2
# -3.252606  1.981593