요약 통계 만 사용 가능한 경우 추정을 수행하는 방법은 무엇입니까?

이것은 부분적으로 다음 질문 과 그에 따른 토론에 의해 동기가 부여됩니다 .

iid 샘플 X i ~ F ( x , θ ) 가 관찰되었다고 가정합니다 $X_i\sim F(x,\theta)$. 목표는 θ 를 추정하는 것입니다 $\theta$. 그러나 원본 샘플은 사용할 수 없습니다. 우리가 대신해야하는 샘플의 통계입니다 $T_1,...,T_k$ . $k$ 가 고정 되었다고 가정하십시오 . θ 는 어떻게 추정 $\theta$합니까? 이 경우 최대 가능성 추정치는 무엇입니까?

이 경우 다음 가정 / 제한 하에서 가능성 (및 결과적으로 MLE ) 의 ABC 근사를 고려할 수 있습니다 .

인수. 원래 샘플 크기 n 이 알려져 있습니다.$n$

잦은 추정의 품질이 수렴 측면에서 표본 크기에 의존하므로 원래 표본 크기를 알지 못하면 임의로 좋은 추정자를 얻을 수 없다는 점을 감안할 때 이것은 가정이 아닙니다.

아이디어는 사후 분포로부터 샘플을 생성하는 θ 및 MLE의 근사치를 생성하기 위해를 하면 같이 기술 샘플링 중요도를 사용할 수있다 [1] 또는에 균일 종래 고려 θ 적합한에서 지원 [2] 와 같이 설정하십시오 .$\theta$$\theta$

[2]의 방법을 설명하겠습니다. 먼저 ABC 샘플러를 설명하겠습니다.

ABC 샘플러

하자 F ( ⋅ | θ가 ) 시료 생성하는 모델이 θ ∈ Θ는 (추정하기)위한 파라미터 T는 (샘플들의 함수) 통계하고 T 0 ABC 방송 용어에서 관찰 된 통계 수를 이것은라고 요약 통계를 , ρ 메트릭 될 π ( θ ) 에 사전 분포 θ 와 ε > 0 허용 오차를. 그리고, ABC- 거부 샘플러는 다음과 같이 구현 될 수있다.$f(\cdot\vert\theta)$$\theta \in \Theta$$T$$T_0$$\rho$$\pi(\theta)$$\theta$$\epsilon>0$

1. π ( ⋅ ) 에서 표본 θ ∗ .$\theta^*$$\pi(\cdot)$
2. 모형 f ( ⋅ | θ ∗ ) 에서 크기 n 의 표본 x 를 생성합니다 .$\bf{x}$$n$$f(\cdot\vert\theta^*)$
3. 계산 T * = T ( x ) .$T^*=T({\bf x})$
4. 경우 ρ ( T * , T 0 ) < ε은 , 받아 들일 θ는 * 의 후방에서 시뮬레이션으로 θ .$\rho(T^*,T_0)<\epsilon$$\theta^*$$\theta$

이 알고리즘은 T ( x ) = T 0이 주어지면 θ 의 사후 분포로부터 근사 샘플을 생성합니다 . 따라서 가장 좋은 시나리오는 통계 T 가 충분하지만 다른 통계를 사용할 수있는 경우입니다. 이에 대한 자세한 설명은 이 백서를 참조하십시오 .$\theta$$T({\bf x})=T_0$$T$

이제 일반적인 프레임 워크에서 지원에 MLE이 포함 된 균일 한 우선 순위를 사용하는 경우 MAP ( Maximum a posteriori )는 MLE (Maximum Likelihood Estimator)와 일치합니다. 따라서 ABC 샘플러 이전에 적절한 유니폼을 고려하면 MAP이 MLE과 일치하는 사후 분포의 대략적인 샘플을 생성 할 수 있습니다. 나머지 단계는이 모드를 추정하는 것으로 구성됩니다. 이 문제는 CV에서 예를 들어 "다변량 모드의 계산 효율적인 추정" .

장난감 예

하자 ( X 1 , . . . , X의 n은 ) (A)로부터 샘플 수 N ( μ , 1 ) 이 샘플에서 사용할 수있는 유일한 정보가된다고 가정 ˉ X = $(x_1,...,x_n)$$N(\mu,1)$n ∑ n j = 1 xj입니다. 하자ρ는유클리드에서 측정 할R및ε=0.001. 다음 R 코드는n=100및μ=0, 크기1000의 사후 분포의 샘플,μ에대한 균일 성(−0.3,0.3)및 후방 샘플의 모드 추정을위한 커널 밀도 추정기 (MAP = MLE).$\bar{x}=\dfrac{1}{n}\sum_{j=1}^n x_j$$\rho$${\mathbb R}$$\epsilon=0.001$$n=100$$\mu=0$$1000$$\mu$$(-0.3,0.3)$

rm(list=ls())

# Simulated data
set.seed(1)
x = rnorm(100)

# Observed statistic
T0=mean(x)

# ABC Sampler using a uniform prior 

N=1000
eps = 0.001
ABCsamp = rep(0,N)
i=1

while(i<N+1){
u = runif(1,-0.3,0.3)
t.samp = rnorm(100,u,1)
Ts = mean(t.samp)
if(abs(Ts-T0)<eps){
ABCsamp[i]=u
i=i+1
print(i)
}
}

# Approximation of the MLE
kd = density(ABCsamp)
kd$x[which(kd$y==max(kd$y))]

보시다시피, 작은 공차를 사용하면 MLE의 근사값이 매우 우수합니다 (이 간단한 예에서는 통계가 충분하다고 가정 할 수 있음). 요약 통계의 선택이 중요하다는 점에 유의해야합니다. Quantiles는 일반적으로 요약 통계량에 적합한 선택이지만 모든 선택 항목이 근사값을 산출하는 것은 아닙니다. 요약 통계량이 그다지 유익하지 않은 경우 근사치의 품질이 좋지 않을 수 있으며, 이는 ABC 커뮤니티에 잘 알려져 있습니다.

업데이트 : 비슷한 접근법이 최근에 Fan et al. (2012) . 논문에 대한 논의는 이 항목 을 참조하십시오 .

It all depends on whether or not the joint distribution of those $T_i$'s is known. If it is, e.g.,

If the above joint distribution with density $g$ is not available, the solution proposed by Procrastinator is quite appropriate.

The (frequentist) maximum likelihood estimator is as follows:

For $F$ in the exponential family, and if your statistics are sufficient your likelihood to be maximised can always be written in the form:

The way you actually maximize the likelihood depends mostly on the possiblity to write the likelihood analytically in a tractable way. If this is possible you will be able to consider general optimisation algorithms (newton-raphson, simplex...). If you do not have a tractable likelihood, you may find it easier to compute a conditional expection as in the EM algorithm, which will also yield maximum likelihood estimates under rather affordable hypotheses.

Best