이차 제약 조건이 적용되는 다변량 정규 분포에서 표본 추출

효율적으로 샘플 을 그리고 싶습니다$x \in \mathbb{R}^d$ ...에서 $\mathcal{N}(\mu, \Sigma)$ 제약 조건에 따라 $||x||_2 = 1$.

이 문제의 공식적인 해결을 위해서는 먼저 적절한 정의가 필요합니다.

"$\mathcal{N}_d(μ,Σ)$ 제약 조건에 따라 배포 $||x||^2=1$"

자연스러운 방법은 $X\sim\mathcal{N}_d(μ,Σ)$ 조건부 $||X||=\varrho$. 이 조건을 사례에 적용하려면$\varrho=1$. 우리가 사용하는 경우 극 좌표를 ,

$$\eqalign{ x_1&=\varrho\cos(\theta_1)\qquad&\theta_1\in[0,\pi]\\ x_2&=\varrho\sin(\theta_1)\cos(\theta_2)\qquad&\theta_2\in[0,\pi]\\ &\vdots\\ x_{d-1}&=\varrho \left( \prod_{i=1}^{d-2}\sin(\theta_i) \right) \cos(\theta_{d-1})\qquad&\theta_{d-1}\in[0,2\pi]\\ x_{d}&=\varrho\prod_{i=1}^{d-1}\sin(\theta_i) }$$ 변형의 야곱은 $$\varrho^{d-1}\prod_{i=1}^{d-2}\sin(\theta_i)^{d-1-i}$$ 따라서 분포의 조건부 밀도 $\mathbf{\theta}=(\theta_1,\ldots,\theta_{d-1})$ 주어진 $\varrho$ 이다 $$f(\mathbf{\theta}|\varrho) \propto \exp\frac{-1}{2}\left\{(x(\theta,\varrho)-\mu)^T\Sigma^{-1}(x(\theta,\varrho)-\mu) \right\} \prod_{i=1}^{d-2}\sin(\theta_i)^{d-1-i}$$

결론 : 이 밀도는 자 코비안 (Jacobian) 때문에 노말 밀도를 단위 구의 점에 단순히 적용하는 것과 다릅니다.

두 번째 단계는 목표 밀도를 고려하는 것입니다

$$f(\mathbf{\theta}|\varrho=1) \propto \exp\frac{-1}{2}\left\{(x(\theta,1)-\mu)^T\Sigma^{-1}(x(\theta,1)-\mu) \right\} \prod_{i=1}^{d-2}\sin(\theta_i)^{d-1-i}$$ 매개 변수 공간을 탐색하기 위해 Markov 체인 Monte Carlo 알고리즘을 설계 $[0,\pi]^{d-2}\times[0,2\pi]$. 나의 첫 번째 시도는 Gibbs 샘플러에서 이루어졌으며 가장 가까운 구체의 지점에서 초기화되었습니다.$\mu$, 그건, $\mu/||\mu||$및 대도시 내 방식으로 한 번에 한 각도 씩 진행 :

1. 일으키다 $\theta_1^{(t+1)}\sim\mathcal{U}([\theta_1^{(t)}-\delta_1,\theta_1^{(t)}+\delta_1])$ (합은 계산 된 모듈로 $\pi$) 및이 새로운 값을 확률로 수락 $$\dfrac{f(\theta_1^{(t+1)},\theta_2^{(t)},...|\varrho=1)}{f(\theta_1^{(t)},\theta_2^{(t)},...|\varrho=1)}\wedge 1$$ 그밖에 $\theta_1^{(t+1)}=\theta_1^{(t)}$
2. 일으키다 $\theta_2^{(t+1)}\sim\mathcal{U}([\theta_2^{(t)}-\delta_2,\theta_2^{(t)}+\delta_2])$ (합은 계산 된 모듈로 $\pi$) 및이 새로운 값을 확률로 수락 $$\dfrac{f(\theta_1^{(t+1)},\theta_2^{(t+1)},\theta_3^{(t)},...|\varrho=1)}{f(\theta_1^{(t+1)},\theta_2^{(t)},\theta_3^{(t)},...|\varrho=1)}\wedge 1$$ 그밖에 $\theta_2^{(t+1)}=\theta_2^{(t)}$
3. $\ldots$
4. 일으키다 $\theta_{d-1}^{(t+1)}\sim\mathcal{U}([\theta_{d-1}^{(t)}-\delta_{d-1},\theta_{d-1}^{(t)}+\delta_{d-1}])$ (합은 계산 된 모듈로 $2\pi$) 및이 새로운 값을 확률로 수락 $$\dfrac{f(\theta_1^{(t+1)},\theta_2^{(t+1)},...,\theta_{d-1}^{(t+1)}|\varrho=1)}{f(\theta_1^{(t+1)},\theta_2^{(t+1)},...,\theta_{d-1}^{(t)}| \varrho=1)}\wedge 1$$ 그밖에 $\theta_{d-1}^{(t+1)}=\theta_{d-1}^{(t)}$

저울 $\delta_1$, $\delta_2$, $\ldots$, $\delta_{d-1}$ 이상적인 목표를 향해 단계의 수용 률에 따라 조정될 수 있습니다. $50\%$.

위의 내용을 설명하는 R 코드는 다음과 같습니다. $\mu$ 과 $\Sigma$:

library(mvtnorm)
d=4
target=function(the,mu=1:d,sigma=diag(1/(1:d))){
 carte=cos(the[1])
 for (i in 2:(d-1))
  carte=c(carte,prod(sin(the[1:(i-1)]))*cos(the[i]))
 carte=c(carte,prod(sin(the[1:(d-1)])))
 prod(sin(the)^((d-2):0))*dmvnorm(carte,mean=mu,sigma=sigma)}
#Gibbs
T=1e4
#starting point
mu=(1:d)
mup=mu/sqrt(sum(mu^2))
mut=acos(mup[1])
for (i in 2:(d-1))
  mut=c(mut,acos(mup[i]/prod(sin(mut))))
thes=matrix(mut,nrow=T,ncol=d-1,byrow=TRUE)
delta=rep(pi/2,d-1)     #scale
past=target(thes[1,])   #current target
for (t in 2:T){
 thes[t,]=thes[t-1,]
 for (j in 1:(d-1)){
   prop=thes[t,]
   prop[j]=prop[j]+runif(1,-delta[j],delta[j])
   prop[j]=prop[j]%%(2*pi-(j<d-1)*pi)
   prof=target(prop)
   if (runif(1)<prof/past){
     past=prof;thes[t,]=prop}
   }
}

$||x||_2^2=1$ 이후 엄격하게 가능하지 않습니다 $x$(연속) 랜덤 변수입니다. 1의 분산을 원한다면, 즉$E[(x-\mu)^2]\tilde{=} \frac{1}{n}\sum (x-\mu)^2=\frac{1}{n} ||x-n||_2^2=\frac{1}{n}$ (물결표는 우리가 분산을 추정한다는 것을 의미합니다) 그렇다면 분산이 다음과 같아야합니다. $\frac{1}{n}$. 그러나이 수요는$\Sigma$. 즉,이 분산으로 표본을 구하려면 대각선이 필요합니다.$\Sigma$ 동등하다 $\frac{1}{n}$.

이 분포를 일반적으로 표본 추출하기 위해 iid 표준 법선을 생성 한 다음 $\Sigma^{0.5}$, 제곱근 $\Sigma$그런 다음 수단을 추가하십시오. $\mu$.