«metropolis-hastings» 태그된 질문

저는 MCMC 방법을 배우려고 노력했으며 Metropolis Hastings, Gibbs, Importance 및 Rejection 샘플링을 경험했습니다. 이러한 차이점 중 일부는 명백하지만, 즉 전체 조건이있을 때 Gibbs가 Metropolis Hastings의 특별한 사례 인 반면 Gibbs 샘플러 내에서 MH를 사용하려는 경우와 같이 다른 것은 명확하지 않습니다. 각각의 차이점을 볼 수있는 간단한 방법은 무엇입니까? 감사!

36 mcmc  monte-carlo  gibbs  metropolis-hastings  importance-sampling 

일부 문제에 대해 Monte Carlo 시뮬레이션을 코딩 할 때 모델이 충분히 단순 할 때 매우 기본적인 교과서 Gibbs 샘플링을 사용합니다. Gibbs 샘플링을 사용할 수없는 경우 몇 년 전에 배운 교과서 Metropolis-Hastings를 코딩합니다. 내가 그것에 대한 유일한 생각은 점프 분포 또는 매개 변수를 선택하는 것입니다. 교과서 옵션보다 수백, 수백 가지의 특수한 …

21 bayesian  mcmc  gibbs  metropolis-hastings 

적응 형 MCMC 에 대해 읽고 있습니다 (예 : Markov Chain Monte Carlo 핸드북 4 장 , Brooks et al., 2011 및 Andrieu & Thoms, 2008 참조 ). nnnp(n)p(n)p(n)limn→∞p(n)=0limn→∞p(n)=0\lim_{n \rightarrow \infty} p(n) = 0 이 결과는 직관적이며 무증상입니다. 적응의 양은 0이되는 경향이 있기 때문에 결국 에르고 디 시티를 망칠 수 …

20 simulation  mcmc  random-generation  metropolis-hastings 

나는 Gibbs 샘플링과 Metropolis Hastings 알고리즘에 대해 약간의 독서를하고 있으며 몇 가지 질문이 있습니다. 내가 이해하는 것처럼 Gibbs 샘플링의 경우 큰 다변량 문제가있는 경우 조건부 분포에서 샘플링합니다. 즉, 하나의 변수는 샘플링하고 다른 변수는 모두 고정하고 MH에서는 전체 관절 분포에서 샘플링합니다. 문서가 말한 한 가지는 제안 된 샘플이 Gibbs Sampling에서 항상 …

20 bayesian  sampling  mcmc  gibbs  metropolis-hastings 

나는 오늘 Christian Robert의 블로그를 읽고 있었고 그가 논의한 새로운 Metropolis-Hastings 알고리즘을 매우 좋아했습니다. 간단하고 구현하기 쉬운 것처럼 보였습니다. MCMC를 코딩 할 때마다 독립적 인 이동 또는 로그 스케일에서의 임의의 이동과 같은 매우 기본적인 MH 알고리즘을 사용하는 경향이 있습니다. 사람들이 일상적으로 사용하는 MH 알고리즘은 무엇입니까? 특히: 왜 그것들을 사용합니까? 어떤 …

20 mcmc  metropolis-hastings 

MCMC 알고리즘에는 여러 종류가 있습니다. 대도시 해 스팅 깁스 중요성 / 거부 샘플링 (관련). Metropolis-Hastings 대신 Gibbs 샘플링을 사용하는 이유는 무엇입니까? Metropolis-Hastings보다 Gibbs 샘플링에서 추론이 더 다루기 쉬운 경우가 있다고 생각하지만 구체적인 내용은 명확하지 않습니다.

20 bayesian  simulation  mcmc  gibbs  metropolis-hastings 

통합하려는 함수 가 있다고 가정하자. ∫ ∞ − ∞ g ( x ) d x . 물론 g ( x ) 가 끝점에서 0으로 가정하고 폭발이 없으며 멋진 기능을 가정합니다. 내가 다루었던 한 가지 방법은 Metropolis-Hastings 알고리즘을 사용 하여 g ( x )에 비례 하는 분포에서 샘플 x 1 , …

16 simulation  monte-carlo  metropolis-hastings  numerical-integration 

여기 에서 다운로드 할 수있는 Stan 설명서를 살펴 보았습니다 . 특히 Gelman-Rubin 진단을 구현하는 데 관심이있었습니다. 최초의 논문 Gelman & Rubin (1992 )은 다음과 같이 잠재적 스케일 감소 계수 (PSRF)를 정의합니다. 하자 Xi,1,…,Xi,NXi,1,…,Xi,NX_{i,1}, \dots , X_{i,N} 일 iii 샘플링 일 마르코프 체인 및 전반적인있을 수 있습니다 MMM 샘플링 독립 체인. …

16 mcmc  convergence  gibbs  metropolis-hastings  stan 

지난 몇 주 동안 저는 MCMC와 Metropolis-Hastings 알고리즘을 이해하려고 노력했습니다. 내가 그것을 이해할 때마다 나는 내가 틀렸다는 것을 깨닫는다. 내가 찾은 대부분의 코드 예제는 설명과 일치하지 않는 것을 구현합니다. 즉, 그들은 Metropolis-Hastings를 구현한다고 말하지만 실제로는 랜덤 워크 대도시를 구현합니다. 다른 것들은 (거의 항상) 대칭 제안 분포를 사용하고 있기 때문에 헤이스팅스 …

15 mcmc  metropolis-hastings 

대칭 제안이 포함 된 랜덤 워크 메트로폴리스-하 스팅 q(x|y)=g(|y−x|)q(x|y)=g(|y−x|)q(x|y)= g(|y-x|) 에는 합격 확률이 P(accept y)=min{1,f(y)/f(x)}P(accept y)=min{1,f(y)/f(x)}P(accept\ y) = \min\{1, f(y)/f(x)\} 제안 에 의존하지 않습니다 .g(⋅)g(⋅)g(\cdot) 그것은 체인의 마코 비안에 영향을 미치지 않으면 서 를 체인의 이전 성능의 함수로 변경할 수 있습니까?지( ⋅ )지(⋅)g(\cdot) 특히 관심있는 것은 수락 률의 함수로 일반 …

14 mcmc  metropolis-hastings 

모델의 매개 변수를 추정하기위한 코드를 작성하기 위해 Metropolis-Hastings 알고리즘을 이해하려고 노력했습니다 (예 : f(x)=a∗xf(x)=a∗xf(x)=a*x ). 참고 문헌에 따르면 Metropolis-Hastings 알고리즘에는 다음 단계가 있습니다. 생성 Yt∼q(y|xt)Yt∼q(y|xt)Y_t \sim q(y|x^t) Xt+1={Yt,xt,with probabilityρ(xt,Yt),with probability1−ρ(xt,Yt),Xt+1={Yt,with probabilityρ(xt,Yt),xt,with probability1−ρ(xt,Yt),X^{t+1}=\begin{cases} Y^t, & \text{with probability} \quad \rho(x^t,Y_t), \\ x^t, & \text{with probability} \quad 1-\rho(x^t,Y_t), \end{cases} ρ(x,y)=min(f(y)f(x)∗q(x|y)q(y|x),1)ρ(x,y)=min(f(y)f(x)∗q(x|y)q(y|x),1)\rho(x,y)=\min \left( \frac{f(y)}{f(x)}*\frac{q(x|y)}{q(y|x)},1 \right) …

14 mcmc  metropolis-hastings 

지난 며칠 동안 나는 Markov Chain Monte Carlo (MCMC)의 작동 방식을 이해하려고 노력해 왔습니다. 특히 Metropolis-Hastings 알고리즘을 이해하고 구현하려고 노력했습니다. 지금까지 나는 알고리즘에 대한 전반적인 이해가 있다고 생각하지만 아직 명확하지 않은 몇 가지가 있습니다. MCMC를 사용하여 일부 모델을 데이터에 맞추고 싶습니다. 이 때문에 나는 관측 된 데이터 직선 를 맞추기위한 …

13 mcmc  metropolis-hastings 

3 매개 변수 함수의 적분을 평가하기 위해 시뮬레이션을 수행해야합니다. 에프ff매우 복잡한 수식이 있습니다. MCMC 방법을 사용하여 계산하고 Metropolis-Hastings 알고리즘을 구현하여에프ff제안 분포로 3 가지 변이 법선을 사용하는 것이 좋습니다. 그것에 대한 몇 가지 예를 읽으면, 일부는 고정 매개 변수 와 함께 정규 변수를 사용하고 일부는 변수 평균 와 함께 사용하는 것을 …

13 mcmc  metropolis-hastings 

mgcv에 대한 패키지는 R텐서 제품의 상호 작용을 피팅에 대한 두 가지 기능이 있습니다 : te()와 ti(). 나는 둘 사이의 기본 노동 분열을 이해한다 (비선형 상호 작용에 적합하고이 상호 작용을 주요 효과와 상호 작용으로 분해). 내가 이해할 수없는 것은 왜 te(x1, x2)와 ti(x1) + ti(x2) + ti(x1, x2)(약간) 다른 결과가 발생할 …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

다음과 같은 시뮬레이션 문제가 발생했습니다. {ω1,…,ωd}{ω1,…,ωd}\{\omega_1,\ldots,\omega_d\} 알려진 실수의 분포 {−1,1}d{−1,1}d\{-1,1\}^d 에 의해 정의 P(X=(x1,…,xd))∝(x1ω1+…+xdωd)+P(X=(x1,…,xd))∝(x1ω1+…+xdωd)+\mathbb{P}(X=(x_1,\ldots,x_d))\propto (x_1\omega_1+\ldots+x_d\omega_d)_+ 어디 (z)+(z)+(z)_+ 의 긍정적 인 부분을 나타냅니다 zzz. 이 분포를 대상으로하는 Metropolis-Hastings 샘플러는 생각할 수 있지만 알고리즘의 순서를 줄이기 위해 많은 수의 제로 확률을 사용하는 효율적인 직접 샘플러가 있는지 궁금합니다.O(2d)O(2d)O(2^d) 에 O(d)O(d)O(d).

9 simulation  algorithms  random-generation  computational-statistics  metropolis-hastings