이산 파라미터에 어떤 MCMC 알고리즘 / 기술이 사용됩니까?

연속 매개 변수, 특히 그라디언트 기반 방법을 피팅하는 데는 상당한 양이 있지만 이산 매개 변수를 피팅하는 것에 대해서는별로 알지 못합니다.

이산 파라미터를 맞추기 위해 일반적으로 사용되는 MCMC 알고리즘 / 기술은 무엇입니까? 상당히 일반적이고 강력한 알고리즘이 있습니까? 차원의 저주를 잘 다루는 알고리즘이 있습니까? 예를 들어 Hamiltonian MCMC는 일반적이고 강력하며 확장 성이 뛰어납니다.

임의의 불연속 분포에서 샘플링하는 것은 연속 분포에서 샘플링하는 것보다 어려운 것처럼 보이지만 최신 기술이 무엇인지 궁금합니다.

편집 : JMS가 정교하게 요청했습니다.

특정 응용 프로그램을 염두에 두지 않지만 여기에 상상할 수있는 모델이 있습니다.

• 여러 종류의 연속 회귀 모델 중에서 모델을 선택합니다. 개별 단일 '모델'매개 변수가 있습니다.
• 각 관측치가 '이상 값'일 가능성이 있고 훨씬 더 분산 된 분포에서 도출 된 연속 모형입니다. 이것이 혼합 모델이라고 가정합니다.

많은 모델에 연속 및 불연속 매개 변수가 모두 포함될 것으로 기대합니다.

간단한 답은 '그렇다'입니다. Metropolis-Hastings와 특수 사례 Gibbs 샘플링 :) 일반적이고 강력한; 그것이 확장되는지 아닌지는 현재의 문제에 달려 있습니다.

임의의 이산 분포를 샘플링하는 것이 임의의 연속 분포보다 어려운 이유를 잘 모르겠습니다. 불연속 분포를 계산할 수 있고 표본 공간이 크지 않은 경우에는 연속 분포가 표준이 아닌 한 훨씬 더 쉽습니다. 우도 계산 $f(k)$ 다음 평준화 확률을 얻기 위해, 각각의 카테고리를 사용 샘플링 역변환 (상의 임의의 순서 부과 ) .$P(\tilde k = k) = f(k)/\sum f(k)$$k$

특정 모델을 염두에 두셨습니까? 잠재 성분 할당이 이산 파라미터 인 경우와 같이 혼합 모델을 피팅하는 모든 종류의 MCMC 접근 방식이 있습니다. 이것은 매우 간단한 것 (Gibbs)에서 매우 복잡한 것까지 다양합니다.

매개 변수 공간이 얼마나 큽니까? 잠재적으로 막대합니까 (예 : 혼합 모델의 경우 혼합 성분 수에 따라 N 임)? 접합이 더 이상 문제가되지 않기 때문에 Gibbs 샘플러 이상의 것이 필요하지 않을 수 있습니다 (정규화 상수를 직접 얻을 수 있으므로 전체 조건을 계산할 수 있음). 실제로 griddy Gibbs는 계산을 용이하게하기 위해 연속적인 사전이 이산화 된 이러한 경우에 널리 사용되었습니다.

나는 연속적인 경우보다 더 많은 이산 파라미터 공간을 갖는 모든 문제에 대해 특정 "최고"가 있다고 생각하지 않습니다. 그러나 관심이있는 모델에 대해 더 자세히 알려 주면 몇 가지 권장 사항을 만들 수 있습니다.

편집 : 좋아, 나는 당신의 예에서 조금 더 많은 정보를 줄 수 있습니다.

첫 번째 예제는 상상할 수 있듯이 꽤 긴 역사를 가지고 있습니다. 최근 검토는 [1]에 있으며 [2]도 참조하십시오. 여기에 몇 가지 세부 사항을 제공하려고합니다. 관련 예제는 확률 적 검색 변수 선택입니다. 초기 공식은 와 같이 절대적으로 연속적인 선행을 사용하는 것이 었습니다 . 실제로 와 같이 이전과 비교할 때 제대로 작동하지 않습니다. 여기서 은 점 질량입니다. 0에서. 둘 다 당신의 원래 공식에 맞습니다; MCMC 접근 방식은 일반적으로 (이산 된) 모델 표시기 (예 : )로 를 확장하여 진행됩니다 . 이것은 모델 인덱스와 같습니다. 당신이 가지고 있다면$p(\beta)\sim \pi N(\beta; 0, \tau) + (1-\pi) N(\beta, 0, 1000\tau)$$p(\beta)\sim \pi \delta_0 (\beta) + (1-\pi) N(\beta, 0, \tau)$$\delta_0$$\beta$$Z$$Z_1\dots, Z_p$ 는 분명히 가능한 구성을 숫자로 다시 매핑 할 수 있습니다 .$2^p$$1:2^p$

그렇다면 MCMC를 어떻게 개선 할 수 있습니까? 이러한 모델의 많은 당신은에서 샘플링 할 수 구성에 의해, 즉 그 사용하여 . 와 의 상관 관계 가 이제 샘플러와 관련이 없기 때문에 이와 같은 블록 업데이트는 믹싱을 크게 향상시킬 수 있습니다.$p(Z, \beta|y)$$p(Z, \beta|y) = p(\beta | Y, Z)p(Z|Y)$$Z$$\beta$

SSVS는 전체 모델 공간을 하나의 큰 모델에 포함시킵니다. 이것은 종종 구현하기 쉽지만 작업 결과가 좋지 않습니다. 가역 점프 MCMC는 매개 변수 공간의 크기를 명시 적으로 변경할 수있는 다른 종류의 접근 방식입니다. 검토 및 실용 메모는 [3]을 참조하십시오. 문헌에서 다른 모델로 구현에 대한 자세한 정보를 찾을 수 있습니다.

종종 완전한 MCMC 접근이 불가능한 경우가 있습니다. 변수를 가진 선형 회귀가 있고 SSVS와 같은 접근법을 사용한다고 가정하십시오. 샘플러가 수렴되기를 바랄 수는 없습니다. 이러한 모든 모델 구성을 방문 할 시간이나 컴퓨팅 능력이 충분하지 않으며 일부 변수가 중간 정도의 상관 관계를 갖는 경우 특히 위험합니다. 이런 식으로 변수 포함 확률과 같은 것을 추정하려는 사람들에 대해 특히 회의적이어야합니다. 이러한 경우에 MCMC와 함께 사용되는 다양한 확률 적 검색 알고리즘이 제안되었다. 한 예는 BAS [4]이고 다른 예는 [5]에 있습니다 (Sylvia Richardson도 다른 관련 작업을 수행합니다). 내가 아는 다른 대부분은 특정 모델에 맞춰져 있습니다.$p=1000$

인기를 얻고있는 다른 접근법은 모델 평균 결과를 모방하기 전에 절대적으로 연속적인 수축을 사용하는 것입니다. 일반적으로 이들은 법선의 스케일 혼합물로 공식화됩니다. 베이지안 올가미 (Bayesian lasso)는 하나의 예인데, 이는 정상적인 감마 이전의 특별한 경우이고 정상적인 지수 감마 이전의 경우이다. 다른 선택으로는 말굽과 일반적인 베타 분포의 정규 분포가 편차에 대한 역전입니다. 이것에 대한 더 많은 것을 위해, 나는 [6]으로 시작하여 참조를 다시 걷는 것이 좋습니다 (너무 많은 것이 여기에 복제하지 못했습니다 :))

나중에 기회가 생기면 이상치 모델에 대해 더 추가 할 것입니다. 고전적인 참고 문헌은 [7]입니다. 그것들은 수축 축소 이전과 정신이 매우 유사합니다. 일반적으로 Gibbs 샘플링으로 수행하기가 매우 쉽습니다.

아마 당신이 기대했던 것만 큼 실용적이지 않을 것입니다. 특히 모델 선택은 어려운 문제이며 모델이 정교해질수록 더 나빠집니다. 가능한 모든 곳에서 블록 업데이트는 내가 가지고있는 유일한 일반적인 조언입니다. 분포를 혼합하여 샘플링하면 멤버 자격 지표와 구성 요소 매개 변수가 서로 밀접하게 관련되어 있다는 문제가 종종 있습니다. 또한 레이블 전환 문제 (또는 레이블 전환 부족)에 대해서는 다루지 않았습니다. 거기에는 꽤 많은 문헌이 있지만 내 조타실에서 약간 벗어났습니다.

어쨌든, 나는 다른 사람들이 비슷한 문제에 접근하고있는 다른 방법에 대한 느낌을 얻기 위해 여기의 참고 문헌 중 일부에서 시작하는 것이 유용하다고 생각합니다.

[1] Merlise Clyde와 EI George. 모형 불확실성 통계 과학 19 (2004) : 81--94. http://www.isds.duke.edu/~clyde/papers/statsci.pdf

[2] http://www-personal.umich.edu/~bnyhan/montgomery-nyhan-bma.pdf

[3] Green & Hastie Reversible jump MCMC (2009) http://www.stats.bris.ac.uk/~mapjg/papers/rjmcmc_20090613.pdf

[4] http://www.stat.duke.edu/~clyde/BAS/

[5] http://ba.stat.cmu.edu/journal/2010/vol05/issue03/bottolo.pdf

[6] http://www.uv.es/bernardo/Polson.pdf

[7] 베이지안 선형 회귀 분석의 Mike West Outlier 모델 및 사전 분포 (1984) JRSS-B