균일 한 후보 분포를 가진 Metropolis-Hastings의 합격률

균일 한 후보 분포로 Metropolis-Hastings 알고리즘을 실행할 때 수용 률이 약 20 %라는 근거는 무엇입니까?

내 생각은 : 일단 참 (또는 참에 가깝다) 매개 변수 값이 발견되면 동일한 균일 간격의 새로운 후보 매개 변수 값 집합이 우도 함수의 값을 증가시키지 않을 것입니다. 따라서 반복을 많이할수록 허용 률이 낮아집니다.

이 생각에서 내가 어디 잘못 되었나요? 많은 감사합니다!

내 계산 그림은 다음과 같습니다.

$$Acceptance\_rate = \exp \{l(\theta_c|y) + \log(p(\theta_c)) - [l(\theta^*|y) + \log(p(\theta^*) ]\},$$

여기서 은 로그 우도입니다.$l$

으로 후보가 항상 같은 균일 한 간격에서 가져옵니다,$\theta$

$$p(\theta_c) = p(\theta^*).$$

따라서 합격률 계산은 다음과 같이 축소됩니다.

$$Acceptance\_rate = \exp \{l(\theta_c | y) - [l(\theta^* | y) ]\}$$

의 수락 규칙 은 다음과 같습니다.$\theta_c$

만일 , 구간에서 균일하게 분포로부터 그려이다 이어서,$U \le Acceptance\_rate$$U$$[0,1]$

$$\theta^* = \theta_c,$$

그렇지 않으면 간격 에서 균일 분포에서 를 그립니다$\theta_c$$[\theta_{min}, \theta_{max}]$

나는 믿고 약한 수렴 및 랜덤 워크 (random walk) 메트로폴리스 알고리즘의 최적의 스케일링 로버츠, 겔만과 Gilks로는 0.234 최적의 수용 속도에 대한 소스입니다.

논문이 보여주는 것은 특정 가정 하에서 공간의 차원이 무한대로되어 각 좌표에 대한 제한 확산을 얻기 때문에 랜덤 워크 메트로폴리스-해 스팅 알고리즘을 스케일링 할 수 있다는 것입니다. 한계에서, 수용 률이 0.234 값을 취하면 확산은 "가장 효율적"인 것으로 볼 수 있습니다. 직관적으로, 그것은 많은 작은 수용 단계를 만드는 것과 거부되는 많은 큰 제안을하는 것 사이의 균형입니다.

Metropolis-Hastings 알고리즘은 시뮬레이션 어닐링과 달리 실제로 최적화 알고리즘이 아닙니다. 목표 분포에서 시뮬레이션해야하는 알고리즘이므로 합격 확률을 0으로 유도해서는 안됩니다.

@NRH의 답변에 추가하십시오. 일반적인 아이디어는 Goldilocks 교장을 따릅니다 .

• 점프가 "너무 큰"경우 체인이 붙어 있습니다.
• 점프가 "너무 작은"경우 체인은 매개 변수 공간을 매우 느리게 탐색합니다.
• 우리는 점프가 옳아지기를 원합니다.

물론 문제는 "정확히"라는 말의 의미입니다. 본질적으로 특정 경우에 대해 예상되는 제곱 점프 거리를 최소화합니다. 이는 지연 1 자기 상관을 최소화하는 것과 같습니다. 최근 Sherlock과 Roberts는 다른 목표 분포에 대해 마법 0.234가 보유하고 있음을 보여주었습니다.

C. Sherlock, G. Roberts (2009); 타원 대칭 단봉 형 타겟에서 랜덤 워크 메트로폴리스의 최적 스케일링 ; 베르누이 15 (3)

질문 아래에 의견을 올릴만한 명성이 없기 때문에 이것을 답변으로 추가하고 있습니다. 나는 당신이 합격 비율 과 수용 비율 사이에 혼란스러워 생각합니다 .

1. 합격률은 응시자 수락 여부를 결정하는 데 사용됩니다. 수락 비율로 부르는 비율을 실제로 수락 비율이라고하며 허용 비율과 다릅니다.
2. 합격률은 응시자의 합격률입니다. MCMC 체인의 총 값 수에 대한 MCMC 체인의 고유 값 수의 비율입니다.

이제 최적 수용 율이 20 %라는 의심은 실제로 수용 율이 아니라 실제 수용 율에 관한 것입니다. 그 대답은 다른 대답에 나와 있습니다. 나는 단지 당신이 겪고있는 혼란을 지적하고 싶었다.