누군가 영어로 NUTS를 설명 할 수 있습니까?

17

알고리즘에 대한 나의 이해는 다음과 같습니다.

NUTS (U-Turn Sampler)는 Hamiltonian Monte Carlo Method가 아닙니다. 이는 Markov Chain 방식이 아니므로이 알고리즘은 랜덤 워크 파트를 피하며, 이는 종종 비효율적이고 수렴이 느린 것으로 간주됩니다.

NUTS는 무작위 보행을 수행하는 대신 길이 x의 점프를 수행합니다. 알고리즘이 계속 실행되면서 각 점프는 두 배가됩니다. 이것은 궤도가 시작점으로 돌아 가고자하는 지점에 도달 할 때까지 발생합니다.

내 질문 : U 턴의 특별한 점은 무엇입니까? 궤적을 두 배로 늘리면 어떻게 최적화 된 점을 건너 뛰지 않습니까? 위의 설명이 정확합니까?

bayesian monte-carlo markov-process

— 사용자
소스

나는이 게시물을 발견 했으며 설명 된 시뮬레이션이 실제로 개념 설명에 차이를 만듭니다.

— kael

13

U 턴 없음 비트는 제안서 생성 방식입니다. HMC는 가상의 물리적 시스템을 생성합니다. 샘플링하려는 후방에 의해 정의 된 계곡과 언덕이있는 풍경 주위에 특정 운동 에너지가 구르는 공 (2 차원 이상으로 유사 함)을 상상하십시오. 새로운 MCMC 샘플을 채취 할 때마다 운동 에너지를 임의로 선택하여 현재 위치에서 볼을 굴리기 시작합니다. 이산 시간 단계로 시뮬레이션하고, 매개 변수 공간을 올바르게 탐색하려면 한 방향으로 단계를 다른 방향으로 두 배로 시뮬레이션하고 다시 돌리십시오. 어떤 시점에서이를 중지하고 좋은 방법 그렇게하는 것은 당신이 U 턴을했을 때입니다 (즉, 모든 곳에서 사라진 것처럼 보입니다).

이 시점에서 Markov Chain의 제안 된 다음 단계는 방문한 지점에서 선택됩니다 (특정 제한 사항이 있음). 즉, 가상의 물리적 시스템에 대한 전체 시뮬레이션은 "그냥"그 제안을 받아들이고 (다음 MCMC 샘플이 제안 된 포인트 임) 거부됩니다 (다음 MCMC 샘플이 시작점 임).

그것에 대한 영리한 것은 제안이 후부의 모양에 기초하여 만들어지고 분포의 다른 끝에있을 수 있다는 것입니다. Metropolis-Hastings는 (아마도 비뚤어진) 볼 내에서 제안을하는 반면, Gibbs 샘플링은 한 번에 하나 (또는 최소한 매우 적은) 치수 만 이동합니다.

— 비욘
소스

" 장소에 간 것 같습니다 "댓글 을 확장 해 주 시겠습니까?

— 가브리엘

1

배포판에 적용되었다는 표시가 있다는 의미입니다. NUTS는 당신이 완전히 돌아섰는지 여부를 판단하려고 시도합니다. 그럴 경우, MCMC 단계를 통해 후부의 어느 부분 으로든 갈 수 있기를 바랍니다. 물론, 그 조건이 당신이 전체 후방을 탐색했다는 것을 실제로 보장하지는 않지만 오히려 그 "현재 부분"을 탐구했다는 표시를 제공합니다. 분포의).

— Björn

6

HMC가 Markov Chain 방법이 아니라는 것이 잘못되었습니다. 위키 백과 당 :

수학 및 물리학에서 Hamiltonian Monte Carlo라고도 알려진 하이브리드 Monte Carlo 알고리즘은 직접 샘플링이 어려운 확률 분포에서 무작위 샘플 시퀀스를 얻는 Markov 체인 Monte Carlo 방법입니다. 이 시퀀스는 분포를 근사화 (즉, 히스토그램 생성)하거나 적분 (예 : 예상 값)을 계산하는 데 사용할 수 있습니다.

보다 명확하게 하려면 NUTS 종료 기준을 언급 한 Betancourt 의 arXiv 논문을 읽으십시오 .

... 궤도가 현재 에너지 레벨 세트 주변의 주변을 충분히 탐사 할 수있을 정도로 긴시기를 식별합니다. 특히, 우리는 너무 짧은 적분을 피하고 싶습니다.이 경우 우리는 해밀턴 궤적을 최대한 활용하지 못하고 너무 긴 적분을 피해야합니다.

부록 A.3에서는 언급 한 궤적과 같은 것에 대해 이야기합니다.

또한 매 반복마다 궤적의 길이를 두 배로 늘려서 샘플링 된 궤적 t ∼ T (t | z) = U T2L을 해당 샘플링 된 상태 z '∼ T (z'| t)로 산출함으로써 더 빠르게 확장 할 수 있습니다. 이 경우 모든 반복에서 이전 및 새 궤적 구성 요소는 완벽하게 정렬 된 이진 트리의 잎과 같습니다 (그림 37). 이를 통해 재귀의 각 단계에서 샘플을 전파하면서 새로운 궤적 구성 요소를 재귀 적으로 작성할 수 있습니다 ...

A.4에서 확장되어 동적 구현에 대해 이야기합니다 (섹션 A.3은 정적 구현에 대해 이야기합니다).

다행스럽게도 A.3 절에서 논의 된 효율적인 정적 스킴은 궤적이 해당 에너지 레벨 세트를 만족스럽게 탐색 할만큼 충분히 길어진시기를 결정하기위한 기준을 선택한 후에 동적 구현을 달성하기 위해 반복 될 수있다.

핵심은 그것이 두 배로 점프하지 않는 것입니다. 기준을 충족 할 때까지 제안 된 점프 길이를 두 배로 늘리는 기술을 사용하여 다음 점프를 계산합니다. 적어도 그것이 지금까지 논문을 이해하는 방법입니다.

— 웨인
소스