MCMC를 사용하여 고차원 함수의 예상 값 평가

10

최적화와 관련된 연구 프로젝트를 진행 중이며 최근이 설정에서 MCMC를 사용할 아이디어가있었습니다. 불행히도, 나는 MCMC 방법에 익숙하지 않아 몇 가지 질문이 있습니다. 먼저 문제를 설명하고 질문을하겠습니다.

우리의 문제는 비용 함수의 기대치 추정 귀결 여기서 인 밀도와 -dimentional 랜덤 변수 . $c(\omega)$ $\omega = (\omega_1,\omega_2,...\omega_h)$ $h$ $f(\omega)$

이 경우 의 닫힌 형식 버전이 존재하지 않습니다. 이것은 예상 값을 근사화하기 위해 Monte Carlo 방법을 사용해야한다는 것을 의미합니다. 불행하게도, MC 또는 QMC 방법을 사용하여 생성 된 추정값은 실제 환경에서 유용하기에는 너무 많은 편차를 가지고 있습니다. $c(\omega)$ $E[c(\omega)]$

의 낮은 분산 추정치를 생성하는 샘플 포인트를 생성하기 위해 중요도 샘플링 분포를 사용해야한다는 아이디어가 있습니다 . 이 경우 이상적인 중요도 분포 ( )는 대략 와 비례해야 합니다. 가 일정하게 알려진 방법을보고 , 제안 분포 와 함께 MCMC를 사용하여 에서 샘플을 생성 할 수 있는지 궁금합니다 . $E[c(\omega)]$ $g(\omega)$ $c(\omega)f(\omega)$ $g(\omega)$ $c(\omega)f(\omega)$ $g(\omega)$

내 질문은 다음과 같습니다.

이 설정 내에서 MCMC를 사용할 수 있습니까? 그렇다면 어떤 MCMC 방법이 적합합니까? MATLAB에서 일하고 있으므로 이미 MATLAB 구현이있는 모든 것을 선호합니다.
MCMC의 번인 (burn-in) 기간을 단축하는 데 사용할 수있는 기술이 있습니까? 고정 분포에 도달했음을 어떻게 알 수 있습니까? 이 경우 실제로 주어진 대해 를 계산하는 데 상당한 시간이 걸립니다 . $c(\omega)$ $\omega$

— 버크 U.
소스

마지막 단락의 오타? 대신 ?

C (w)

$C(w)$

c (w)

$c(w)$

— mpiktas

당신은하지 않는 이 닫힌 형태가 존재하지 않는해서 높은 차원 적분에 대한 몬테카를로 방법을 사용 할 수 있습니다. 당신은 수 에 따라 방법을 사용하는 스파 스 그리드를 . 나는 장단점을 모른다.

— onestop

@ onestop-이 아이디어를 테스트하고 싶지만 제 경우에는 약간의 희소 그리드가 더 잘 작동합니다.

— Berk U.

금융과 비슷합니다.

— Wok

1

그것은 금융에 적용될 수 있습니다. 우리는 전력 시스템의 최적 관리를 위해 그것을 사용하고 있습니다 :)

— Berk U.

4

MCMC는 수치 통합 도구 (그리고 그보다 비효율적 인 도구)라는 것을 항상 기억하고 있습니다. 그것은 마술 / 신비적인 것이 아닙니다. 적용하기가 쉽기 때문에 매우 유용합니다. 다른 수치 적분 기술에 비해 많은 생각이 필요하지 않습니다. 예를 들어, 파생 상품을 수행 할 필요가 없습니다. "임의의 숫자"만 생성하면됩니다.

그러나 수치 적분 방법과 마찬가지로 보편적 인 도구는 아닙니다. 유용한 조건이 있고 그렇지 않은 조건이 있습니다.

다른 기술을 설정하는 것이 현명 할 수 있습니다. 크기 , 컴퓨터 속도 및 결과를 기다리는 시간에 따라 다릅니다. 균일 한 그리드가 작업을 수행 할 수 있습니다 (소형 이 오래 걸리거나 대기 이 길지만). "작업"은 적분을 평가하는 것입니다. 방정식은 결과에 어떤 의미를 부여하는지에 상관하지 않습니다 (따라서 결과를 무작위로 얻었는지 여부는 상관하지 않습니다). $h$ $h$

또한 의 추정치 가 매우 정확하면 는 급격히 정점을 이루고 델타 함수와 매우 유사하므로 적분은 효과적으로 대체 합니다. $\omega$ $f(\omega)$ $\omega\rightarrow\omega_{max}$

또 다른 수치 적분 기술은 적분 아래 테일러 시리즈를 사용하는 것입니다. $f(\omega)\approx f(\omega_{max})+(\omega-\omega_{max})f'(\omega_{max})+\frac{1}{2}(\omega-\omega_{max})^{2}f''(\omega_{max})+\dots$

이것은 의 순간을 쉽게 얻을 수 있을 때 유용한 전략 입니다. $\omega$

Edwin Jaynes는 이것에 대해 좋은 인용을합니다 :

무작위로 무언가를하는 방법이있을 때마다 비 무작위 방법으로 더 나은 결과를 얻을 수 있지만 더 많은 생각이 필요합니다

하나의 "더 많은 사고"방법은 "계층화 된 MCMC"를 사용하여 적분을 수행하는 것입니다. 따라서 "무작위로"전체 매개 변수 공간에서 지점을 선택하십시오. "strata"로 나눕니다. 이러한 "계층"은 적분의 높은 부분을 얻을 수 있도록 선택해야합니다. 그런 다음 각 지층 내에서 무작위로 샘플링합니다. 그러나 이것은 내가 상상할 수있는 자신의 코드를 작성해야합니다 (즉, 더 많은 생각).

— 확률 론적
소스

게시물 주셔서 감사합니다. 나는 당신의 계층화 된 MC 아이디어를 매우 좋아합니다. 나는 당신이 그것에 대해 읽을 수있는 어떤 리소스에 대해 알고 있는지 궁금합니다. 실제 사례가있는 것은 대단히 감사하겠습니다.

— Berk U.

이것은 내가 가진 아이디어이므로 리소스를 모릅니다. 지층을 정의하는 다른 계층을 추가하여 MCMC 프레임 워크에 넣을 수 있습니다. 그리고 내 주요 약점 중 하나는 일을하는 것입니다-나는 마음에 사상가입니다! 나는 이것이 당신에게별로 도움이되지 않는다는 것을 알고 있으며 그것에 대해 사과드립니다. 그러나 나는 이것을 생각한 유일한 사람이 아니다. "디자인 기반"통계 및 "베이지 아 통계"를 수행 한 사람은 반드시 이것을 생각했을 것입니다.

— 확률 확률

2

여기에 변수가 상호 관련되어 있다는 표시가 없으므로 일반적인 Monte Carlo와 달리 MCMC를 사용하는 이유를 모르겠습니다. 언급 된 층화 샘플링 (라틴 하이퍼 큐브) 및 QMC를 포함하여 많은 다른 샘플링 방법이 있습니다. 희소 구적 격자가 기하학적으로 커지므로 (차원의 저주) 문제의 차원이 너무 높지 않으면 (10 이하) 희소 구적법이 매우 좋습니다.

그러나 중요도 샘플링과 관련하여 올바른 궤도에있는 것처럼 들립니다. 여기서 핵심은 관심 지역 근처에 집중 될 확률이 높고 명목 분포보다 꼬리가 두꺼운 편향 분포를 선택하는 것입니다.

나는 이것이 공개 리서치 문제라고 덧붙이고 싶습니다. 좋은 것을 생각 해낼 수 있다면 커뮤니티에 큰 관심을 가질 것입니다!

— 게리
소스

감사합니다! MCMC의 효과와 변수 간의 상관 관계에 대해 좀 더 자세히 설명해 주시겠습니까? 나는 MCMC가 변수가 서로 연관되어있을 때 기존의 수치 적분 기술에 비해 이점을 제공 할 것이라고 생각했지만 그 이유는 알 수 없습니다.

— Berk U.

0

아무도 실제로 질문에 직접 대답하는 것처럼 보이지 않았으므로 MCMC를 사용하여 에서 샘플링 할 수 있습니다 . MCMC를 사용하여 분포가 일정한 비율로만 알려진 분포에서 샘플링 할 수 있습니다. $g(\omega)$

또한 MC 통합 필드에서 분산 감소 기술을 찾아 볼 수 있습니다. 스탠포드의 아트 오언 (Art Owen)이 제공 하는 무료 서적 챕터 는 자체 포함 된 훌륭한 자료 모음입니다 . 특히 8 장, 9 장 및 10 장.

거기에는 적응 형 샘플링, 재귀 및 기타 기술에 대한 심층적 인 처리 방법이 있습니다.

— JKnight
소스