수치 적분이 너무 비싸다는 것은 무엇을 의미합니까?

베이지안 추론에 대해 읽었으며 "마진 우도의 수치 적분이 너무 비싸다"라는 문구를 발견했습니다.

나는 수학에 대한 배경 지식이 없으며 여기서 비싼 것이 무엇을 정확히 의미 하는지 궁금 했습니다. 계산 능력 측면에서 보입니까, 아니면 더 많은 것이 있습니까?

베이지안 추론에 대한 수치 적 방법을 포함하여 계산 문제의 맥락에서, "너무 비싸다"라는 문구는 일반적으로 두 가지 문제를 언급 할 수있다

1. 특정 문제는 특정 "에 대한 계산에 너무"큰 "입니다 예산 "
2. 일반적인 접근 방식이 잘못 확장됩니다 . 즉 계산 복잡성 이 높습니다.

두 경우 모두 들어, 컴퓨팅 자원 은 "예산"을 포함는 CPU 사이클 (같은 것들로 구성 될 수 시간 복잡도 ), 메모리 ( 공간 복잡성 ), 또는 (통신 대역폭 내에서 또는 사이의 컴퓨팅 노드). 두 번째 예에서, "너무 비싸다"는 다루기 힘든 것을 의미 합니다.

베이지안 계산의 맥락에서, 인용문은 많은 변수에 대한 소외 화 문제를 언급하고있을 것 입니다.

예를 들어, 이 최근 논문 의 초록 이 시작됩니다

통합은 차원의 저주에 영향을받으며 문제의 차원이 커짐에 따라 빠르게 다루기 어려워집니다.

계속해서

우리는 예를 들어 한계 계산 또는 모델 선택에 사용될 수있는 무작위 알고리즘을 제안합니다.

(비교를 위해이 최근 책 장 에서는 "너무 비싸지 않은"방법에 대해 설명합니다.)

통합 / 합계가 매우 비싼 이유를 보여주는 개별 사례에 대한 예를 제공합니다.

이진 랜덤 변수가 있고 결합 분포 가 있다고 가정 합니다. (실제로 값 이 있으므로 결합 분포를 테이블에 저장할 수 없습니다 . 이제 테이블과 RAM에 값이 있다고 가정하겠습니다.)P ( X 1 , X 2 , ⋯ , X 100 ) 2 $100$$P(X_1, X_2, \cdots, X_{100})$$2^{100}$

에 대한 한계 분포를 얻으려면 다른 임의 변수를 합산해야합니다. (연속적인 경우에는 통합됩니다.)$P(X_1)$

개가 넘는 변수를 합산하고 있으므로 지수 연산 횟수가 있습니다.이 경우에는 로 지구상의 모든 컴퓨터가 할 수없는 엄청난 수입니다.2 $99$$2^{99}$

에서 확률 그래픽 모델 문학, 한계 분포를 계산하는 등의 방법으로 "추론"를 수행하기 위해 "무력"접근 방식이라고합니다. 이름이 비싸다는 것을 알 수 있습니다. 그리고 사람들은 다른 방법으로 추론을 수행하는데, 예를 들어 한계 분포를 효과적으로 얻는 것 근사 추론 등을 포함한 "다른 방법"

일반적으로 베이지안 추론을 수행 할 때 예를 들어 성가신 변수에 대해 많은 통합이 발생하기 쉽습니다. 다른 예는이 경우에서 우도 함수로부터의 수치 샘플링 일 수 있는데, 이는 주어진 분포로부터 랜덤 샘플링을 수행하는 것을 의미한다. 모델 파라미터의 수가 증가함에 따라이 샘플링은 매우 무거워지고 절차를 가속화하고 매우 빠른 구현을 가능하게하는 다양한 계산 방법이 개발되어 물론 높은 수준의 정확도를 유지합니다. 이러한 기술은 예를 들어 MC, MCMC, Metropolis ecc입니다. Gelman 등의 베이지안 데이터 분석을 살펴보십시오. 알 그것은 당신에게 광범위한 소개를 제공해야합니다! 행운을 빕니다