입자 필터를 이해하기위한 수학적 및 통계적 전제 조건?

저는 현재 입자 필터와 재무 분야에서 가능한 용도를 이해하려고 노력하고 있으며 상당히 어려움을 겪고 있습니다. (i) 입자 필터의 기본에 접근 할 수 있도록하기 위해 (ii) 나중에 철저히 이해하기 위해 다시 방문해야하는 수학적 및 통계적 전제 조건은 무엇입니까? 아직 다루지 않은 상태 공간 모델을 제외하고 대학원 수준 시계열 계량 계에 대한 확실한 지식이 있습니다.

어떤 힌트라도 대단히 감사합니다!

몇 가지 기본 개념만으로도 놀랍도록 멀리 갈 수 있습니다. 표기법, 변수의 폭발 등은 상황 을 복잡하게 만들 수 있지만 입자 필터링의 핵심 아이디어는 매우 간단합니다.

당신이 이해해야 할 기본적인 확률은 이미 이해하고있을 것입니다.

• $P(X = x) = \sum_i P(X = x, Y = y_i)$
• $P(X \mid Y) = \frac{P(X,Y)}{P(Y)}$
• $P(X \mid Y) = \frac{P(Y \mid X) P(X)}{P(Y)}$
• 베이지안 용어 : 예. 이전의 가능성, 후방 (+1 @Yair Daon, 동의합니다!)

입자 필터의 기본 단계는 매우 간단합니다.

먼저:

• 숨겨진 상태에 대한 믿음으로 시작하십시오. 예를 들어, 로켓이 발사대에 있다는 믿음으로 시작할 수 있습니다. (입자 필터에서 숨겨진 상태에 대한 믿음은 점 구름으로 표시되며 각 점은 숨겨진 상태의 가능한 값을 나타냅니다. 각 점은 상태가 참 상태 일 확률과도 관련이 있습니다.)

$t$$t+1$

1. 예측 단계 : 운동 법칙에 따라 포인트의 위치를 앞으로 이동합니다 . (예 : 로켓의 현재 속도, 궤도 등을 기준으로 포인트를 앞으로 이동시킵니다.) 이것은 일반적으로 불확실성이 증가함에 따라 포인트 클라우드를 확장합니다.
2. 확률 업데이트 단계 : 데이터, 센서 입력을 사용하여 Bayes Rule을 사용하여 포인트와 관련된 확률 을 업데이트 합니다. 불확실성이 줄어듦에 따라 일반적으로 포인트 클라우드가 무너집니다.
3. 입자 필터링 특정 단계 / 트릭을 추가하십시오. 예 : :
   • 때때로 각 점이 같은 확률을 갖도록 점을 다시 샘플링합니다.
   • 약간의 노이즈를 혼합하고 확률 단계 (2)가 점 구름을 너무 많이 접히는 것을 방지하십시오 (입자 필터링에서는 실제 위치에 양의 확률로 모호한 확률을 가진 점이 하나 이상 있어야합니다!)

예:

필터 초기화 :-서있는 위치를 확인하십시오. 이제 눈을 감아

그런 다음 반복하십시오.

1. 눈을 감고 한 발짝 나아가십시오.
2. 예측 단계 : 어디에 서 있었 는지에 대한 과거의 믿음 이 주어지면, 앞으로 나아갈 위치에 지금 서 있는지 예측하십시오 . (눈을 감고 앞으로 나아가는 것이 매우 정확하지 않기 때문에 불확실성이 커지는 방법에 유의하십시오!)
3. 업데이트 단계 : 센서 (예 : 느낌 등)를 사용하여 서있는 위치에 대한 믿음을 업데이트하십시오.

반복!

구현하는 데 필요한 확률 메커니즘은 기본적으로 기본 확률입니다. 베이 규칙, 계산 한계 분포 등 ...

큰 그림을 이해하는 데 도움이되는 관련성이 높은 아이디어 :

어떤 의미에서, 단계 (1) 및 (2)는 모든 베이지안 필터링 문제에 공통적 이다. 관련성이 높은 몇 가지 개념 :

• 숨겨진 마르코프 모델 . 과거가 현재 상태에서 미래와 무관 한 경우 프로세스는 Markov입니다. 거의 모든 시계열은 일종의 Markov 프로세스로 모델링됩니다. 숨겨진 마르코프 모델은 상태를 직접 관찰하지 않는 한 (예. 당신이 직접 로켓의 정확한 위치를 관찰하지 않고 대신 베이지안 필터를 통해 그것의 위치를 추정 않음).
• 칼만 필터 . 이것은 일반적으로 사용되는 입자 필터링의 대안입니다. 기본적으로 모든 변수가 다변량 가우시안 인 베이 시안 필터입니다.

코딩하기 쉬운 상태 공간 모델 및 폐쇄 형 필터링 (예 : 칼만 필터, 숨겨진 마르코프 모델)에 대해 배워야합니다. 매튜 건 (Matthew Gunn)은 간단한 개념만으로도 놀라 울 정도로 멀리 갈 수 있다는 것은 맞지만 내 겸손한 견해로는 다음과 같은 이유로 중간 목표로 만들어야합니다.

1.) 상대적으로 말하면 상태 공간 모델에는 더 많은 움직이는 부분이 있습니다. SSM 또는 숨겨진 마르코프 모델을 배울 때 많은 표기법이 있습니다. 이것은 당신이 일을 확인하면서 놀면서 작업 메모리에 더 많은 것을 보관해야 함을 의미합니다. 개인적으로 칼만 필터와 선형 가우시안 SSM에 대해 처음 배울 때 저는 기본적으로 "이것은 다변량 법선 벡터의 속성 일뿐입니다 ... 어떤 행렬이 어떤지 추적해야합니다"라고 생각하고있었습니다. 또한 책 사이를 전환하는 경우 종종 표기법이 변경됩니다.

그 후 나는 "어, 이것은 모든 시점에서 단지 베이 즈의 규칙"이라고 생각했다. 이 방법으로 생각하면 Kalman 필터의 경우와 같이 켤레 패밀리가 좋은 이유를 이해할 수 있습니다. 불연속 상태 공간으로 숨겨진 마르코프 모델을 코딩하면 가능성을 계산할 필요가없는 이유를 알 수 있으며 필터링 / 매끄럽게하기가 쉽습니다. (나는 여기에 흠 잡을 데없는 전문 용어에서 벗어나고 있다고 생각합니다.)

2.)이 중 많은 부분을 코딩 할 때 치아를 절단하면 상태 공간 모델의 정의가 얼마나 일반적인지 알 수 있습니다. 곧 당신은 당신이 사용하고자하는 모델을 작성하고 동시에 당신이 할 수없는 이유를 볼 것입니다. 먼저 결국 익숙한이 두 가지 형식 중 하나로 적을 수 없다는 것을 알게 될 것입니다. 조금 더 생각해 보면 Bayes의 규칙을 적어두고 데이터에 대한 일종의 가능성을 계산할 수 없다는 것이 문제입니다.

따라서 이러한 사후 분포 (상태의 평활 또는 필터링 분포)를 계산할 수 없게됩니다. 이를 처리하기 위해 대략적인 필터링 항목이 많이 있습니다. 입자 필터링은 그중 하나 일뿐입니다. 입자 필터링의 주요 테이크 아웃 : 이러한 분포를 계산할 수 없기 때문에 시뮬레이션합니다.

어떻게 시뮬레이트합니까? 대부분의 알고리즘은 중요도 샘플링의 일부 변형 일뿐입니다. 그러나 여기에서도 더 복잡해집니다. Doucet과 Johansen ( http://www.cs.ubc.ca/~arnaud/doucet_johansen_tutorialPF.pdf )의 튜토리얼 용지를 추천합니다 . 클로즈드 폼 필터링의 작동 방식에 대해서는 중요도 샘플링에 대한 일반적인 아이디어와 몬테 카를로 방법에 대한 일반적인 아이디어를 소개 한 다음이 두 가지를 사용하여 훌륭한 재무 시계열 예제를 시작하는 방법을 보여줍니다. IMHO, 이것은 내가 만난 입자 필터링에 대한 최고의 자습서입니다.

믹스에 두 가지 새로운 아이디어 (중요도 샘플링 및 몬테 카를로 방법)를 추가하는 것 외에도 이제 더 많은 표기법이 있습니다. 지금부터 샘플링하고있는 일부 밀도; 일부는 평가하고 있으며, 평가할 때 샘플을 평가하고 있습니다. 결과는 모두 코드화 한 후 가중치 샘플, 입자로 간주됩니다. 그들은 모든 새로운 관찰 후에 바뀝니다. 이 모든 것을 한 번에 집어 올리는 것은 매우 어려울 것입니다. 나는 그것이 과정이라고 생각합니다.

내가 암호로 또는 수동으로 건너 와서 사과드립니다. 이것은 주제에 대한 개인적인 친숙 함을위한 타임 라인 일뿐입니다. Matthew Gunn의 게시물이 아마도 귀하의 질문에 더 직접적으로 대답 할 것입니다. 방금이 응답을 던질 것이라고 생각했습니다.