칼만 필터와 다항식 회귀의 관계는 무엇입니까?

칼만 필터링과 (필요한 경우 반복되는) 최소 제곱 다항식 회귀의 관계는 무엇입니까?

1. 최적 성 기준에 차이가 있습니다

칼만 필터 는 선형 추정기입니다. 그것은이다 선형 최적의 추정 즉, 간접 부정확하고 불확실한 관측 관심의 모델 매개 변수를 추정한다 -.

그러나 어떤 의미에서 최적입니까? 모든 노이즈가 가우스 인 경우 Kalman 필터 는 추정 된 매개 변수 의 평균 제곱 오차 를 최소화합니다 . 이는 기본 노이즈가 가우시안 이 아닌 경우 더 이상 약속이 유지되지 않음을 의미합니다. 비선형 역학의 경우, 상태 추정의 문제가 어렵다는 것은 잘 알려져있다. 이와 관련하여 필터링 전략은 다른 모든 전략보다 분명히 뛰어난 성능을 발휘하지 못합니다. 이 경우 추가 정보로 시스템을 더 잘 모델링 할 수 있다면 비선형 추정기가 더 나을 수 있습니다. [참조 1-2 참조]

다항 회귀 는 독립 변수 x와 종속 변수 y 사이의 관계가 n 차 다항식으로 모델링되는 선형 회귀의 한 형태입니다.

다항식 회귀 분석은 비선형 모형을 데이터에 적합하지만 회귀 함수는 알 수없는 매개 변수 관점에서 선형이기 때문에 이러한 모형은 추정 관점에서 모두 선형입니다 . 우리는 처리하는 경우 와 같은 다른 변수 다항식 회귀도 처리 될 수있는 바와 같이 다중 선형 회귀 .$a_0, a_1, a_2$$x, x^2$

다항식 회귀 모형은 일반적으로 최소 제곱 법을 사용하여 적합합니다. 최소 제곱 법에서도 평균 제곱 오차를 최소화합니다. 최소 제곱 법은 가우스-마코프 정리 의 조건 하에서 계수의 편향 추정량의 분산을 최소화합니다 . 이 정리는 다음 조건에서 일반 최소 제곱 (OLS) 또는 선형 최소 제곱이 BLUE (Best Linear Unbaised Estimator)임을 나타냅니다.

에이. 에러가 0을 기대할 때, 즉 b. 동일한 분산을 갖는 것, 즉 c. 오류는 상관되지 않습니다. 즉V a r i a n c e ( e i ) = σ 2 < ∞ c o v ( e i , e j ) = $E(e_i) = 0$
$Variance(e_i) = \sigma^2 < \infty$
$cov(e_i,e_j) = 0$

참고 : 여기서 오류는 가우시안 일 필요는 없으며 IID 일 필요는 없습니다. 상관 관계가 없어야합니다.

2. 칼만 필터는 최소 제곱에서 추정값의 진화입니다.

1970 년 HW 소렌슨 제목의 IEEE 스펙트럼 문서를 출판 "최소 자승 추정 :. 가우스에서 칼만에를 "이것은 오늘날의 현대에 최소 제곱 방법 가우스 '원래의 아이디어에 대한 훌륭한 통찰력을 제공하는 독창적 인 논문이다 [참고 3 참조] 칼만과 같은 견적 자.

Gauss의 연구는 최소 제곱 체계를 도입했을뿐만 아니라 실제로 확률 론적 관점을 사용한 최초의 연구 중 하나였습니다. 최소 회귀 분석은 다양한 회귀 분석법의 형태로 발전했지만 필터 이론을 추정기로 사용하는 또 다른 중요한 작업이있었습니다.

고정 시계열 추정에 사용되는 필터 이론은 1940 년대 (WW-II 중) Norbert Wiener에 의해 구성되었으며 1949 년에 출판되었으며 현재는 Wiener 필터로 알려져 있습니다. 이 작업은 훨씬 일찍 이루어졌지만 2 차 세계 대전이 끝날 때까지 분류되었습니다. Wiener의 작업과 별개의 시간은 Kolmogorov에 의해 독립적으로 도출되었으며 1941 년에 출판되었습니다. 따라서이 이론은 종종 Wiener-Kolmogorov 필터링 이론 이라고합니다 .

일반적으로 필터는 원하는 주파수 응답을 위해 설계되었습니다. 그러나, 위너 필터 (Wiener filter)의 경우, 원하는 무소음 신호의 추정과 비교하여 신호에 존재하는 노이즈의 양을 감소시킨다. 와이너 필터는 실제로 추정기입니다. 그러나 중요한 논문에서 Levinson (1947) [참조 6]은 이산 시간에 전체 이론이 최소 제곱으로 줄어들 수 있으며 수학적으로 매우 간단하다는 것을 보여 주었다. 참조 4 참조

따라서 우리는 Weiner의 연구가 추정 문제에 대한 새로운 접근 방식을 제공했음을 알 수 있습니다. 최소 제곱을 사용하는 것에서 잘 확립 된 다른 필터 이론으로의 진화. 그러나 중요한 한계는 Wiener 필터가 입력이 정지 된 것으로 가정한다는 것입니다. 칼만 필터는 정지 기준을 떨어 뜨리는 진화의 다음 단계라고 말할 수 있습니다. 칼만 필터에서 상태 공간 모델은 신호 또는 시스템의 정지되지 않은 특성을 처리하도록 동적으로 조정할 수 있습니다.

칼만 필터는 이산 시간 영역의 선형 동적 시스템을 기반으로합니다. 따라서 Wiener와 달리 잠재적으로 시변 신호를 처리 할 수 ​​있습니다. Sorenson의 논문 은 다음과 같이 Gauss의 최소 제곱과 칼만 필터 사이에 평행을 그립니다.

따라서 가우스와 칼만의 기본 가정은 나중에 상태가 한 번에서 다음 번으로 변경되는 것을 제외하고는 동일하다는 것을 알 수 있습니다. 그 차이는 가우스 문제에 대한 사소한 수정은 아니지만 최소 제곱 프레임 워크 내에서 처리 될 수있는 수정을 도입합니다.

3. 인과 ​​관계가 예측되는 한 동일하다. 구현 효율성 외에

칼만 필터는 회귀 또는 최소 제곱이 엔드 투 엔드 포인트 내에서 스무딩 되는 과거 데이터를 기반으로 미래 이벤트를 예측하는 데 사용되는 경우가 있습니다 . 이것은 사실이 아닙니다. 독자는 두 추정기 (및 거의 모든 생각할 수있는 추정기)가 두 가지 작업을 모두 수행 할 수 있다는 점에 유의해야합니다. 칼만 필터를 적용하여 칼만 스무딩 을 적용 할 수 있습니다 .

마찬가지로 회귀 기반 모델도 예측에 사용할 수 있습니다. 교육 벡터를 감안할 때, 하고 적용 하고 모델 매개 변수를 발견 다른 샘플 지금 우리가 추정 할 수 모델에 기반.Y $X_t$$Y_t$$α_0 ... a_K$$X_k$$Y_K$

따라서 두 방법 모두 평활화 또는 피팅 (비인 과적) 형식과 향후 예측 (인과 적 사례)의 형태로 사용될 수 있습니다. 그러나 중요한 차이점은 구현이 중요하다는 것입니다. 다항식 회귀 분석의 경우 전체 프로세스를 반복해야하므로 인과 추정을 구현할 수는 있지만 계산 비용이 많이들 수 있습니다. [지금까지는 일을 반복하기 위해 약간의 연구가 필요하다고 확신합니다].

반면에 칼만 필터는 본질적으로 재귀 적입니다. 따라서 과거 데이터에 대해서만 미래 예측을 위해 사용하는 것이 매우 효율적입니다.

다음은 여러 가지 방법을 비교 한 또 다른 좋은 프레젠테이션입니다. Ref 5

참고 문헌

1. 칼만 필터에 대한 최상의 소개-Dan Simon 칼만 필터링 임베디드 시스템 프로그래밍 2001 년 6 월 페이지 72

2. 프레젠테이션 : Lindsay Kleeman Kalman 필터링 이해 및 적용

3. HW Sorenson 최소 제곱 추정 : Gauss에서 Kalman IEEE Spectrum까지, 1970 년 7 월. pp 63-68.

4. 강의 노트 MIT 코스웨어

5. 프리젠 테이션 시모 Särkkä 선형 회귀에서 칼만 필터와 너머 기술의 헬싱키 대학

6. 레빈슨, N. (1947). "필터 설계 및 예측에서 Wiener RMS 오류 기준." J. 수학. Phys., v. 25, 261–278 쪽.

동일한 문제를 해결하는 데 사용할 수있는 완전히 다른 두 모델이기 때문에 그 차이는 상당히 큽니다. 빠른 요약을하자.

다항식 회귀 분석은 함수 근사 방법입니다. 우리는 형식의 데이터 세트를 가지고 있으며 기능적 관계를 결정하기를 원하며, 이는 종종 확률 밀도 를 추정하여 표현됩니다 . 이 가 가우시안 이라는 가정하에 최대 우도 추정값으로 최소 제곱 해를 구합니다.$\lbrace x_i, z_i \rbrace$$p(z|x)$$p$

칼만 필터링은 선형 동적 시스템에서 특별한 추론 방법입니다. LDS는 상태 공간 모델의 특별한 경우이며, 우리가 관찰 한 데이터는 가우스 랜덤 변수에 대한 Markov 체인의 후속 단계에 선형 변환을 적용하여 생성된다고 가정합니다. 따라서 실제로 우리 가하는 것은 시계열의 확률 인 를 모델링 하는 것입니다. 칼만 필터링의 과정은 시계열의 다음 값을 예측하는 것입니다 예 : 최대화 . 그러나 동일한 모델을 사용하여 평활화, 보간 및 기타 여러 가지를 추론 할 수 있습니다.$p(x_{1:T})$$p(x_{t+1}|x_{1:t})$

따라서 다항식 회귀 분석은 함수 근사를 수행하고 칼만 필터링은 시계열 예측을 수행합니다. 완전히 다른 두 가지가 있지만 시계열 예측은 함수 근사화의 특별한 경우입니다. 또한 두 모델 모두 관찰 한 데이터에 대해 매우 다른 가정을합니다.

칼만 필터 전문가는 아니지만 전통적인 칼만 필터링은 관찰 가능한 데이터와 비선형 관계를 가정 할 수 있는 확장 칼만 필터 와 같이보다 복잡한 데이터와는 달리 추론하려는 데이터 간의 선형 관계를 가정합니다.

이를 염두에두고, 전통적인 칼만 필터의 경우 온라인 선형 회귀는 칼만과 성능이 비슷하다고 생각합니다. 그러나 전통적인 칼만으로는 캡처 할 수없는 비선형 관계를 가정하는 다항식 회귀 분석을 사용할 수도 있습니다.

칼만 필터링은 다음 상태에 대한 다중 예측을 제공하며 회귀의 외삽은 그렇지 않습니다.

칼만 필터는 노이즈 요인 (가우스 분포 기반)을 포함하는 데에도 중점을 둡니다.

이미 많은 말을 들었습니다. 의견을 추가 할 수 있습니다.

칼만 필터는 베이지안 확률 이론의 적용으로, "선험적 정보"또는 "사전 불확실성"을 지정할 수 있습니다 (필수). 내가 이해하는 것처럼, 이것은 전통적인 최소 제곱 피팅의 경우가 아닙니다. LSQ 피팅에서 관측치 (데이터)에 확률을 적용 할 수는 있지만 솔루션에 대한 사전 지식을 쉽게 고려할 수는 없습니다.

요약하면 KF가 찾은 솔루션은

a) '예측'을 제공하는 모델

b) '관찰'인 측정

c) 예측과 관찰에 대한 불확실성

d) 솔루션에 대한 사전 지식.

"사전 지식"은 초기 추측에 대한 분산으로 지정되지만 모든 응용 프로그램에서 같은 정도로 관련되거나 활용되지는 않습니다.

앞에서 언급했듯이 KF의 일반적인 용도는 실시간 관측에서 노이즈를 줄이는 것입니다. 관측치와 모형 예측을 비교하면 노이즈가없는 '진정한 측정'을 추정하는 데 도움이 될 수 있습니다. 이러한 일반적인 적용이 KF를 필터라고하는 이유입니다.

이 예의 초기 추측은 KF가 시작되는 시간 0에서 가정 된 해결책으로, "사전 불확실성"과 관련이 있습니다. 종종 예측 모델에 알려지지 않은 매개 변수가 있지만 측정에 의해 제한 될 수 있습니다 (예 : "관측 가능"). KF는 시계열 데이터를 통해 이동함에 따라 이러한 매개 변수와 "진정한 측정"에 대한 추정치를 개선 할 것입니다. 이 경우 초기 상태는 종종 일관된 필터링 성능을 나타내도록 지정됩니다. 실제 추정 오류는 KF가 솔루션과 함께 제공하는 불확실성 범위 내에 있습니다. 이 예에서, 초기 상태에 대한 사전의 불확실성이 크게 지정되어 KF에 포함 된 오류를 수정할 수있는 기회가 제공됩니다. 작은 값을 지정할 수도 있습니다.

이 KF 설계 영역에는 초기 상태 값과 불확실성이 우수하여 성능이 좋을 수 있도록 시행 착오 또는 엔지니어링 판단이 필요할 수 있습니다. 이러한 이유로, 좋은 성능 (숫자, 추정, 예측 등)을 초래하기 위해 불확실성을 지정하는 것과 관련된 KF 필터 설계의 이러한 측면과 다른 측면을 종종 "필터 튜닝"이라고합니다.

그러나 다른 응용에서는 이전의 불확실성에 대한보다 엄격하고 유용한 접근 방식을 채택 할 수 있습니다. 이전 예는 실시간 추정 (불확실한 측정치에서 노이즈를 필터링하기위한)에 관한 것입니다. 초기 상태와 그 분산 (이전의 불확실성)은 필터를 초기에 초기화하는 데 거의 필요한 악입니다. 그 후에는 초기 관측치가 추정치를 개선하는 데 사용되므로 초기 상태는 점점 중요하지 않습니다. 이제 특정 시간 t_s에서 측정 및 모델 예측에 적용된 칼만 필터를 고려하십시오. 우리는 불확실한 관찰과 불확실한 모델을 가지고 있지만 우리가 찾고있는 솔루션에 대한 사전 지식도 가지고 있습니다. 가우스 PDF (평균 및 분산)를 알고 있다고 가정하겠습니다. 이 경우, 솔루션은 이전의 불확실성에 매우 크게 의존 할 수 있습니다.

베이지안 이론의 기본이되는이 기능은 KF가 일반적으로 이용 가능한 모든 종류의 불확실성 / 정보를 고려하면서 확률 론적 문제를 해결할 수 있도록합니다. KF는 수십 년 동안 개발 및 적용되어 왔기 때문에 기본 기능에 대해 자세히 설명하지는 않습니다. 내 경험상, 많은 논문과 서적은 최적 성과 선형화 (확장 KF, 무향 KF 등)에 중점을 둡니다. 그러나 "입자 필터"에 대한 소개 논문과 텍스트를 읽음으로써 베이지안 이론과 KF 간의 연결에 대한 훌륭한 설명을 찾았습니다. 이것들은 베이지안 추정의 또 다른 최신 구현입니다. 관심이 있으시면 찾아보십시오!