추세를 식별하기 위해 신호 처리 원리를 신중하게 사용

나는 매우 시끄러운 장기 데이터에서 추세를 찾으려고 제안하고 있습니다. 데이터는 기본적으로 약 8 개월 동안 약 5mm 이동 한 것에 대한 주 단위 측정입니다. 데이터는 1mm 정확도이며 일주일에 정기적으로 +/- 1 또는 2mm로 시끄 럽습니다. 가장 가까운 mm까지의 데이터 만 있습니다.

원시 데이터에서 노이즈를 분리하기 위해 고속 푸리에 변환과 함께 일부 기본 신호 처리를 사용할 계획입니다. 기본 가정은 데이터 세트를 미러링하여 기존 데이터 세트의 끝에 추가하면 데이터의 전체 파장을 생성 할 수 있으므로 데이터가 빠른 푸리에 변환으로 표시되므로 원하는 경우 데이터를 분리 할 수 ​​있습니다 .

이것이 나에게 약간 모호한 것으로 들리면, 이것은 가치가있는 방법입니까? 아니면 근본적으로 결함이있는 데이터 세트를 미러링하고 추가하는 방법입니까? 우리는 저역 통과 필터를 사용하는 것과 같은 다른 접근 방법을 찾고 있습니다.

트랜드 추정치가 잘못된 데이터를 스 플라이 싱하는 지점 근처에서 편향 될 수 있기 때문에 난리가 들립니다. 다른 방법은 황토 나 스플라인과 같이 비모수 회귀가 더 매끄 럽습니다.

신호 처리를 사용하여 장기 추세를 필터링하려면 저역 통과를 사용하는 것이 어떻습니까?

내가 생각할 수있는 가장 간단한 것은 지수 이동 평균입니다.

나는 모든 기본 파가 잘 연결되지는 않기 때문에 붙여 넣기 지점에서 약간의 왜곡을 얻을 수 있다고 생각합니다.

이를 위해 Hilbert Huang 변환을 사용하는 것이 좋습니다. 내장 모드 함수로 분할하고 계산할 때 잔류 물로 남은 것을 확인하십시오.

(fast :) 이산 웨이블릿 변환을 사용할 수 있습니다 . R 아래 패키지 파문은 모든 작업을 수행합니다. 어쨌든, 나는 @James의 솔루션이 간단하고 요점을 지키기 위해 노력하는 것처럼 보입니다.

"장기 추세"라는 말을 듣는 대부분의 경우, 장기 상향 추세 또는 장기 하향 추세를 생각합니다. 둘 중 어느 것도 푸리에 변환에 의해 제대로 포착되지 않습니다. 이러한 단방향 추세는 선형 회귀 를 사용하여 더 잘 분석됩니다 . (푸리에 변환 및 periodograms 올라갈 것들에 대한 더 적합 하고 아래로).

선형 회귀는 대부분의 스프레드 시트에서 쉽게 수행 할 수 있습니다. (a) 회귀선에 대한 방정식 표시 (b) 스프레드 시트로 XY 산점도 생성

선형 회귀 분석은 직선으로 데이터를 근사하려고합니다. 푸리에 변환은 몇 개의 사인파가 함께 추가되어 데이터를 근사화하려고합니다. 다항식이나 다른 모양으로 데이터를 근사화하는 다른 기술 ( "비선형 회귀")이 있습니다.

푸리에 변환은 넓은 감지 신호 정지성과 선형 시간 불변성 (LTI)을 가정합니다. 이러한 조건을 위반하는 것이 강력하지만 실제로는 정상 성의 가정으로 인한 추세 분석에 적합하지 않다고 생각합니다. 즉, FFT 기본 가정 중 하나를 위반하는 것을 측정하려고합니다.

위의 포스터에 동의합니다. 데이터를 미러링하고 시계열의 끝에 미러 된 데이터를 추가하는 것은 어렵습니다. 위에서 언급 한 것처럼 시간 추세가있는 선형 회귀 모델을 피팅하는 것이 더 적합 할 것입니다.

주기성을 검사하려는 경우 고역 통과 필터링 및 푸리에 분석을 수행하여 추세를 제거 할 수 있습니다. 필터링 후에 추세가 계속 표시되면 FFT 이전의 원래 신호에서 적합 선형 회귀선을 뺄 수 있습니다.