시계열 기반 이상 탐지 알고리즘에 웨이블릿 적용

앤드류 무어 ( Andrew Moore)의 통계 데이터 마이닝 튜토리얼을 통해 작업을 시작했습니다 . 무어가 질병 발생을 탐지하는 알고리즘을 만드는 데 사용 된 많은 기술을 통해 추적하는 "시간 시리즈 기반 이상 탐지 알고리즘에 대한 입문 개요"라는 제목 의이 매우 흥미로운 PDF 를 읽었습니다 . 슬라이드의 중간 쯤에, 27 페이지에는 바이러스 확산을 감지하는 데 사용되는 여러 가지 "최신 방법"이 나와 있습니다. 첫 번째는 웨이블릿 입니다. Wikipeida는 잔물결을

진폭이 0에서 시작하여 증가한 다음 다시 0으로 감소하는 파형의 진동. 일반적으로 "간극 진동"으로 시각화 할 수 있습니다.

그러나 통계에 대한 응용 프로그램을 설명하지는 않으며 Google 검색에서 웨이블릿이 해당 주제에 대한 통계 또는 전체 서적과 어떻게 관련되어 있는지에 대한 지식을 전제로 한 학술 논문을 산출합니다.

무어가 튜토리얼에서 다른 기술을 설명하는 방식과 마찬가지로 웨이브 시리즈가 시계열 이상 탐지에 어떻게 적용되는지에 대한 기본적인 이해를 원합니다. 웨이 브릿을 사용하는 탐지 방법이 어떻게 작동하는지 또는 문제에 대한 이해하기 쉬운 기사 링크를 설명 할 수 있습니까?

웨이블릿은 신호에서 특이점을 감지하는 데 유용합니다 (예를 들어 여기 의 논문 (그림 3 참조) 및이 논문에 언급 된 참고 문헌을 참조하십시오.

여기에서의 아이디어는 연속 웨이블릿 변환 (CWT) 이 주파수를 따라 전파되는 최대 라인을 갖는다는 것입니다. 즉, 라인이 길수록 클수록 특이성이 높습니다. 내가 의미하는 바를 보려면 종이의 그림 3을 참조하십시오! 해당 용지와 관련된 무료 Matlab 코드가 있으며 여기에 있어야합니다 .

또한 DISCRETE (이전 예제는 연속 형) 웨이블릿 변환 ( DWT ) 이 통계 학자 (비 제한적 비 배기)에 흥미로운 이유를 자세히 설명 하는 휴리스틱을 제공 할 수 있습니다 .

• 웨이블릿 변환에 의해 희소 시퀀스 로 변환되는 광범위한 (현실적 (Besov 공간)) 신호가 있습니다 . ( 압축성 )
• 상관 관계가 거의없는 특징을 갖는 시퀀스로 변형 된 광범위한 (준 정적) 프로세스 (장식 속성 )
• 웨이블릿 계수에는 시간과 주파수 (다른 스케일로) 로 지역화 된 정보가 포함 됩니다. (멀티 스케일 속성)
• 신호의 웨이블릿 계수 는 특이점에 집중합니다 .

당신이 언급 한 프레젠테이션의 목록은 나에게 상당히 임의적이며, 사용될 기술은 실제로 특정 문제에 달려 있습니다. 그러나 여기에는 칼만 필터 도 포함되어 있으므로 의도 한 용도가 필터링 기술이라고 생각합니다. 웨이블릿 변환은 일반적으로 신호 처리 의 주제에 속하며 , 잡음이 많은 데이터가있는 전처리 단계로 종종 사용됩니다. 한 예로 Chen과 Zhan 의 " 다중 스케일 이상 탐지 "용지가 있습니다 (아래 참조). 이 방법은 원래 노이즈 계열이 아닌 다른 스펙트럼에서 분석을 실행하는 것입니다.

웨이블릿은 종종 연속 시간 푸리에 변환과 비교되지만 시간과 주파수 모두에서 지역화되는 이점이 있습니다. 웨이블릿은 신호 압축과 평활화 (웨이블릿 수축) 모두에 사용할 수 있습니다. 궁극적으로 웨이블릿 변환이 적용된 후 (예를 들어 자동 상관 함수를 살펴보면) 추가 통계를 적용하는 것이 합리적 일 수 있습니다. 이상 감지에 유용 할 수있는 웨이블릿의 또 다른 측면은 위치 결정의 효과입니다. 즉, 불연속은 (푸리에 변환과 달리) 근접에 가까운 웨이블릿에만 영향을 미칩니다. 이를 적용하는 한 가지 방법은 로컬 고정 시계열 (LSW 사용)을 찾는 것입니다.

Guy Nason 은 실용적인 통계 응용 프로그램 인 " R을 사용하여 통계의 웨이블릿 방법 "에 대해 더 자세히 알고 싶은 경우 권장 할만한 훌륭한 책을 제공합니다 . 이것은 통계 분석에 웨이블릿을 적용하는 것을 목표로하며, 모든 코드와 함께 많은 실제 예제를 제공합니다 ( wavethresh 패키지 사용 ). Nason의 책은 일반적으로 "개별 탐지"를 다루지 않지만 일반적인 개요를 제공하는 제독 역할을합니다.

마지막으로, 위키 백과 기사 는 많은 훌륭한 소개 참고 자료를 제공하므로 자세히 살펴볼 가치가 있습니다.

• Chen Xiao-yun Chen, Yan-yan Zhan " 종종 드문 시계열 패턴을 기반으로 한 다중 규모 이상 탐지 알고리즘" 전산 및 응용 수학 저널 214 호, Issue 1 (2008 년 4 월)
• GP Nason " R 통계학의 웨이블릿 방법 "Springer, 2008

참고로, 변경점 감지를위한 최신 기술을 찾고 있다면 특정 분야에서 웨이블릿을 사용해야 할 충분한 이유가없는 한 웨이블릿 방법으로 너무 많은 시간을 소비하기 전에 HMM을 사용하는 것이 좋습니다. 이것은 나의 개인적인 경험에 근거합니다. 물론 다른 많은 비선형 모델도 고려할 수 있으므로 실제로는 특정 문제에 따라 다릅니다.]

가장 일반적으로 사용되고 구현 된 이산 웨이블릿 기반 함수 (로빈의 답변에 설명 된 CWT와 구별됨)에는 이상 감지에 유용한 두 가지 멋진 속성이 있습니다.

1. 그들은 컴팩트하게 지원됩니다.
2. 이들은 지원에 의해 결정된 통과 대역을 가진 대역 통과 필터의 역할을합니다.

이것이 실질적인 의미에서 이산 웨이블릿 분해는 다양한 스케일과 주파수 대역에서 신호의 로컬 변화를 확인한다는 것입니다. 예를 들어, 장기간에 걸쳐 낮은 크기의 이동을 표시하는 기능에 겹쳐진 큰 크기의 고주파 노이즈가있는 경우, 웨이블릿 변환은이 두 스케일을 효율적으로 분리하여 다른 많은 것의 기준선 이동을 볼 수 있습니다 기술이 그리워 질 것입니다. 이 기준선의 변화는 질병의 발생 또는 다른 관심의 변화를 암시 할 수 있습니다. 여러 가지 방법으로 분해 자체를 더 매끄럽게 처리 할 수 ​​있습니다 (비모수 적 추정에서 웨이블릿 계수의 효율적인 축소에 대한 작업이 상당히 많았습니다 (예 : Donoho의 웨이블릿의 거의 모든 항목 참조)). 순수한 주파수 기반 방법과 달리 컴팩트 한 지지대는 고정되지 않은 데이터를 처리 할 수 ​​있음을 의미합니다. 순전히 시간 기반 방법과 달리 일부 주파수 기반 필터링이 가능합니다.

실제로는 이상 또는 변경점을 감지하기 위해 데이터에 이산 웨이블릿 변환 (아마도 "최대 중첩 DWT"또는 "변형 불변 DWT"라고 알려진 변형)을 적용하고 저주파수 계수 세트에서 기준선에 유의 한 이동이 있는지 확인합니다. 일상적인 소음 속에서 장기적인 변화가 일어나고 있음을 보여줍니다. Percival 및 Walden (아래 참조 참조)은 이와 같은 이동이 중요한지 여부를 확인하는 데 사용할 수있는 통계적으로 유의 한 계수에 대한 몇 가지 테스트를 도출합니다.

이산 웨이블릿에 대한 훌륭한 참조 작업은 Percival과 Walden, "시계열 분석을위한 웨이블릿 방법"입니다. 좋은 입문 작업은 Burrus, Gopinath 및 Guo의 "웨이블릿 및 웨이블릿 변환 소개, 입문서"입니다. 공학적 배경을 가지고 있다면, "엔지니어와 과학자를위한 웨이블릿 요소"는 신호 처리 관점에서 좋은 소개입니다.

(로빈의 의견을 포함하도록 편집)