재무 시계열 데이터 (예 : tickdata)에서 특이 치 및 오류 (원인이 무엇이든)를 제거 할 수있는 강력한 기술을 찾고 있습니다.
틱별로 금융 시계열 데이터는 매우 지저분합니다. 교환이 닫히면 엄청난 시간 간격이 생기고 교환이 다시 열리면 크게 점프합니다. 거래소가 열리면 모든 종류의 요소가 잘못되었거나 발생하지 않은 가격 수준 또는 시장을 대표하지 않는 가격 수준에서 거래를 유도합니다 (예를 들어, 잘못 입력 된 입찰 또는 가격 요청으로 인한 급증). tickdata.com (PDF) 의이 문서는 문제를 개략적으로 설명하지만 구체적인 솔루션은 거의 제공하지 않습니다.
온라인 에서이 문제를 언급하는 대부분의 논문은이 문제를 무시하거나 (틱 데이터가 필터링 된 것으로 가정) 유용한 필터링 단계를 숨기는 거대한 거래 모델의 일부로 필터링을 포함합니다.
이 분야에서 더 심도 깊은 작업을 알고있는 사람이 있습니까?
업데이트 : 이 질문 은 표면적으로 비슷해 보이지만 다음과 같습니다.
- 재무 시계열은 (적어도 눈금 수준에서) 비 주기적입니다.
- 마지막 날의 데이터를 정말로 원하지만 (아무것도 없기 때문에) 초기화로 단순히 사용할 수 없기 때문에 오프닝 효과는 큰 문제입니다. 외부 사건으로 인해 새로운 날 개회가 절대적인 수준과 전날의 변동성 모두에서 크게 달라질 수 있습니다.
- 들어오는 데이터의 빈도가 불규칙합니다. 하루 종일 열리고 닫히는 데이터 포인트 / 초의 양은 하루 동안의 평균보다 10 배 더 높을 수 있습니다. 다른 질문은 정기적으로 샘플링 된 데이터를 처리합니다.
- 재무 데이터의 "이상치"는 다른 도메인에는 적용 할 수없는 특정 기술로 감지 할 수있는 특정 패턴을 나타내며 이러한 특정 기술을 부분적으로 찾고 있습니다.
- 더 극단적 인 경우 (예 : 플래시 충돌) 이상 값은 더 긴 간격 (> 10 분) 동안 데이터의 75 % 이상에 달할 수 있습니다. 또한 들어오는 데이터의 (높은) 빈도에는 상황의 특이한 측면에 대한 일부 정보가 포함됩니다.
1
데이터의 특성으로 인해 이것이 중복이라고 생각하지 않습니다. 관련된 다른 질문에 대해 논의 된 문제는 정기적으로 가끔 특이 치가있는 시계열을 관찰했습니다 (적어도 그것이 내가 해석 한 방법입니다). 틱 바이 틱 데이터의 특성은 교환 개방 효과로 인해 다른 솔루션으로 이어질 것입니다.
—
Rob Hyndman
일반 시계열의 온라인 이상 값 탐지를위한 간단한 알고리즘의 복제 가능 이 질문은 복제본으로 종결 될 것을 제안합니다. 문맥이 내가 연결 한 질문과 어떻게 다르면 메타 스레드에 알려주시겠습니까?
@Rob 그러나 교환 개방 효과는 알고리즘을 실행해야 할시기 만 결정합니다. 근본적인 문제는 동일하게 유지됩니다. 네트워크 데이터에서도 사무실이 열리 자마자 트래픽이 가장 많이 발생하는 '사무실 개방 효과'가 있습니다. 최소한 OP는 해당 질문에 링크하고 답변을 스캔 한 후 해당 솔루션이 작동하지 않는 이유를 설명하여이 질문에 적합한 답변을 게시 할 수 있어야합니다.
@Rob에 동의합니다. 이런 종류의 데이터는 고유 한 칼랑 어가 될 수 있으므로 복제본이 아닙니다.
—
Shane
나는 그것이 여기에 속한다고 생각합니다. 문제는 불규칙한 간격의 매우 시끄러운 시계열 분석에 관한 것입니다. Dacorogna, Olsen 및 기타 여러 사람의 "고주파 금융 소개"를 보셨습니까? 아니면 같은 저자의 논문?
—
PeterR