확장 가능한 이상치 / 이상 탐지

Hadoop, Hive, Elastic Search (다른 무엇보다도)를 사용하여 빅 데이터 인프라를 설정하려고하는데 특정 데이터 세트에 대해 일부 알고리즘을 실행하고 싶습니다. 알고리즘 자체의 확장 성을 원하므로 Weka, R 또는 RHadoop과 같은 도구를 사용하는 것을 제외합니다. 아파치 두싯 도서관은 좋은 옵션이 될 것 같다, 그리고 기능 회귀 및 클러스터링 작업에 대한 알고리즘을 .

내가 찾기 위해 고군분투하는 것은 이상 또는 이상치 탐지를위한 솔루션입니다.

Mahout에는 Hidden Markov Models와 다양한 군집 기법 (K-Means 포함)이 있으므로이 중 하나를 사용하여 시계열에서 특이 치를 탐지하는 모델을 구축 할 수 있는지 궁금합니다. 누군가가 이것에 경험이 있다면 조언 할 수 있다면 감사 할 것입니다.

1. 가능하다면
2. 방법, 플러스
3. 관련된 노력의 추정
4. 이 접근법의 정확성 / 문제.

나는 t-digest algorithm을 살펴볼 것이다 . 그것은 것 조련사로 통합되었습니다 도의 일부 다른 도서관 빅 데이터가 스트리밍. 다음 알고리즘에서이 알고리즘과 특히 빅 데이터 이상 탐지에 대해 자세히 알아볼 수 있습니다.

1. 실제 머신 러닝 이상 감지 책.
2. 웨비나 : 찾을 내용을 모를 때 이상 탐지
3. Elasticsearch의 이상 감지 .
4. 이상 감지를 사용한 10 억 달러 사기 극복 : Accumulo가있는 Hortonworks 데이터 플랫폼에서 Argyle 데이터를 사용한 신호 처리 방식

stackexchange 에서 h2o R 또는 Python 이상 감지 방법과 관련된 내 응답을 참조 할 수 있습니다 . 확장 가능하기 때문입니다.