문제 배경 : IT 모니터링 공간에서 찾은 것과 비슷한 로그 파일이 포함 된 프로젝트를 진행하고 있습니다 (IT 공간을 가장 잘 이해하고 있음). 이 로그 파일은 시계열 데이터이며 다양한 매개 변수의 수백 / 수천 행으로 구성됩니다. 각 매개 변수는 숫자 (float)이며 각 시점에 대해 사소한 / 오류가없는 값이 있습니다. 내 임무는 …
클러스터 전에 데이터를 표준화해야합니까? 의 예에서 scikit learnDBSCAN에 대한, 여기에 그들은 라인에서이 작업을 수행 : X = StandardScaler().fit_transform(X) 그러나 왜 필요한지 이해하지 못합니다. 결국 클러스터링은 데이터의 특정 분포를 가정하지 않습니다. 감독되지 않은 학습 방법이므로 목표는 데이터를 탐색하는 것입니다. 왜 데이터를 변환해야합니까?
시계열의 이상 탐지에 사용할 수있는 포괄적 인 오픈 소스 패키지 (Python 또는 R)가 있습니까? scikit-learn에는 하나의 클래스 SVM 패키지가 있지만 시계열 데이터는 아닙니다. 예를 들어 이상 감지를 위해 베이지안 네트워크를 사용하는보다 정교한 패키지를 찾고 있습니다.
매일 생성되는 큰 다차원 데이터 집합이 있습니다. 이전과 비교했을 때 어떤 종류의 '이상 현상'을 감지하는 좋은 방법은 무엇입니까? 이것이 신경망으로 해결할 수있는 적절한 문제입니까? 모든 제안을 부탁드립니다. 추가 정보 : 예가 없으므로이 방법은 이상 자체를 감지해야합니다.
본질적으로 로그 인 큰 SQL 테이블이 있습니다. 데이터는 매우 복잡하며 모든 데이터를 이해하지 않고 이상을 식별하는 방법을 찾으려고합니다. 이상 탐지를위한 많은 도구를 찾았지만 대부분 "중간자"(예 : Elastic Search, Splunk 등)가 필요합니다. 누구나 기준을 세우고 이상 징후를 자동으로 알려주는 SQL 테이블에 대해 실행할 수있는 도구를 알고 있습니까? 이것은 게으른 것처럼 들릴 …