대화 형으로 큰 시계열 데이터를 보는 방법은 무엇입니까?

10

나는 종종 적절한 타임 스탬프 양의 시계열 데이터, 관련 타임 스탬프와 함께 5 억에서 2 억 배의 배를 처리하고이를 동적으로 시각화하고 싶습니다.

이를 효과적으로 수행 할 수있는 기존 소프트웨어가 있습니까? 라이브러리와 데이터 형식은 어떻습니까? 줌 캐시 는 큰 시계열에 중점을 둔 라이브러리의 한 예입니다. 줌 캐시에서 데이터는 여러 해상도로 요약되어 다른 해상도에서 더 쉽게 볼 수 있습니다.

편집 : 또한 다른 곳이 있다면이 질문을하거나 답변을 찾아야합니다.

— 다 보락
소스

1

그렇게 많은 수의 데이터 포인트로 어떻게 확장되는지는 모르겠지만 Cubism.js를 살펴볼 수도 있습니다 .

— chl

Cubism을 살펴 보았습니다.이 데이터는 직렬 데이터 스트림에서 증분 업데이트 그래프에 적합하지만 짧은 검색으로 큰 데이터 세트의 속도를 높이기 위해 여러 해상도 또는 요약 데이터를 캐싱하는 것에 대해서는 아무것도 보지 못했습니다. 멋진 라이브러리처럼 보이지만 포인터에 대한 것입니다.

— Davorak

1

Zoomdata에 관심이있을 수 있습니다 zoomdata.com/product/fast-data-sharpening-visualization 그들의 가격은 매우 높습니다.

— chhantyal

@chhantyal-감사합니다! 그것은 내가 찾던 도구와 비슷해 보입니다. 더 이상 동일한 데이터 세트로 작업하지 않지만 여전히 공간에 관심이 있으므로 어느 시점에서 zoomdata의 흔적을 시험해 볼 것입니다.

— Davorak

2

대규모 시계열 데이터 세트를 처리하는 방법에 대한 예제를 제공하는 TimeSearcher 1-3 이라는 연구 도구 세트가 있습니다. 다음은 TimeSearcher 2 및 3의 일부 이미지 예입니다.

TimeSearcher 2

TimeSearcher 3

— 에 달메
소스

2

self-ad는 유감이지만 Thunderplot (thunderplot.com)이 적합합니다. 큰 데이터 세트의 대화식 플로팅을 위해 정확하게 작성했습니다. 200KK 행 데이터 세트로 테스트하지는 않았지만 ~ 10KK 행에서 잘 작동합니다. 또한 "N 번째 행마다 읽기"기능이 있으므로 저장 / 시각화 할 데이터 양을 줄일 수 있습니다. 큰 데이터 세트 중 하나와 교환하여 등록 키를 보낼 수 있습니다. :-)

썬더 플롯 스크린 샷

— 바딤 칼린 스키
소스

0

이 회사에서 일하기 때문에 다른 자체 홍보 게시물이지만 SensorCloud (sensorcloud.com)는 스마트 알고리즘을 사용하여 대규모 데이터 세트를 매우 빠르게 그래프로 표시합니다. 원래 물리적 센서를 염두에두고 설계되었지만 시계열 데이터를 처리 할 수있는 CSV 업 로더가 있습니다.

예를 들어, 1 테라 바이트 이상의 타임 스탬프 + 데이터 값을 가진 1,000 억 개의 데이터 포인트가있는 데이터 세트를 업로드했으며이를 빠르게 그래프 화하고 상호 작용할 수 있습니다.

해당 데이터 세트에 대한 공개 링크는 다음과 같습니다. https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/

위의 링크는 플래시 뷰어를 사용합니다. 플래시를 사용하지 않으려면 다음 자바 스크립트 뷰어가 있습니다. https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/js/

스크롤 휠을 사용하거나 Shift + 왼쪽 클릭을 사용하여 확대합니다.

— rwstoneback
소스