mongodb에서 시계열을 어떻게 저장해야합니까

시계열 데이터베이스를 만들고 다음 작업을 수행해야합니다.

• 새로운 시계열 만들기
• 기존 시계열 업데이트
• 한 번에 하나 이상의 시계열을 쿼리합니다 (예 : 같은 날짜의 모든 시계열 등).

Mongo가 이에 적합합니까? 그렇다면 데이터베이스를 어떻게 구성해야합니까? (한 번의 serie = 하나의 문서? 또는 한 개의 문서 = time serie의 한 항목이며이 모든 문서가 전체 시계열 인 컬렉션을 구성합니까?)

여기에서 약간 길을 잃었고 일반적으로 Mongo가 매우 유연하게 표시되어 사용자가 인프라에서 선택할 수있는 정보를 찾기가 어렵습니다.

Mongo에서 시계열을 관리하는 방법을 구체적으로 설명하는 자습서 링크는 매우 환영합니다.

감사합니다!

문서 당 단일 시계열 항목을 제안합니다. 문서 당 여러 항목을 저장하는 데 몇 가지 문제가 있습니다.

• 단일 문서는 특정 크기 (현재 16MB)로 제한됩니다. 단일 문서에 저장할 수있는 항목 수를 제한합니다.
• 더 많은 항목이 문서에 추가되면 전체 문서 (및 시계열)가 불필요하게 삭제되고 더 큰 메모리에 재 할당됩니다.
• 하위 문서에 대한 쿼리는 일반 문서에 대한 쿼리와 비교하여 제한됩니다
• 매우 평평한 구조의 문서 (예 : 초당 하나의 하위 문서)는 성능이 떨어집니다
• 내장 된 map-reduce는 하위 문서에서 잘 작동하지 않습니다

또한 타임 스탬프는 기본 MongoDB ObjectId에 내장되어 있습니다. 시계열 정밀도가 1 초 미만인 경우이를 사용할 수 있습니다 .

다음은 MongoDB를 사용하는 이벤트 로깅 라이브러리 의 예제 BSON 문서입니다 .

Example format of generated bson document:
{
    'thread': -1216977216,
    'level': 'ERROR',
    'timestamp': Timestamp(1290895671, 63),
    'message': 'test message',
    'fileName': '/var/projects/python/log4mongo-python/tests/test_mongo_handler.py',
    'lineNumber': 38,
    'method': 'test_emit_exception',
    'loggerName':  'testLogger',
    'exception': {
        'stackTrace': 'Traceback (most recent call last):
                       File "/var/projects/python/log4mongo-python/tests/test_mongo_handler.py", line 36, in test_emit_exception
                       raise Exception(\'exc1\')
                       Exception: exc1',
        'message': 'exc1',
        'code': 0
    }
}

이벤트 로그는 시계열과 유사하므로 나머지 코드를 연구하는 것이 좋습니다. Java, C #, PHP 및 Python 버전이 있습니다.

또 다른 유사한 오픈 소스 프로젝트가 있습니다 : Zarkov

[업데이트] @RockScience의 의견에 따라 몇 가지 참조를 추가했습니다.

• MongoDB를 사용하여 시계열을 저장하는 방법에 대한 매우 자세한 사례 연구 . 흥미로운 부분 :
  • 슬라이드 25 : 얼마나 많은 데이터가 있습니까? 10 년 동안 1 분 간격으로 20 바이트의 4 바이트 데이터 포인트
  • 슬라이드 66 : 시계열 데이터를 저장하는 데 사용되는 샘플 MongoDB 문서를 보여줍니다.
• MongoDB 제작자로부터 직접 로그 데이터를 저장하는 모범 사례

OP가 시계열을 저장하는 방법을 묻는 SO ( https : //.com/questions/4814167/storing-time-series-data-relational-or-non ) 에서이 질문을 발견했습니다 . 그의 질문은 NoSQL 데이터베이스 또는 RDBMS 사용에 더 기반을두고 있지만 NoSQL db를 사용하는 것이 좋습니다.

또한 유용한 " 시계열 데이터의 고유 데이터베이스 요구 사항 "에 대한 이 기사를 찾았습니다 .

도움이 되었기를 바랍니다.

물론, NoSQL 데이터베이스는 기존 RDBMS보다 시계열 데이터 저장에 더 적합합니다.

예. MongoDB는이 사용 사례에 매우 적합합니다.

데이터베이스를 어떻게 구성해야합니까? 하나의 문서 = 하나의 시계열 입력 대 여러 시계열.

답은 하나의 문서에 여러 시계열을 저장하는 것입니다. 문서 수가 적 으면 읽기 횟수가 적을수록 성능이 향상됩니다. 하나의 트릭은 사전 정의 된 값으로 문서를 준비하는 것입니다. 레코드 패딩 을 피하여 문서 업데이트를 최적화합니다 .

다음은 분 간격으로 1 시간 분량의 시계열을 최적으로 저장하는 방법에 대한 스키마 예입니다.

{
  timestamp_hour: ISODate("2015-07-02T23:00:00.000Z"),
  type: “memory_used”,
  values: {
    0: 999999,
    1: 1000000, 
    …,
    58: 0,
    59: 0
  }
}

0 값으로 시작하면 업데이트가 최적화됩니다. 읽기는 60 개가 아닌 하나의 문서를 읽기 때문에 최적화됩니다. 하루에 해당하는 데이터를 저장해야하거나 한 달에 같은 기술을 사용하면 아이디어를 얻을 수 있습니다.

다음은 공식 MongoDb 블로그에서 MongoDb의 시계열을 관리하는 방법을 구체적으로 설명하는 자습서 링크입니다. http://blog.mongodb.org/post/65517193370/schema-design-for-time-series-data-in- 몽고 드