«data-storage» 태그된 질문

부동 소수점 과학 데이터를 압축하기 위해 특별히 설계된 도구가 있습니까? 함수가 부드러 우면 해당 함수를 나타내는 숫자 사이에 많은 상관 관계가 있으므로 데이터를 잘 압축해야합니다. 이진 부동 소수점 데이터를 압축 / 지핑하면 압축되지 않습니다. 부동 소수점 데이터를 압축하기 위해 특별히 개발 된 방법이 있는지 궁금합니다. 요구 사항 : 무손실 압축 …

26 data-storage 

몇 년 동안 HDF5를 사용해 왔지만 데이터 세트의 크기가 커짐에 따라 여기에 나열된 것과 동일한 문제가 발생하기 시작합니다. http://cyrille.rossant.net/moving-away-hdf5/ 병렬 쓰기 지원-거대한 매트릭스의 청크 액세스 지원 내 일반적인 사용 사례는 100k x 100k 정수 행렬입니다. 논리적 관점에서 전체 파일로 사용하고 싶지만 병렬 작업자와 함께 덩어리로 덩어리를 작성해야합니다.

16 data-storage 

TL, DR 대량의 계층 구조 데이터를 저장하기 위해 과학 컴퓨팅 분야에서 인정되는 모범 사례는 무엇입니까? 예를 들어 SQL은 큰 희소 행렬로 훌륭하게 재생되지 않습니다. 이런 종류의 데이터를 구조화, 보관 및 분석하는 데 유용한 도구가 있습니까? LHC 직원들은 무엇을 사용합니까? 사용 사례 세부 사항 다음 계층 구조에 따라 단백질 시뮬레이션의 데이터를 …

13 data-management  data-storage  data-analysis 

HDF5에 사용 된 파일 형식에 익숙하지 않지만 HDF5 파일이 git (또는 Mercurial 또는 Subversion)의 개정 제어에 적합한 지 궁금합니다. 내가 의미하는 바는 HDF5 파일이 라인 기반 디핑에 적합한 지 또는 git이 HDF5를 하나의 큰 바이너리로 취급하고 각 개정에 대한 전체 사본을 저장해야 하는가?

13 data-management  data-storage