«hdf5» 태그된 질문

팬더를 배우면서 수개월 동안이 질문에 대한 답을 찾기 위해 노력했습니다. 나는 일상적인 업무에 SAS를 사용하며 핵심 지원에 적합합니다. 그러나 SAS는 여러 가지 이유로 소프트웨어의 일부로 끔찍합니다. 언젠가 SAS 사용을 파이썬과 팬더로 바꾸고 싶지만 현재는 대규모 데이터 세트에 대한 핵심 작업 흐름이 부족합니다. 분산 네트워크를 필요로하는 "빅 데이터"에 대해 말하는 것이 …

980 python  mongodb  pandas  hdf5  large-data 

다양한 데이터 분석을 수행하기 위해 다양한 방법으로 슬라이스해야하는 경우가 많은 대형 3D 어레이를 처리하고 있습니다. 일반적인 "큐브"는 ~ 100GB 일 수 있습니다 (향후 더 커질 수 있음). 파이썬의 대규모 데이터 세트에 대한 일반적인 권장 파일 형식은 HDF5 (h5py 또는 pytables)를 사용하는 것 같습니다. 내 질문은 : HDF5를 사용하여 이러한 큐브를 …

96 python  numpy  hdf5  pytables  h5py