«parquet» 태그된 질문

Apache Parquet의 특성은 다음과 같습니다. 자기 설명 기둥 형식 언어 독립적 Avro, Sequence Files, RC File 등과 비교하여 형식의 개요를 원합니다. 나는 이미 읽었습니다 : Impala가 Hadoop 파일 형식과 어떻게 작동하는지 , 형식 에 대한 통찰력을 제공하지만 데이터에 대한 액세스 및 데이터 저장이 각 형식에서 어떻게 수행되는지 알고 싶습니다. 마루는 …

136 file  hadoop  hdfs  avro  parquet 

내 hadoop 관련 프로젝트에 hadoop 파일 형식 중 하나를 사용할 계획입니다. parquet는 열 기반 쿼리 및 avro 전체 스캔 또는 모든 열 데이터가 필요할 때 효율적이라는 것을 이해 합니다! 계속해서 파일 형식 중 하나를 선택하기 전에 하나의 단점 / 결점이 무엇인지 이해하고 싶습니다. 누구든지 간단한 용어로 설명 할 수 있습니까?

93 hadoop  avro  parquet 

둘 다 데이터 분석 시스템에서 사용하기위한 컬럼 형 (디스크) 스토리지 형식 입니다. 둘 다 Apache Arrow ( python 용 pyarrow 패키지)에 통합되어 있으며 Arrow 와 함께 컬럼 형 인 메모리 분석 계층 으로 대응하도록 설계되었습니다 . 두 형식은 어떻게 다릅니 까? 가능하면 팬더로 작업 할 때 항상 깃털을 선호해야합니까? 깃털 …

89 python  pandas  parquet  feather  pyarrow 

Hive에서 사용할 수있는 스토리지 형식에 대한 몇 가지 테스트를 실행하고 주요 옵션으로 Parquet 및 ORC를 사용하고 있습니다. ORC를 기본 압축으로 한 번, Snappy에 한 번 포함했습니다. 나는 Parquet이 ORC에 비해 시간 / 공간 복잡성이 더 좋다는 문서를 많이 읽었지만 내 테스트는 내가 통과 한 문서와 반대입니다. 내 데이터의 몇 가지 …

87 hadoop  hive  parquet  snappy  orc