«hdfs» 태그된 질문

스파크에서 CSV를 읽고 DataFrame으로 변환하여 HDFS에 저장하고 싶습니다. df.registerTempTable("table_name") 나는 시도했다 : scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") 내가 얻은 오류 : java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] at parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:418) at org.apache.spark.sql.parquet.ParquetRelation2$MetadataCache$$anonfun$refresh$6.apply(newParquet.scala:277) at org.apache.spark.sql.parquet.ParquetRelation2$MetadataCache$$anonfun$refresh$6.apply(newParquet.scala:276) at …

142 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

Apache Parquet의 특성은 다음과 같습니다. 자기 설명 기둥 형식 언어 독립적 Avro, Sequence Files, RC File 등과 비교하여 형식의 개요를 원합니다. 나는 이미 읽었습니다 : Impala가 Hadoop 파일 형식과 어떻게 작동하는지 , 형식 에 대한 통찰력을 제공하지만 데이터에 대한 액세스 및 데이터 저장이 각 형식에서 어떻게 수행되는지 알고 싶습니다. 마루는 …

136 file  hadoop  hdfs  avro  parquet 

HDFS에서 로컬 파일 시스템으로 파일을 복사하는 방법 파일 아래에 파일 위치가없고 디렉토리도 없습니다. 추가 유효성 검사를 위해 로컬로 어떻게 옮길 수 있습니까? winscp 통해 시도했습니다.

135 hadoop  copy  hdfs 

이것은 일종의 순진한 질문이지만 NoSQL 패러다임에 익숙하지 않으며 그것에 대해 많이 알지 못합니다. 누군가 누군가 HBase와 Hadoop의 차이점을 명확하게 이해하도록 도울 수 있거나 차이점을 이해하는 데 도움이되는 몇 가지 지침을 제시하십시오. 지금까지, 나는 약간의 연구와 acc. 내 이해 하둡은 HDFS에서 원시 데이터 청크 (파일)와 작업 할 수있는 프레임 워크를 제공하며 …

130 hadoop  nosql  hbase  hdfs  difference 

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. hdfs에서 아무것도 만들 수 없습니다. 나는했다 root# bin/hadoop fs -safemode leave 하지만 보여주는 safemode: Unknown command 무엇이 문제입니까? 해결책

122 hadoop  hdfs 

에 따르면 Hadoop - The Definitive Guide FileInputFormats가 정의하는 논리적 레코드는 일반적으로 HDFS 블록에 깔끔하게 맞지 않습니다. 예를 들어, TextInputFormat의 논리 레코드는 HDFS 경계를 더 자주 교차하는 라인입니다. 이것은 프로그램의 기능에 아무런 영향을 미치지 않습니다. 예를 들어 선이 누락되거나 끊어지지는 않습니다. 그러나 데이터 로컬 맵 (즉, 동일한 호스트에서 실행되는 맵 …

119 hadoop  split  mapreduce  block  hdfs 

Map Reduce 프로그래밍에서 감소 단계에는 하위 부분으로 셔플 링, 정렬 및 감소가 있습니다. 정렬은 비용이 많이 드는 일입니다. Map Reduce Programming의 감속기에서 셔플 링 및 정렬 단계의 목적은 무엇입니까?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

동등해야합니까? 그러나 " "명령이 로컬 파일을 hadoop fs표시하는 hdfs files반면 " "명령이 표시되는 이유는 hdfs dfs무엇입니까? 다음은 하둡 버전 정보입니다. Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git : //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Jenkins가 Mon Apr 22 10:48:26 PDT 2013에 컴파일

109 hadoop  hdfs 

나는 du -sh일반적인 Linux 파일 시스템을 알고 있습니다. 하지만 HDFS로 어떻게할까요?

99 hadoop  command-line  directory  hdfs