«hadoop» 태그된 질문

현재 CentOs를 실행하는 서버에서 hadoop을 구성하고 있습니다 . 내가 실행하는 경우 start-dfs.sh또는 stop-dfs.sh, 나는 다음과 같은 오류가 발생합니다 : WARN util.NativeCodeLoader : 해당되는 경우 내장 Java 클래스를 사용하여 플랫폼에 대한 기본 하둡 라이브러리를로드 할 수 없습니다. 하둡 2.2.0을 실행하고 있습니다. 온라인으로 검색하면이 링크가 표시됩니다 : http://balanceandbreath.blogspot.ca/2013/01/utilnativecodeloader-unable-to-load.html 그러나 /native/hadoop 2.x 의 …

269 java  linux  hadoop  hadoop2  java.library.path 

휴무 . 이 질문은 의견 기반 입니다. 현재 답변을받지 않습니다. 이 질문을 개선하고 싶습니까? 이 게시물 을 편집 하여 사실과 인용으로 답변 할 수 있도록 질문을 업데이트하십시오 . 휴일 3 년 전 . 이 질문을 개선하십시오 저의 배경-하둡 세계에서 4 주가되었습니다. Cloudera의 Hadoop VM을 사용하여 Hive, Pig 및 Hadoop에서 약간 …

256 hadoop  hive  apache-pig 

YARN에서 Spark 작업을 실행할 때 코어 수와 실행기 수의 관계를 이해하려고합니다. 테스트 환경은 다음과 같습니다. 데이터 노드 수 : 3 데이터 노드 머신 사양 : CPU : 코어 i7-4790 (코어 수 : 4, 스레드 수 : 8) RAM : 32GB (8GB x 4) HDD : 8TB (2TB x 4) 네트워크 …

194 hadoop  apache-spark  yarn 

Hadoop 또는 HBase 또는 Hive 를 사용하면 어떤 이점이 있습니까? 있습니까? 내가 이해 한 바에 따르면 HBase 는 map-reduce 사용을 피하고 HDFS 위에 열 지향 스토리지를 가지고 있습니다. Hive 는 Hadoop 및 HBase를 위한 SQL과 유사한 인터페이스입니다 . 또한 Hive 가 Pig 와 어떻게 비교 되는지 알고 싶습니다 .

185 hadoop  hbase  hive  apache-pig 

AWS EC2 안내서를 사용하여 Spark를 설치했으며 bin/pyspark스크립트를 사용하여 프로그램을 시작 하여 Spark 프롬프트를 표시하고 Quick Start 종료를 성공적으로 수행 할 수 있습니다. 그러나 필자의 삶에서는 INFO각 명령 후에 모든 자세한 로깅 을 중지하는 방법을 알 수 없습니다 . 응용 프로그램을 시작하는 폴더와 각 노드 에서 내 log4j.properties파일 의 아래 코드 …

144 python  scala  apache-spark  hadoop  pyspark 

스파크에서 CSV를 읽고 DataFrame으로 변환하여 HDFS에 저장하고 싶습니다. df.registerTempTable("table_name") 나는 시도했다 : scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") 내가 얻은 오류 : java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] at parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:418) at org.apache.spark.sql.parquet.ParquetRelation2$MetadataCache$$anonfun$refresh$6.apply(newParquet.scala:277) at org.apache.spark.sql.parquet.ParquetRelation2$MetadataCache$$anonfun$refresh$6.apply(newParquet.scala:276) at …

142 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

Apache Parquet의 특성은 다음과 같습니다. 자기 설명 기둥 형식 언어 독립적 Avro, Sequence Files, RC File 등과 비교하여 형식의 개요를 원합니다. 나는 이미 읽었습니다 : Impala가 Hadoop 파일 형식과 어떻게 작동하는지 , 형식 에 대한 통찰력을 제공하지만 데이터에 대한 액세스 및 데이터 저장이 각 형식에서 어떻게 수행되는지 알고 싶습니다. 마루는 …

136 file  hadoop  hdfs  avro  parquet 

HDFS에서 로컬 파일 시스템으로 파일을 복사하는 방법 파일 아래에 파일 위치가없고 디렉토리도 없습니다. 추가 유효성 검사를 위해 로컬로 어떻게 옮길 수 있습니까? winscp 통해 시도했습니다.

135 hadoop  copy  hdfs 

이것은 일종의 순진한 질문이지만 NoSQL 패러다임에 익숙하지 않으며 그것에 대해 많이 알지 못합니다. 누군가 누군가 HBase와 Hadoop의 차이점을 명확하게 이해하도록 도울 수 있거나 차이점을 이해하는 데 도움이되는 몇 가지 지침을 제시하십시오. 지금까지, 나는 약간의 연구와 acc. 내 이해 하둡은 HDFS에서 원시 데이터 청크 (파일)와 작업 할 수있는 프레임 워크를 제공하며 …

130 hadoop  nosql  hbase  hdfs  difference 

둘 다 테이블의 열에서 수행되지만 각 작업이 어떻게 다른지 알고 있습니다.

129 hadoop  hive 

MapReduce를 적용하는 많은 실제 상황에서 최종 알고리즘은 여러 MapReduce 단계가됩니다. 즉, Map1, Reduce1, Map2, Reduce2 등. 따라서 다음 맵에 대한 입력으로 필요한 마지막 감소의 출력이 있습니다. 중간 데이터는 파이프 라인이 성공적으로 완료되면 (일반적으로) 유지하고 싶지 않은 것입니다. 또한이 중간 데이터는 일반적으로 일부 데이터 구조 (예 : '맵'또는 '세트')이기 때문에 이러한 …

124 hadoop  mapreduce 

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. hdfs에서 아무것도 만들 수 없습니다. 나는했다 root# bin/hadoop fs -safemode leave 하지만 보여주는 safemode: Unknown command 무엇이 문제입니까? 해결책

122 hadoop  hdfs 

에 따르면 Hadoop - The Definitive Guide FileInputFormats가 정의하는 논리적 레코드는 일반적으로 HDFS 블록에 깔끔하게 맞지 않습니다. 예를 들어, TextInputFormat의 논리 레코드는 HDFS 경계를 더 자주 교차하는 라인입니다. 이것은 프로그램의 기능에 아무런 영향을 미치지 않습니다. 예를 들어 선이 누락되거나 끊어지지는 않습니다. 그러나 데이터 로컬 맵 (즉, 동일한 호스트에서 실행되는 맵 …

119 hadoop  split  mapreduce  block  hdfs 

Map Reduce 프로그래밍에서 감소 단계에는 하위 부분으로 셔플 링, 정렬 및 감소가 있습니다. 정렬은 비용이 많이 드는 일입니다. Map Reduce Programming의 감속기에서 셔플 링 및 정렬 단계의 목적은 무엇입니까?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

누구든지 Hive의 외부 테이블과 내부 테이블의 차이점을 말할 수 있습니까? 테이블을 떨어 뜨릴 때 차이가 있다는 것을 알고 있습니다. 데이터와 메타 데이터가 내부에서 삭제되고 외부 테이블에서 메타 데이터 만 삭제된다는 의미를 이해하지 못합니다. 누구든지 노드 측면에서 나를 설명해 주시겠습니까?

110 hadoop  hive  hiveql