«apache-spark» 태그된 질문

난 그냥 사이의 차이 무엇인가 궁금 RDD하고 DataFrame (스파크 2.0.0 DataFrame가 단순한 유형의 별칭 Dataset[Row]) 아파치 스파크에서? 하나를 다른 것으로 바꿀 수 있습니까?

257 dataframe  apache-spark  apache-spark-sql  rdd  apache-spark-dataset 

Learning Spark에 따르면 데이터를 다시 파티션하는 것은 비용이 많이 드는 작업입니다. 또한 Spark에는 최적화 된 버전의 repartition()호출 coalesce()이있어 데이터 이동을 피할 수 있지만 RDD 파티션 수를 줄이는 경우에만 가능합니다. 내가 얻는 한 가지 차이점 repartition()은 파티션 수를 늘리거나 줄일 coalesce()수 있지만 파티션 수를 줄이면 줄일 수 있다는 것입니다. 파티션이 여러 …

254 apache-spark  distributed-computing  rdd 

누군가 map과 flatMap의 차이점과 각각의 좋은 사용 사례를 설명해 줄 수 있습니까? "결과 평평"이란 무엇을 의미합니까? 무엇이 좋은가요?

249 apache-spark 

내 클러스터 : 마스터 1 개, 슬레이브 11 개, 각 노드에는 6GB 메모리가 있습니다. 내 설정 : spark.executor.memory=4g, Dspark.akka.frameSize=512 여기 문제가 있습니다 : 먼저 HDFS에서 RDD로 일부 데이터 (2.19GB)를 읽었습니다. val imageBundleRDD = sc.newAPIHadoopFile(...) 둘째 ,이 RDD에서 무언가를 수행하십시오. val res = imageBundleRDD.map(data => { val desPoints = threeDReconstruction(data._2, bg) …

228 out-of-memory  apache-spark 

클로저 외부에서 함수를 호출 할 때 이상한 동작이 발생합니다. 함수가 객체에있을 때 모든 것이 작동합니다. 함수가 클래스에있을 때 get : 직렬화 할 수없는 태스크 : java.io.NotSerializableException : testing 문제는 클래스가 아닌 객체의 코드가 필요하다는 것입니다. 왜 이런 일이 일어나는지 아십니까? 스칼라 개체가 직렬화되어 있습니까 (기본값)? 이것은 작동 코드 예입니다. object …

224 scala  serialization  apache-spark  typesafe 

클러스터 모드 개요를 읽었 지만 Spark Standalone 클러스터 의 여러 프로세스 와 병렬 처리를 여전히 이해할 수 없습니다 . 작업자가 JVM 프로세스입니까? 나는을 실행하고 bin\start-slave.sh실제로 JVM 인 작업자를 생성했다는 것을 알았습니다. 위 링크에 따라 실행 프로그램은 작업을 실행하는 작업자 노드의 응용 프로그램에 대해 시작된 프로세스입니다. 집행자는 또한 JVM입니다. 이것들은 나의 …

219 apache-spark  distributed-computing 

spark-csv를 사용하여 데이터를 DataFrame에로드합니다. 간단한 쿼리를 수행하고 내용을 표시하고 싶습니다. val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv") df.registerTempTable("tasks") results = sqlContext.sql("select col from tasks"); results.show() 열이 잘린 것 같습니다. scala> results.show(); +--------------------+ | col| +--------------------+ |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 …

203 apache-spark  dataframe  spark-csv  output-formatting 

의 관점에서 RDD지속성 에서 스파크 cache()와 차이점은 무엇 persist()입니까?

202 apache-spark  distributed-computing  rdd 

팬더 배경에서 왔으며 CSV 파일의 데이터를 데이터 프레임으로 읽은 다음 간단한 명령을 사용하여 열 이름을 유용한 것으로 변경하는 데 익숙합니다. df.columns = new_column_name_list 그러나 sqlContext를 사용하여 생성 된 pyspark 데이터 프레임에서도 동일하게 작동하지 않습니다. 이 작업을 쉽게 수행 할 수있는 유일한 해결책은 다음과 같습니다. df = sqlContext.read.format("com.databricks.spark.csv").options(header='false', inferschema='true', delimiter='\t').load("data.txt") oldSchema …

201 python  apache-spark  pyspark  pyspark-sql 

YARN에서 Spark 작업을 실행할 때 코어 수와 실행기 수의 관계를 이해하려고합니다. 테스트 환경은 다음과 같습니다. 데이터 노드 수 : 3 데이터 노드 머신 사양 : CPU : 코어 i7-4790 (코어 수 : 4, 스레드 수 : 8) RAM : 32GB (8GB x 4) HDD : 8TB (2TB x 4) 네트워크 …

194 hadoop  apache-spark  yarn 

스파크 셸에서 오는 다양한 메시지를 중지하고 싶습니다. log4j.properties이 메시지를 멈추기 위해 파일 을 편집하려고했습니다 . 내용은 다음과 같습니다 log4j.properties # Define the root logger with appender file log4j.rootCategory=WARN, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n # Settings to quiet third party logs that are too verbose log4j.logger.org.eclipse.jetty=WARN log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR …

181 apache-spark  log4j  spark-submit 

hdfs 위치에서 많은 텍스트 파일을 읽고 spark를 사용하여 반복적으로 매핑하고 싶습니다. JavaRDD<String> records = ctx.textFile(args[1], 1); 한 번에 하나의 파일 만 읽을 수 있습니다. 둘 이상의 파일을 읽고 단일 RDD로 처리하고 싶습니다. 어떻게?

179 apache-spark 

나는 스칼라보다 파이썬을 선호합니다. 그러나 Spark는 기본적으로 스칼라로 작성되었으므로 코드가 스칼라에서 Python 버전보다 더 빨리 실행될 것으로 예상되었습니다. 그 가정으로, 1GB의 데이터에 대해 매우 일반적인 전처리 코드의 스칼라 버전을 배우고 작성하려고 생각했습니다. 데이터는 Kaggle의 SpringLeaf 경쟁에서 선택 됩니다. 데이터에 대한 개요를 제공하기 위해 (1936 차원 및 145232 행 포함). 데이터는 …

178 scala  performance  apache-spark  pyspark  rdd 

RDD (Resilient Distributed Dataset)가 텍스트 파일 또는 컬렉션 (또는 다른 RDD)에서 생성 될 때 RDD 데이터를 메모리에 저장하려면 "캐시"또는 "지속"을 명시 적으로 호출해야합니까? 또는 RDD 데이터가 기본적으로 메모리에 분산 방식으로 저장됩니까? val textFile = sc.textFile("/user/emp.txt") 내 이해에 따라 위의 단계 후에 textFile은 RDD이며 노드의 모든 / 일부 메모리에서 사용할 수 …

171 scala  apache-spark  rdd 

사실 ... 그것은 꽤 많이 논의되었습니다. 그러나 jar / executor / driver 구성 또는 옵션에서 jar 참조 복제를 포함하여 많은 모호성과 일부 답변이 제공됩니다. 모호하거나 생략 된 세부 사항 다음의 모호성, 불분명하거나 생략 된 세부 사항은 각 옵션에 대해 명확해야합니다. ClassPath가 영향을받는 방법 운전사 집행자 (작업 실행) 양자 모두 전혀 …

158 java  scala  apache-spark  jar  spark-submit