«apache-spark» 태그된 질문

내가 다음과 같은 일을한다고 가정 해보십시오. val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> "cars.csv", "header" -> "true")) df.printSchema() root |-- year: string (nullable = true) |-- make: string (nullable = true) |-- model: string (nullable = true) |-- comment: string (nullable = true) |-- blank: string (nullable = true) df.show() year …

152 scala  apache-spark  apache-spark-sql 

Spark Datasets 소개 에 따르면 : Spark 2.0을 기대하면서 데이터 집합에 대한 몇 가지 흥미로운 개선 사항을 계획합니다. ... 사용자 지정 인코더 – 현재 다양한 유형의 인코더를 자동 생성하는 동안 사용자 지정 개체에 대한 API를 열고 싶습니다. Dataset다음과 같은 오류가 발생 하여 사용자 정의 유형을 저장하려고 시도합니다 . 데이터 세트에 …

149 scala  apache-spark  apache-spark-dataset  apache-spark-encoders 

AWS EC2 안내서를 사용하여 Spark를 설치했으며 bin/pyspark스크립트를 사용하여 프로그램을 시작 하여 Spark 프롬프트를 표시하고 Quick Start 종료를 성공적으로 수행 할 수 있습니다. 그러나 필자의 삶에서는 INFO각 명령 후에 모든 자세한 로깅 을 중지하는 방법을 알 수 없습니다 . 응용 프로그램을 시작하는 폴더와 각 노드 에서 내 log4j.properties파일 의 아래 코드 …

144 python  scala  apache-spark  hadoop  pyspark 

다음과 같이 DataFrame이 생성되었습니다. df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc)) 결과는 다음과 같습니다. +----+--------+----------+ |Hour|Category|TotalValue| +----+--------+----------+ | 0| cat26| 30.9| | 0| cat13| 22.1| | 0| cat95| 19.6| | 0| cat105| 1.3| | 1| cat67| 28.5| | 1| cat4| 26.8| | 1| cat13| 12.6| | 1| cat23| 5.3| | …

143 sql  scala  apache-spark  dataframe  apache-spark-sql 

다음에 대해 특정 시점마다 하나의 Spark 작업 만 실행한다고 가정 해 봅시다. 내가 지금까지 얻는 것 다음은 Spark에서 발생하는 것을 이해하는 것입니다. a SparkContext가 작성되면 각 작업자 노드가 실행기를 시작합니다. 실행기는 별도의 프로세스 (JVM)이며 드라이버 프로그램에 다시 연결됩니다. 각 실행 프로그램에는 드라이버 프로그램의 jar이 있습니다. 드라이버를 종료하면 실행 프로그램이 종료됩니다. …

143 apache-spark 

스파크에서 CSV를 읽고 DataFrame으로 변환하여 HDFS에 저장하고 싶습니다. df.registerTempTable("table_name") 나는 시도했다 : scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") 내가 얻은 오류 : java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] at parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:418) at org.apache.spark.sql.parquet.ParquetRelation2$MetadataCache$$anonfun$refresh$6.apply(newParquet.scala:277) at org.apache.spark.sql.parquet.ParquetRelation2$MetadataCache$$anonfun$refresh$6.apply(newParquet.scala:276) at …

142 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

어떻게 내가 RDD을 (변환 할 수 있습니다 org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]Dataframe에) org.apache.spark.sql.DataFrame. 를 사용하여 데이터 프레임을 rdd로 변환했습니다 .rdd. 그것을 처리 한 후 데이터 프레임에 다시 넣고 싶습니다. 어떻게해야합니까?

139 scala  apache-spark  apache-spark-sql  rdd 

DataFrame임의의 값 으로 열을 추가하고 싶습니다 (각 행마다 동일). withColumn다음과 같이 사용할 때 오류가 발생 합니다. dt.withColumn('new_column', 10).head(5) --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) <ipython-input-50-a6d0257ca2be> in <module>() 1 dt = (messages 2 .select(messages.fromuserid, messages.messagetype, floor(messages.datetime/(1000*60*5)).alias("dt"))) ----> 3 dt.withColumn('new_column', 10).head(5) /Users/evanzamir/spark-1.4.1/python/pyspark/sql/dataframe.pyc in withColumn(self, colName, col) 1166 [Row(age=2, name=u'Alice', age2=4), Row(age=5, …

137 python  apache-spark  dataframe  pyspark  apache-spark-sql 

시도 df.orderBy("col1").show(10)했지만 오름차순으로 정렬되었습니다. df.sort("col1").show(10)또한 내림차순으로 정렬합니다. 나는 stackoverflow를 살펴 보았고 내가 찾은 대답은 모두 구식이거나 RDD라고 언급했다 . 스파크에서 기본 데이터 프레임을 사용하고 싶습니다.

137 scala  apache-spark  apache-spark-sql 

RDD map 와 mapPartitions방법 의 차이점은 무엇입니까 ? 그리고 flatMap좋아 map하거나 좋아 mapPartitions합니까? 감사. (편집) 즉, 의미 적으로 또는 실행 측면에서 차이점은 무엇입니까? def map[A, B](rdd: RDD[A], fn: (A => B)) (implicit a: Manifest[A], b: Manifest[B]): RDD[B] = { rdd.mapPartitions({ iter: Iterator[A] => for (i <- iter) yield fn(i) }, …

133 performance  scala  apache-spark  rdd 

Spark DataFrame (PySpark 1.5.1 사용)이 있고 새 열을 추가하고 싶습니다. 나는 성공하지 않고 다음을 시도했습니다. type(randomed_hours) # => list # Create in Python and transform to RDD new_col = pd.DataFrame(randomed_hours, columns=['new_col']) spark_new_col = sqlContext.createDataFrame(new_col) my_df_spark.withColumn("hours", spark_new_col["new_col"]) 또한 이것을 사용하여 오류가 발생했습니다. my_df_spark.withColumn("hours", sc.parallelize(randomed_hours)) 그렇다면 PySpark를 사용하여 기존 DataFrame에 새 열 …

129 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Spark 1.4.0에서 Spark SQL 및 DataFrames를 사용하기 시작했습니다. Scala의 DataFrames에서 사용자 지정 파티 셔 너를 정의하고 싶지만이 작업을 수행하는 방법을 보지 못했습니다. 작업중인 데이터 테이블 중 하나에는 다음 예제에 대한 silimar 계정 별 트랜잭션 목록이 포함되어 있습니다. Account Date Type Amount 1001 2014-04-01 Purchase 100.00 1001 2014-04-01 Purchase 50.00 1001 …

128 scala  apache-spark  dataframe  apache-spark-sql  partitioning 

Apache spark executor 노드에 사용 가능한 메모리를 늘리려면 어떻게해야합니까? Apache Spark에로드하기에 적합한 2GB 파일이 있습니다. 나는 지금 한 컴퓨터에서 아파치 스파크를 실행하고 있으므로 드라이버와 실행기가 같은 컴퓨터에 있습니다. 기계에는 8GB의 메모리가 있습니다. 메모리에 캐시되도록 파일을 설정 한 후 파일 줄 수를 세려고하면 다음 오류가 발생합니다. 2014-10-25 22:25:12 WARN CacheManager:71 - …

127 memory  apache-spark 

컬렉션의 내용을 Spark 콘솔에 인쇄하려고합니다. 나는 유형이 있습니다 : linesWithSessionId: org.apache.spark.rdd.RDD[String] = FilteredRDD[3] 그리고 다음 명령을 사용합니다. scala> linesWithSessionId.map(line => println(line)) 그러나 이것은 인쇄됩니다. res1 : org.apache.spark.rdd.RDD [Unit] = MappedRDD [4] at map at : 19 RDD를 콘솔에 쓰거나 내용을 볼 수 있도록 디스크에 저장하려면 어떻게해야합니까?

124 scala  apache-spark 

Apache Spark DataFrame에서 두 열을 어떻게 연결합니까? Spark SQL에 사용할 수있는 기능이 있습니까?

116 sql  apache-spark  dataframe  apache-spark-sql