«dataframe» 태그된 질문

난 그냥 사이의 차이 무엇인가 궁금 RDD하고 DataFrame (스파크 2.0.0 DataFrame가 단순한 유형의 별칭 Dataset[Row]) 아파치 스파크에서? 하나를 다른 것으로 바꿀 수 있습니까?

257 dataframe  apache-spark  apache-spark-sql  rdd  apache-spark-dataset 

두 개의 열이있는 팬더 데이터 프레임이 있습니다. 두 번째 열에 영향을주지 않고 첫 번째 열의 값을 변경하고 첫 번째 열 값만 변경하여 전체 데이터 프레임을 다시 가져와야합니다. 팬더에서 apply를 사용하여 어떻게 할 수 있습니까?

255 python  pandas  dataframe  python-3.5 

python pandas에서 색인 열 이름을 어떻게 얻습니까? 예제 데이터 프레임은 다음과 같습니다. Column 1 Index Title Apples 1 Oranges 2 Puppies 3 Ducks 4 내가하려는 것은 데이터 프레임 인덱스 제목을 가져 오거나 설정하는 것입니다. 내가 시도한 것은 다음과 같습니다. import pandas as pd data = {'Column 1' : [1., 2., …

255 python  pandas  dataframe  columnname 

양식의 데이터를 가져오고 싶습니다 before = data.frame(attr = c(1,30,4,6), type=c('foo_and_bar','foo_and_bar_2')) attr type 1 1 foo_and_bar 2 30 foo_and_bar_2 3 4 foo_and_bar 4 6 foo_and_bar_2 위에서 split()" type" 열을 사용 하여 다음과 같은 것을 얻으십시오. attr type_1 type_2 1 1 foo bar 2 30 foo bar_2 3 4 foo bar 4 …

246 r  string  dataframe  split  r-faq 

닫은. 이 질문은 재현 할 수 없거나 오타가 원인 입니다. 현재 답변을받지 않습니다. 이 질문을 개선하고 싶습니까? 질문을 업데이트하여 스택 오버플로에 대한 주제 입니다. 작년에 문을 닫았 습니다 . 이 질문을 개선하십시오 다음 데이터 프레임에서 여러 열을 사용할 때 Pandas apply 함수에 문제가 있습니다. df = DataFrame ({'a' : np.random.randn(6), …

239 python  python-2.7  pandas  dataframe  apply 

동일한 열 집합이없는 두 개의 데이터 프레임을 행 바인딩 할 수 있습니까? 바인드 후 일치하지 않는 열을 유지하려고합니다.

232 r  dataframe  r-faq 

공통으로 일부 행이있는 두 개의 팬더 데이터 프레임이 있습니다. dataframe2가 dataframe1의 서브 세트라고 가정하십시오. dataframe2에없는 dataframe1의 행을 어떻게 얻을 수 있습니까? df1 = pandas.DataFrame(data = {'col1' : [1, 2, 3, 4, 5], 'col2' : [10, 11, 12, 13, 14]}) df2 = pandas.DataFrame(data = {'col1' : [1, 2, 3], 'col2' : …

229 python  pandas  dataframe 

R에서 열 이름을 기반으로 열 색인을 검색해야 할 때 수행 할 수있는 작업 idx <- which(names(my_data)==my_colum_name) 팬더 데이터 프레임과 동일한 작업을 수행하는 방법이 있습니까?

220 python  pandas  dataframe  indexing 

아래와 같이 팬더 데이터 프레임이 있습니다. 1 2 3 0 a NaN read 1 b l unread 2 c NaN read 빈 문자열로 NaN 값을 제거하여 다음과 같이 나타납니다. 1 2 3 0 a "" read 1 b l unread 2 c "" read

218 python  pandas  dataframe  nan 

나는 이와 같은 팬더 데이터 프레임을 가지고 있습니다 (꽤 큰 것) date exer exp ifor mat 1092 2014-03-17 American M 528.205 2014-04-19 1093 2014-03-17 American M 528.205 2014-04-19 1094 2014-03-17 American M 528.205 2014-04-19 1095 2014-03-17 American M 528.205 2014-04-19 1096 2014-03-17 American M 528.205 2014-05-17 이제 행 단위로 반복하고 …

214 python  pandas  updates  dataframe 

두 개의 DataFrame이 있다고 가정합니다. left = pd.DataFrame({'key1': ['foo', 'bar'], 'lval': [1, 2]}) right = pd.DataFrame({'key2': ['foo', 'bar'], 'rval': [4, 5]}) 그것들을 병합하고 싶기 때문에 다음과 같이 시도하십시오. pd.merge(left, right, left_on='key1', right_on='key2') 그리고 나는 행복하다 key1 lval key2 rval 0 foo 1 foo 4 1 bar 2 bar 5 그러나 …

208 python  pandas  dataframe  join 

이 데이터 프레임을 사용하고 있습니다 : Fruit Date Name Number Apples 10/6/2016 Bob 7 Apples 10/6/2016 Bob 8 Apples 10/6/2016 Mike 9 Apples 10/7/2016 Steve 10 Apples 10/7/2016 Bob 1 Oranges 10/7/2016 Bob 2 Oranges 10/6/2016 Tom 15 Oranges 10/6/2016 Mike 57 Oranges 10/6/2016 Bob 65 Oranges 10/7/2016 Tony 1 …

205 python  pandas  dataframe  group-by  aggregate 

spark-csv를 사용하여 데이터를 DataFrame에로드합니다. 간단한 쿼리를 수행하고 내용을 표시하고 싶습니다. val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv") df.registerTempTable("tasks") results = sqlContext.sql("select col from tasks"); results.show() 열이 잘린 것 같습니다. scala> results.show(); +--------------------+ | col| +--------------------+ |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 …

203 apache-spark  dataframe  spark-csv  output-formatting 

I가 가지고 pandas dataframe있는 텍스트 스트링의 하나의 열은 쉼표로 구분 된 값을 포함한다. 각 CSV 필드를 분할하고 항목 당 새 행을 작성하려고합니다 (CSV가 깨끗하고 ','에서만 분할해야한다고 가정). 예를 들어 다음과 a같아야합니다 b. In [7]: a Out[7]: var1 var2 0 a,b,c 1 1 d,e,f 2 In [8]: b Out[8]: var1 var2 …

200 python  pandas  numpy  dataframe 

열이 적은 팬더 데이터 프레임이 있습니다. 이제 특정 행이 특정 열 값을 기반으로하는 특이 치라는 것을 알고 있습니다. 예를 들어 열 'Vol'에는 모든 값이 12xx있으며 하나의 값은 4000(이상 값)입니다. 이제 이와 같은 Vol열이 있는 행을 제외하고 싶습니다. 따라서 본질적으로 특정 열의 값이 평균과 3 표준 편차 내에있는 모든 행을 선택하도록 …

199 python  pandas  filtering  dataframe  outliers