«pandas» 태그된 질문

닫힘 . 이 질문은 의견 기반 입니다. 현재 답변을 받고 있지 않습니다. 이 질문을 개선하고 싶으십니까? 이 게시물 을 편집 하여 사실과 인용으로 답변 할 수 있도록 질문을 업데이트하십시오 . 휴일 3 년 전 . 이 질문 개선 현재 데이터 분석을 위해 Pandas와 Spark를 사용하고 있습니다. Dask는 병렬화 된 NumPy …

81 python  pandas  apache-spark  dask 

Pandas 데이터 프레임을 사용하고 있으며 기존 열의 함수로 새 열을 만들고 싶습니다. 나는 속도 차이에 대한 좋은 토론을 보지 못했습니다.df.apply() 과 np.vectorize()내가 여기 물어 것이라고 생각 때문에. Pandas apply()기능이 느립니다. 내가 측정 한 것 (일부 실험에서 아래에 표시됨)에서 np.vectorize()사용하면 apply()적어도 2016 MacBook Pro에서 DataFrame 기능을 사용하는 것보다 25 배 더 …

81 python  arrays  pandas  performance  numpy 

다음과 같은 튜플 목록이 있습니다. data = [ ('r1', 'c1', avg11, stdev11), ('r1', 'c2', avg12, stdev12), ('r2', 'c1', avg21, stdev21), ('r2', 'c2', avg22, stdev22) ] 첫 번째 열에 이름이 지정된 행과 두 번째 열에 이름이 지정된 열이있는 팬더 데이터 프레임에 넣고 싶습니다. 행 이름 pandas.DataFrame([x[1:] for x in data], index …

81 python  python-2.7  pandas  pivot 

DataFrame텍스트 데이터가 포함 된 Python Pandas 개체가 있습니다. 내 문제는 to_html()함수를 사용할 때 출력의 문자열이 잘린다는 것입니다. 예를 들면 : import pandas df = pandas.DataFrame({'text': ['Lorem ipsum dolor sit amet, consectetur adipiscing elit.']}) print (df.to_html()) 출력은 다음에서 잘립니다. adapis... <table border="1" class="dataframe"> <thead> <tr style="text-align: right;"> <th></th> <th>text</th> </tr> </thead> …

81 python  html  pandas 

팬더 시리즈에서 NaN 값을 제거하는 방법이 있습니까? 일부 NaN 값이있을 수도 있고 없을 수도있는 시리즈가 있으며 모든 NaN이 제거 된 시리즈의 사본을 반환하고 싶습니다.

81 python  pandas  series 

스크립트 (IPython 아님)에서 이것을 사용하면 아무 일도 일어나지 않습니다. 즉, 플롯 창이 나타나지 않습니다. import numpy as np import pandas as pd ts = pd.Series(np.random.randn(1000), index=pd.date_range('1/1/2000', periods=1000)) ts.plot() 를 추가해도 time.sleep(5)여전히 아무것도 없습니다. 왜? matplotlib를 수동으로 호출하지 않고도 수행 할 수있는 방법이 있습니까?

81 python  pandas  matplotlib 

요소 별 논리 OR 연산자를 원합니다. 나는 "또는"그 자체가 내가 찾고있는 것이 아님을 안다. AND &는 ~. 하지만 OR는 어떻습니까?

81 python  pandas  boolean-logic  logical-operators  boolean-operations 

NonePython의 Pandas에서 값을 대체하는 방법이 있습니까? df.replace('pre', 'post')값을 사용 하고 다른 값으로 바꿀 수 있지만 None값 으로 바꾸고 싶은 경우에는 할 수 없습니다. 시도하면 이상한 결과가 나타납니다. 그래서 여기에 예가 있습니다 : df = DataFrame(['-',3,2,5,1,-5,-1,'-',9]) df.replace('-', 0) 성공적인 결과를 반환합니다. 그러나, df.replace('-', None) 다음 결과를 반환합니다. 0 0 - // …

80 python  pandas  dataframe  replace  nan 

집계 DataFrame.agg되는 데이터의 둘 이상의 열에 액세스 할 수 있는 메서드에서 사용되는 집계 함수를 작성하는 방법이 있습니까? 일반적인 사용 사례는 가중 평균, 가중 표준 편차 함수입니다. 다음과 같이 쓸 수 있기를 바랍니다. def wAvg(c, w): return ((c * w).sum() / w.sum()) df = DataFrame(....) # df has columns c and …

80 python  pandas 

python / pandas에서 다중 유형 데이터 프레임의 값을 정리하고 문자열을 자르고 싶습니다. 현재 두 가지 지침으로 수행하고 있습니다. import pandas as pd df = pd.DataFrame([[' a ', 10], [' c ', 5]]) df.replace('^\s+', '', regex=True, inplace=True) #front df.replace('\s+$', '', regex=True, inplace=True) #end df.values 이것은 매우 느립니다. 무엇을 개선 할 수 …

80 python  regex  pandas  dataframe  trim 

왼쪽 외부 조인에 대해 이해 한 바에 따르면 결과 테이블에는 왼쪽 테이블보다 많은 행이 있어서는 안됩니다 ... 이것이 잘못된 경우 알려주세요 ... 내 왼쪽 테이블은 192572 행과 8 열입니다. 내 오른쪽 테이블은 42160 행과 5 열입니다. 내 왼쪽 테이블에는 '키'라는 오른쪽 테이블의 열과 일치하는 'id'라는 필드가 있습니다. 따라서 다음과 같이 …

80 python  pandas 

나는 큰 csv 파일을 pandas 데이터 프레임으로 읽는 매우 간단한 것을 시도하고 있습니다. data = pandas.read_csv(filepath, header = 0, sep = DELIMITER,skiprows = 2) 코드는으로 실패 MemoryError하거나 종료되지 않습니다. 작업 관리자의 메모리 사용량은 506Mb에서 중지되었으며 5 분 동안 변경 사항이없고 CPU 활동이없는 프로세스에서 중지했습니다. pandas 버전 0.11.0을 사용하고 있습니다. 파일 …

79 python  windows  pandas 

CSV에서 Pandas 데이터 프레임으로 파싱하고 15 분 막대로 다시 샘플링 한 OHLC 가격 데이터 세트가 있습니다. <class 'pandas.core.frame.DataFrame'> DatetimeIndex: 500047 entries, 1998-05-04 04:45:00 to 2012-08-07 00:15:00 Freq: 15T Data columns: Close 363152 non-null values High 363152 non-null values Low 363152 non-null values Open 363152 non-null values dtypes: float64(4) 기간 범위 …

78 python  pandas 

Numpy의 기능 대부분은 기본적으로 멀티 스레딩을 활성화합니다. 예를 들어 스크립트를 실행하면 8 코어 인텔 CPU 워크 스테이션에서 작업합니다. import numpy as np x=np.random.random(1000000) for i in range(100000): np.sqrt(x) 리눅스 top는 실행 중 800 % CPU 사용량을 보여줍니다. 즉, numpy는 내 워크 스테이션에 8 개의 코어가 있음을 자동으로 감지하고 np.sqrt자동으로 8 …

25 python  pandas  numpy 

데이터 프레임과 사전이 있습니다. 데이터 프레임에 새 열을 추가하고 사전을 기반으로 해당 값을 계산해야합니다. 기계 학습, 일부 테이블을 기반으로 새로운 기능 추가 : score = {(1, 45, 1, 1) : 4, (0, 1, 2, 1) : 5} df = pd.DataFrame(data = { 'gender' : [1, 1, 0, 1, 1, 0, …

23 python  pandas  dataframe  dictionary