«pandas» 태그된 질문

Pandas DataFrame에 일부 메타 정보 / 메타 데이터를 추가 할 수 있습니까? 예를 들어 데이터를 측정하는 데 사용되는 기기 이름, 담당 기기 등이 있습니다. 한 가지 해결 방법은 해당 정보로 열을 만드는 것이지만 모든 행에 단일 정보를 저장하는 것은 낭비 인 것 같습니다!

90 python  pandas 

탭으로 구분 된 테이블 인 S3에 저장된 텍스트 파일이 있습니다. 팬더에로드하고 싶지만 heroku 서버에서 실행 중이기 때문에 먼저 저장할 수 없습니다. 여기 내가 지금까지 가지고있는 것입니다. import io import boto3 import os import pandas as pd os.environ["AWS_ACCESS_KEY_ID"] = "xxxxxxxx" os.environ["AWS_SECRET_ACCESS_KEY"] = "xxxxxxxx" s3_client = boto3.client('s3') response = s3_client.get_object(Bucket="my_bucket",Key="filename.txt") file = …

90 python  pandas  heroku  amazon-s3  boto3 

현재 1과 0으로 구성된 열로 구성된 데이터 프레임이 있습니다. 열을 반복하고 0으로 만 구성된 열을 삭제하고 싶습니다. 지금까지 시도한 내용은 다음과 같습니다. ones = [] zeros = [] for year in years: for i in range(0,599): if year[str(i)].values.any() == 1: ones.append(i) if year[str(i)].values.all() == 0: zeros.append(i) for j in ones: …

90 python  pandas 

팬더 데이터 프레임이 있습니다. 내 열 중 하나를 '지연'하고 싶습니다. 예를 들어 전체 열 'gdp'를 하나씩 위로 이동 한 다음 나머지 행의 맨 아래에있는 모든 초과 데이터를 제거하여 모든 열이 다시 같은 길이가되도록하는 것을 의미합니다. df = y gdp cap 0 1 2 5 1 2 3 9 2 8 …

90 python  pandas  dataframe 

파이썬으로 정교한 데이터를 저장하기 위해 엑셀 파일을 사용하고 싶습니다. 내 문제는 기존 Excel 파일에 시트를 추가 할 수 없다는 것입니다. 이 문제에 도달하기 위해 작업 할 샘플 코드를 제안합니다. import pandas as pd import numpy as np path = r"C:\Users\fedel\Desktop\excelData\PhD_data.xlsx" x1 = np.random.randn(100, 2) df1 = pd.DataFrame(x1) x2 = np.random.randn(100, …

90 python  pandas  openpyxl  xlsxwriter 

매우 큰 그룹 DataFrame(혼합 데이터 유형)에 함수를 적용해야하는 경우가 많으며 여러 코어를 활용하고 싶습니다. 그룹에서 반복자를 만들고 다중 처리 모듈을 사용할 수 있지만 모든 그룹과 함수의 결과를 프로세스 간의 메시징을 위해 선택해야하므로 효율적이지 않습니다. 산세를 피하거나 DataFrame완전히 복사하는 것을 피할 수있는 방법이 있습니까? 다중 처리 모듈의 공유 메모리 기능이 numpy배열 …

89 python  pandas  multiprocessing  shared-memory 

Pandas DataFrame 개체를 사용하여 pyplot에서 간단한 산점도를 만들려고하지만 두 개의 변수를 그리는 효율적인 방법을 원하지만 기호는 세 번째 열 (키)로 지정됩니다. df.groupby를 사용하여 다양한 방법을 시도했지만 성공적으로 수행하지 못했습니다. 샘플 df 스크립트는 다음과 같습니다. 이렇게하면 'key1'에 따라 마커의 색상이 지정되지만 'key1'카테고리의 범례를보고 싶습니다. 가까워요? 감사. import numpy as np import …

89 python  matplotlib  pandas 

둘 다 데이터 분석 시스템에서 사용하기위한 컬럼 형 (디스크) 스토리지 형식 입니다. 둘 다 Apache Arrow ( python 용 pyarrow 패키지)에 통합되어 있으며 Arrow 와 함께 컬럼 형 인 메모리 분석 계층 으로 대응하도록 설계되었습니다 . 두 형식은 어떻게 다릅니 까? 가능하면 팬더로 작업 할 때 항상 깃털을 선호해야합니까? 깃털 …

89 python  pandas  parquet  feather  pyarrow 

내 DataFrame의 둥근 숫자 값으로 Pandas 막대 그림에서 막대에 주석을 달 수있는 방법을 찾고있었습니다. >>> df=pd.DataFrame({'A':np.random.rand(2),'B':np.random.rand(2)},index=['value1','value2'] ) >>> df A B value1 0.440922 0.911800 value2 0.588242 0.797366 다음과 같은 것을 얻고 싶습니다. 이 코드 샘플을 사용해 보았지만 주석은 모두 x 눈금 중심에 있습니다. >>> ax = df.plot(kind='bar') >>> for idx, …

89 python  matplotlib  plot  pandas  dataframe 

DataFrame 목록을 하나의 Excel 스프레드 시트로 내보내려면 어떻게해야합니까? 상태 문서 to_excel: 참고 기존 ExcelWriter 개체를 전달하면 시트가 기존 통합 문서에 추가됩니다. 하나의 통합 문서에 다른 DataFrame을 저장하는 데 사용할 수 있습니다. writer = ExcelWriter('output.xlsx') df1.to_excel(writer, 'sheet1') df2.to_excel(writer, 'sheet2') writer.save() 이에 따라 다음과 같이 DataFrame 목록을 하나의 스프레드 시트에 저장하는 함수를 …

89 python  pandas  openpyxl 

두 개의 데이터 프레임이 있습니다. 예 : df1: Date Fruit Num Color 2013-11-24 Banana 22.1 Yellow 2013-11-24 Orange 8.6 Orange 2013-11-24 Apple 7.6 Green 2013-11-24 Celery 10.2 Green df2: Date Fruit Num Color 2013-11-24 Banana 22.1 Yellow 2013-11-24 Orange 8.6 Orange 2013-11-24 Apple 7.6 Green 2013-11-24 Celery 10.2 Green 2013-11-25 …

89 python  pandas  dataframe 

구조가있는 중첩 사전 'user_dict'가 있다고 가정합니다. 수준 1 : UserId (긴 정수) 수준 2 : 범주 (문자열) 레벨 3 : 여러 속성 (floats, int 등) 예를 들어,이 사전의 항목은 다음과 같습니다. user_dict[12] = { "Category 1": {"att_1": 1, "att_2": "whatever"}, "Category 2": {"att_1": 23, "att_2": "another"}} 의 각 항목 user_dict은 …

89 python  pandas  dataframe  multi-index 

열에 월 이름이 포함 된 Python pandas 데이터 프레임이 있습니다. 예를 들어 사전을 사용하여 사용자 정의 정렬을 수행하려면 어떻게해야합니까? custom_dict = {'March':0, 'April':1, 'Dec':3}

89 python  pandas 

특정 열의 값을 기준으로 정렬하려는 pandas df에 다중 인덱스 열이있는 데이터 세트가 있습니다. 나는 sortindex와 sortlevel을 사용해 보았지만 내가 찾고있는 결과를 얻지 못했다. 내 데이터 세트는 다음과 같습니다. Group1 Group2 A B C A B C 1 1 0 3 2 5 7 2 5 6 9 1 0 0 …

88 python  sorting  pandas  multi-index 

R을 사용할 때 다음을 사용하여 "연습"데이터 세트를로드하는 것이 편리합니다. data(iris) 또는 data(mtcars) Pandas와 비슷한 것이 있습니까? 다른 방법을 사용하여로드 할 수 있다는 것을 알고 있습니다. 내장 된 것이 있는지 궁금합니다.

88 python  pandas  dataset  sample-data