미리 줄의 길이를 모르고 파일 read_csv
의 첫 n
줄만 읽는 데 사용하는 기본 제공 방법이 있습니까? 읽는 데 오랜 시간이 걸리는 대용량 파일이 있는데, 샘플을 얻기 위해 첫 번째 줄 (예 : 20 줄) 만 사용하고 싶을 때도 있습니다 (전체 내용을로드하고 헤드를 차지하는 것을 선호하지 않음).
총 줄 수를 알고 있다면 다음과 같이 할 수 footer_lines = total_lines - n
있으며 skipfooter
키워드 arg에 전달할 수 있습니다. 내 현재 솔루션은 n
python 및 StringIO로 첫 번째 줄 을 수동으로 pandas에 가져 오는 것입니다.
import pandas as pd
from StringIO import StringIO
n = 20
with open('big_file.csv', 'r') as f:
head = ''.join(f.readlines(n))
df = pd.read_csv(StringIO(head))
그렇게 나쁘지는 않지만 키워드 등을 사용하여 더 간결한 '판다 식'(?) 방법이 있습니까?
1
마지막 N 줄 을로드하는 방법을 보려면 이 SO 게시물을 확인하십시오.
—
zelusp
"pandastic"을 의미 했습니까? :)
—
1 ''