파이썬으로 큰 텍스트 파일을 메모리에로드하지 않고 한 줄씩 읽을 수 있습니까?

큰 파일을 한 줄씩 읽어야합니다. 파일에 5GB 이상이 있고 각 줄을 읽어야한다고 말하지만 분명히 readlines()메모리에 매우 큰 목록을 생성 하기 때문에 사용하고 싶지 않습니다 .

이 경우 아래 코드가 어떻게 작동합니까? 되어 xreadlines자체 메모리에 하나 하나 읽어? 생성기 표현식이 필요합니까?

f = (line for line in open("log.txt").xreadlines())  # how much is loaded in memory?

f.next()  

또한 Linux tail명령 과 마찬가지로 이것을 역순으로 읽으려면 어떻게해야 합니까?

나는 찾았다 :

http://code.google.com/p/pytailer/

과

" 파이썬 헤드, 테일 및 텍스트 파일의 행으로 뒤로 읽음 "

둘 다 잘 작동했습니다!

Keith는 간결하면서 파일을 명시 적으로 닫지 않기 때문에이 답변을 제공했습니다.

with open("log.txt") as infile:
    for line in infile:
        do_something_with(line)

파일 객체를 반복자로 사용하기 만하면됩니다.

for line in open("log.txt"):
    do_something_with(line)

최신 Python 버전에서 컨텍스트 관리자를 사용하는 것이 더 좋습니다.

with open("log.txt") as fileobject:
    for line in fileobject:
        do_something_with(line)

파일도 자동으로 닫힙니다.

구식 접근 방식 :

fh = open(file_name, 'rt')
line = fh.readline()
while line:
    # do stuff with line
    line = fh.readline()
fh.close()

대신 이터레이터를 사용하는 것이 좋습니다. 관련 : http://docs.python.org/library/fileinput.html

문서에서 :

import fileinput
for line in fileinput.input("filename"):
    process(line)

이렇게하면 전체 파일을 한 번에 메모리에 복사하지 않아도됩니다.

파일에 줄 바꿈이없는 경우 수행 할 작업은 다음과 같습니다.

with open('large_text.txt') as f:
  while True:
    c = f.read(1024)
    if not c:
      break
    print(c)

이것을 시도하십시오 :

with open('filename','r',buffering=100000) as f:
    for line in f:
        print line

@ john-la-rooy의 대답처럼 쉽게 보일 수 있다고 생각할 수 없었습니다. 그래서 cp한 줄씩 읽고 쓰는 명령을 다시 작성했습니다. CRAZY FAST입니다.

#!/usr/bin/env python3.6

import sys

with open(sys.argv[2], 'w') as outfile:
    with open(sys.argv[1]) as infile:
        for line in infile:
            outfile.write(line)

불꽃 프로젝트는 최근 6 년 동안 먼 길을왔다. 팬더 기능의 유용한 하위 세트를 다루는 간단한 API가 있습니다.

dask.dataframe 은 내부적으로 청킹을 처리하고 병렬화 가능한 많은 작업을 지원하며 인 메모리 작업을 위해 슬라이스를 팬더로 쉽게 내보낼 수 있습니다.

import dask.dataframe as dd

df = dd.read_csv('filename.csv')
df.head(10)  # return first 10 rows
df.tail(10)  # return last 10 rows

# iterate rows
for idx, row in df.iterrows():
    ...

# group by my_field and return mean
df.groupby(df.my_field).value.mean().compute()

# slice by column
df[df.my_field=='XYZ'].compute()

다음은 메모리 문제를 일으키지 않고 모든 크기의 텍스트 파일을로드하는 코드입니다. 기가 바이트 크기의 파일을 지원합니다

https://gist.github.com/iyvinjose/e6c1cb2821abd5f01fd1b9065cbc759d

data_loading_utils.py 파일을 다운로드 하여 코드로 가져 오기

용법

import data_loading_utils.py.py
file_name = 'file_name.ext'
CHUNK_SIZE = 1000000


def process_lines(data, eof, file_name):

    # check if end of file reached
    if not eof:
         # process data, data is one single line of the file

    else:
         # end of file reached

data_loading_utils.read_lines_from_file_as_data_chunks(file_name, chunk_size=CHUNK_SIZE, callback=self.process_lines)

process_lines 메소드는 콜백 함수입니다. 한 번에 파일의 한 줄을 나타내는 매개 변수 데이터와 함께 모든 행에 대해 호출됩니다.

머신 하드웨어 구성에 따라 변수 CHUNK_SIZE를 구성 할 수 있습니다 .

이건 어때요? 파일을 읽을 때 운영 체제가 다음 줄을 캐시하기 때문에 파일을 청크로 나누고 한 줄씩 읽습니다. 파일을 한 줄씩 읽으면 캐시 된 정보를 효율적으로 사용하지 않는 것입니다.

대신 파일을 청크로 나누고 전체 청크를 메모리에로드 한 다음 처리하십시오.

def chunks(file,size=1024):
    while 1:

        startat=fh.tell()
        print startat #file's object current position from the start
        fh.seek(size,1) #offset from current postion -->1
        data=fh.readline()
        yield startat,fh.tell()-startat #doesnt store whole list in memory
        if not data:
            break
if os.path.isfile(fname):
    try:
        fh=open(fname,'rb') 
    except IOError as e: #file --> permission denied
        print "I/O error({0}): {1}".format(e.errno, e.strerror)
    except Exception as e1: #handle other exceptions such as attribute errors
        print "Unexpected error: {0}".format(e1)
    for ele in chunks(fh):
        fh.seek(ele[0])#startat
        data=fh.read(ele[1])#endat
        print data

감사합니다! 나는 최근에 파이썬 3으로 변환했으며 readlines (0)을 사용하여 큰 파일을 읽는 것에 좌절했습니다. 이것은 문제를 해결했다. 그러나 각 줄을 얻으려면 몇 가지 추가 단계를 수행해야했습니다. 각 줄 앞에는 "b '"가 있는데 이진 형식이라고 생각합니다. "decode (utf-8)"를 사용하여 ASCII를 변경했습니다.

그런 다음 각 줄의 중간에 "= \ n"을 제거해야했습니다.

그런 다음 줄을 줄 바꿈으로 나눕니다.

b_data=(fh.read(ele[1]))#endat This is one chunk of ascii data in binary format
        a_data=((binascii.b2a_qp(b_data)).decode('utf-8')) #Data chunk in 'split' ascii format
        data_chunk = (a_data.replace('=\n','').strip()) #Splitting characters removed
        data_list = data_chunk.split('\n')  #List containing lines in chunk
        #print(data_list,'\n')
        #time.sleep(1)
        for j in range(len(data_list)): #iterate through data_list to get each item 
            i += 1
            line_of_data = data_list[j]
            print(line_of_data)

다음은 Arohi 코드에서 "인쇄 데이터"바로 위에서 시작하는 코드입니다.

이 다른 질문에서 병렬 바이트 수준의 랜덤 액세스 방식을 시연했습니다.

readlines없이 텍스트 파일에서 줄 수 얻기

이미 제공된 답변 중 일부는 훌륭하고 간결합니다. 나는 그들 중 일부를 좋아한다. 그러나 실제로 파일에있는 데이터로 무엇을하고 싶은지에 달려 있습니다. 필자의 경우 큰 텍스트 파일에서 가능한 한 빨리 줄을 세고 싶었습니다. 내 코드는 다른 코드와 마찬가지로 다른 작업도 수행하도록 수정할 수 있습니다.

이것에 관해 가장 좋은 해결책을 찾았으며 330MB 파일로 시도했습니다.

lineno = 500
line_length = 8
with open('catfour.txt', 'r') as file:
    file.seek(lineno * (line_length + 2))
    print(file.readline(), end='')

여기서 line_length는 한 줄의 문자 수입니다. 예를 들어 "abcd"의 줄 길이는 4입니다.

'\ n'문자를 건너 뛰고 다음 문자로 이동하기 위해 줄 길이에 2를 추가했습니다.

병렬로 작업하고 데이터 청크 만 읽지 만 새 줄로 깨끗하게 유지하려는 경우에 유용 할 수 있습니다.

def readInChunks(fileObj, chunkSize=1024):
    while True:
        data = fileObj.read(chunkSize)
        if not data:
            break
        while data[-1:] != '\n':
            data+=fileObj.read(1)
        yield data

f=open('filename','r').read()
f1=f.split('\n')
for i in range (len(f1)):
    do_something_with(f1[i])

도움이 되었기를 바랍니다.