피클 파일을 읽는 방법?

몇 가지 데이터를 만들고 다음과 같이 여러 번 저장했습니다.

with open('filename', 'a') as f:
        pickle.dump(data, f)

파일 크기가 커질 때마다 파일을 열 때

with open('filename', 'rb') as f:
    x = pickle.load(f)

지난번의 데이터 만 볼 수 있습니다. 파일을 올바르게 읽을 수있는 방법은 무엇입니까?

Pickle은 한 번에 단일 개체를 직렬화하고 단일 개체를 다시 읽습니다. 피클 데이터는 파일에 순서대로 기록됩니다.

단순히 그렇게 pickle.load한다면 파일에 직렬화 된 첫 번째 객체를 읽어야합니다 (작성한 마지막 객체가 아님).

첫 번째 객체를 직렬화 해제 한 후 파일 포인터는 다음 객체의 시작 지점에 있습니다. pickle.load다시 호출 하면 다음 객체를 읽습니다. 파일이 끝날 때까지 수행합니다.

objects = []
with (open("myfile", "rb")) as openfile:
    while True:
        try:
            objects.append(pickle.load(openfile))
        except EOFError:
            break

pandas 0.22+의 일부로 read_pickle 함수 가 있습니다.

import pandas as pd

object = pd.read_pickle(r'filepath')

다음은 피클 파일을 쓰고 읽는 방법의 예입니다. 파일에 피클 데이터를 계속 추가하는 경우 원하는 것을 찾을 때까지 파일을 계속 읽어야하거나 파일 끝에 도달하여 예외가 생성됩니다. 이것이 마지막 함수가하는 일입니다.

import os
import pickle


PICKLE_FILE = 'pickle.dat'


def main():
    # append data to the pickle file
    add_to_pickle(PICKLE_FILE, 123)
    add_to_pickle(PICKLE_FILE, 'Hello')
    add_to_pickle(PICKLE_FILE, None)
    add_to_pickle(PICKLE_FILE, b'World')
    add_to_pickle(PICKLE_FILE, 456.789)
    # load & show all stored objects
    for item in read_from_pickle(PICKLE_FILE):
        print(repr(item))
    os.remove(PICKLE_FILE)


def add_to_pickle(path, item):
    with open(path, 'ab') as file:
        pickle.dump(item, file, pickle.HIGHEST_PROTOCOL)


def read_from_pickle(path):
    with open(path, 'rb') as file:
        try:
            while True:
                yield pickle.load(file)
        except EOFError:
            pass


if __name__ == '__main__':
    main()

브라우저에서 직접 (대부분의) Pickle 파일을 여는 소프트웨어 도구를 개발했습니다 (아무것도 전송되지 않으므로 100 % 비공개입니다).

https://pickleviewer.com/

당신은 그것에 대해 아무것도하지 않고 파일을로드하는 것입니다.

for line in x:
    print x

각 줄을 인쇄합니다. (두 번째 성명서)