joblib와 pickle의 다른 사용 사례는 무엇입니까?

Question 1

배경 : 저는 이제 막 scikit-learn을 시작하고 있으며 페이지 하단에서 joblib와 pickle에 대해 읽었습니다 .

joblib의 pickle (joblib.dump & joblib.load) 대체를 사용하는 것이 더 흥미로울 수 있습니다.

저는 Pickle에 대한이 Q & A, Python의 pickle에 대한 일반적인 사용 사례를 읽고 여기 커뮤니티가 joblib와 pickle의 차이점을 공유 할 수 있는지 궁금합니다. 언제 다른 것을 사용해야합니까?

Question 2

joblib는 일반적으로 numpy 데이터 구조의 배열 버퍼에 대한 특수 처리가 있기 때문에 큰 numpy 배열에서 훨씬 더 빠릅니다 . 구현 세부 사항에 대해 알아 보려면 소스 코드를 참조하십시오 . 또한 zlib 또는 lz4를 사용하여 피클 링하는 동안 데이터를 즉시 압축 할 수 있습니다.
joblib는 또한 로드 할 때 압축되지 않은 joblib-pickled numpy 배열의 데이터 버퍼 를 메모리 매핑 할 수있게하여 프로세스간에 메모리를 공유 할 수 있도록합니다.
큰 numpy 배열을 피클하지 않으면 표준 라이브러리의 피클 모듈이 C에서 구현되는 동안 joblib가 구현되기 때문에 특히 작은 Python 개체의 대규모 컬렉션 (예 : str 개체의 큰 dict)에서 일반 피클이 훨씬 더 빠를 수 있습니다. 순수한 파이썬.
PEP 574 (Pickle 프로토콜 5)가 Python 3.8에 병합되었으므로 이제 표준 라이브러리를 사용하여 큰 numpy 배열을 피클하는 것이 훨씬 더 효율적입니다 (메모리 측면 및 CPU 측면). 이 맥락에서 대형 어레이는 4GB 이상을 의미합니다.
그러나 JOBLIB는 여전히 중첩 된 NumPy와 배열이 개체를로드 할 수 파이썬 3.8에 유용 할 수 있습니다 메모리와 함께 모드를 매핑을 mmap_mode="r".

Question 3

이 스크립트를 제공해 주신 Gunjan에게 감사드립니다! Python3 결과를 위해 수정했습니다.

#comapare pickle loaders
from time import time
import pickle
import os
import _pickle as cPickle
from sklearn.externals import joblib

file = os.path.join(os.path.dirname(os.path.realpath(__file__)), 'database.clf')
t1 = time()
lis = []
d = pickle.load(open(file,"rb"))
print("time for loading file size with pickle", os.path.getsize(file),"KB =>", time()-t1)

t1 = time()
cPickle.load(open(file,"rb"))
print("time for loading file size with cpickle", os.path.getsize(file),"KB =>", time()-t1)

t1 = time()
joblib.load(file)
print("time for loading file size joblib", os.path.getsize(file),"KB =>", time()-t1)

time for loading file size with pickle 79708 KB => 0.16768312454223633
time for loading file size with cpickle 79708 KB => 0.0002372264862060547
time for loading file size joblib 79708 KB => 0.0006849765777587891

Question 4

같은 질문을 보았으므로 큰 피클 파일을로드해야하므로이 질문 (Python 2.7 사용)을 시도했습니다.

#comapare pickle loaders
from time import time
import pickle
import os
try:
   import cPickle
except:
   print "Cannot import cPickle"
import joblib

t1 = time()
lis = []
d = pickle.load(open("classi.pickle","r"))
print "time for loading file size with pickle", os.path.getsize("classi.pickle"),"KB =>", time()-t1

t1 = time()
cPickle.load(open("classi.pickle","r"))
print "time for loading file size with cpickle", os.path.getsize("classi.pickle"),"KB =>", time()-t1

t1 = time()
joblib.load("classi.pickle")
print "time for loading file size joblib", os.path.getsize("classi.pickle"),"KB =>", time()-t1

이에 대한 출력은

time for loading file size with pickle 1154320653 KB => 6.75876188278
time for loading file size with cpickle 1154320653 KB => 52.6876490116
time for loading file size joblib 1154320653 KB => 6.27503800392

이 joblib에 따르면이 3 개 모듈의 cPickle 및 Pickle 모듈보다 더 잘 작동합니다. 감사