통계 분석을 위해 데이터를 R에 간단하게 저장하는 가장 좋은 방법

나는 텍스트 파일을 사용하여 얼마 동안 아무런 문제없이 R에 대한 데이터를 저장했습니다. 그러나 최근 프로젝트의 경우 원시 텍스트 파일을 처리하기에는 파일 크기가 너무 커지고 있습니다. 가장 간단한 대안은 무엇입니까?

표준 R 방식은 save및 을 사용하는 것 load입니다. save데이터 프레임을 가져 와서 주석을 달고 실행 한 경우 데이터 프레임을 지정 compress=TRUE하면 압축과 빠른 load시간에 놀라게됩니다 . 객체 크기가 약 400MB 미만인 경우 특히 효과적입니다. 그렇지 않으면 위의 제안 중 일부 또는 ffR 의 강력한 패키지를 확인하십시오.

Hmisc패키지는 작은 래퍼를 가지고 Save와 Load위의 더 많은 고통을 만들기 위해 :

mydata <- csv.get(...)  # Hmisc package, has several options
Save(mydata)   # writes mydata.rda to current working directory
....
Load(mydata)   # reads mydata.rda and creates mydata data frame

SQLite3 데이터베이스를 살펴보십시오. 각 데이터베이스는 파일이므로 데이터베이스 서버를 설정할 필요가 없습니다.

데이터베이스를 작성하려면 다음을 수행하십시오.

$ sqlite3 my_db.db3
> CREATE TABLE my_table ( col1 TEXT );

R과 함께 사용하려면 https://gist.github.com/lynaghk/1062939

많은 일반 옵션이 있습니다.

• 텍스트를 압축 할 수 있습니다.
• ASCII로 쓰지 않고 텍스트에 바이너리를 쓸 수 있습니다.

큰 압축은 데이터에 따라 다릅니다.

내 추측 (그리고 당신이 지정하지 않았으므로 추측해야합니다)은 스프레드 시트와 같은 데이터를 csv (쉼표로 구분) 이외의 다른 형식으로 저장하려고한다는 것입니다.

내가 좋아하는 형식 (MatLab을 좋아함) 중 하나는 hdf입니다.

HDF에 대한 R 관련 정보는 다음과 같습니다.

• hdf5, h5r, Bioconductor의 rhdf5, RNetCDF, ncdf 및 ncdf4 패키지를 통해 액세스
• http://www.hdfgroup.org/HDF5/whatishdf5.html

고밀도 슈퍼 컴퓨팅 데이터 저장 형식입니다. 매우 빠르고 효율적일 수 있습니다. 또한 압축 된 텍스트보다 (확실히) 밀도가 높습니다.

R의 표준 파일 읽기 기능은 이제 zip 파일을 자동으로 쉽게 읽을 수 있습니다. 따라서 데이터에 간단한 gzip 압축을 실행하고 마치 일반 텍스트처럼 항상 읽습니다.

read.table('myfile.gz')