read.csv 경고 '따옴표 붙은 문자열 내의 EOF'는 파일을 완전히 읽을 수 없도록합니다.


125

나는이 CSV 파일 (24.1 MB) 나는 완전히 내 R 세션으로 읽을 수 있습니다. 스프레드 시트 프로그램에서 파일을 열면 112,544 행을 볼 수 있습니다. R로 읽을 때 read.csv56,952 행 과이 경고 만 얻습니다.

cit <- read.csv("citations.CSV", row.names = NULL, 
                comment.char = "", header = TRUE, 
                stringsAsFactors = FALSE,  
                colClasses= "character", encoding= "utf-8")

Warning message:
In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
  EOF within quoted string

다음을 사용하여 전체 파일을 R로 읽을 수 있습니다 readLines.

rl <- readLines(file("citations.CSV", encoding = "utf-8"))
length(rl)
[1] 112545

그러나 이것을 테이블로 (R을 통해 read.csv) R로 되돌릴 수는 없습니다 .

write.table(rl, "rl.txt", quote = FALSE, row.names = FALSE)
rl_in <- read.csv("rl.txt", skip = 1, row.names = NULL)

Warning message:
In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
  EOF within quoted string

전체 파일을 내 R세션 으로 가져 오려면이 EOF 메시지 (경고보다 오류 인 것 같음)를 어떻게 해결하거나 해결할 수 있습니까?

CSV 파일을 읽는 다른 방법과 비슷한 문제가 있습니다.

require(sqldf)
cit_sql <- read.csv.sql("citations.CSV", sql = "select * from file")
require(data.table)
cit_dt <- fread("citations.CSV")
require(ff)
cit_ff <- read.csv.ffdf(file="citations.CSV")

여기 내 sessionInfo ()입니다

R version 3.0.1 (2013-05-16)
Platform: x86_64-w64-mingw32/x64 (64-bit)

locale:
[1] LC_COLLATE=English_United States.1252  LC_CTYPE=English_United States.1252   
[3] LC_MONETARY=English_United States.1252 LC_NUMERIC=C                          
[5] LC_TIME=English_United States.1252    

attached base packages:
[1] tools     tcltk     stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
 [1] ff_2.2-11             bit_1.1-10            data.table_1.8.8      sqldf_0.4-6.4        
 [5] RSQLite.extfuns_0.0.1 RSQLite_0.11.4        chron_2.3-43          gsubfn_0.6-5         
 [9] proto_0.3-10          DBI_0.2-7   

답변:


197

인용을 비활성화해야합니다.

cit <- read.csv("citations.CSV", quote = "", 
                 row.names = NULL, 
                 stringsAsFactors = FALSE)

str(cit)
## 'data.frame':    112543 obs. of  13 variables:
##  $ row.names    : chr  "10.2307/675394" "10.2307/30007362" "10.2307/4254931" "10.2307/20537934" ...
##  $ id           : chr  "10.2307/675394\t" "10.2307/30007362\t" "10.2307/4254931\t" "10.2307/20537934\t" ...
##  $ doi          : chr  "Archaeological Inference and Inductive Confirmation\t" "Sound and Sense in Cath Almaine\t" "Oak Galls Preserved by the Eruption of Mount Vesuvius in A.D. 79_ and Their Probable Use\t" "The Arts Four Thousand Years Ago\t" ...
##  $ title        : chr  "Bruce D. Smith\t" "Tomás Ó Cathasaigh\t" "Hiram G. Larew\t" "\t" ...
##  $ author       : chr  "American Anthropologist\t" "Ériu\t" "Economic Botany\t" "The Illustrated Magazine of Art\t" ...
##  $ journaltitle : chr  "79\t" "54\t" "41\t" "1\t" ...
##  $ volume       : chr  "3\t" "\t" "1\t" "3\t" ...
##  $ issue        : chr  "1977-09-01T00:00:00Z\t" "2004-01-01T00:00:00Z\t" "1987-01-01T00:00:00Z\t" "1853-01-01T00:00:00Z\t" ...
##  $ pubdate      : chr  "pp. 598-617\t" "pp. 41-47\t" "pp. 33-40\t" "pp. 171-172\t" ...
##  $ pagerange    : chr  "American Anthropological Association\tWiley\t" "Royal Irish Academy\t" "New York Botanical Garden Press\tSpringer\t" "\t" ...
##  $ publisher    : chr  "fla\t" "fla\t" "fla\t" "fla\t" ...
##  $ type         : logi  NA NA NA NA NA NA ...
##  $ reviewed.work: logi  NA NA NA NA NA NA ...

나는 이런 종류의 선 때문이라고 생각한다 ( "Thorn"과 "Minus"체크)

 readLines("citations.CSV")[82]
[1] "10.2307/3642839,10.2307/3642839\t,\"Thorn\" and \"Minus\" in Hieroglyphic Luvian Orthography\t,H. Craig Melchert\t,Anatolian Studies\t,38\t,\t,1988-01-01T00:00:00Z\t,pp. 29-42\t,British Institute at Ankara\t,fla\t,\t,"

고마워, 그것은 쉬운 수정입니다. 이제이 fread상황에서 일하는 것에 대해 어떻게 생각 하십니까? 보다 빠르기 때문에 선호합니다 read.csv. 그러나 논쟁 fread을하지 않는 것 같습니다 quote.
Ben

1
@Ben은 성공하지 않고 작동하도록 노력했지만 fread일반적으로 포함 된 따옴표로 훌륭하게 재생되지는 않지만 곧 해결 방법이있을 것이라고 확신합니다. stackoverflow.com/questions/16094025/…
dickoa

1
내가 사용할 때 7,000 개의 행 write.csv()이 있었고 403을 다시 얻었습니다 read.csv(). quote = ""를 추가하면 최대 410 행이 발생했습니다. read.table()더 나아지지 않습니다. 나는 무엇이 더 시도 될 수 있는지 궁금합니다.
Hack-R

2
Hack-R과 같은 문제로 quote = ""를 추가하면 행 수가 30,000으로 증가했지만 여전히 200,000 이상이 누락되었습니다.
SJDS

1
왜 추가해야하는지에 대한 줄을 작성해 주시겠습니까? (저는 R을 배우려고 노력하는 파이썬 프로그래머입니다). 그렇지 않으면 답은 완벽합니다 (+1)
Bhargav Rao

10

나는 새로운 R 사용자이며 다른 사람을 돕기 위해 이것을 게시 할 것이라고 생각했습니다. 스페인 문자 몇 개가 포함 된 텍스트 파일 (쉼표로 구분)에서 데이터를 읽으려고하는데이를 이해하는 데 영원히 걸렸습니다. UTF-8 인코딩을 사용하고 헤더 arg를 TRUE로 설정해야하고 sep arguemnt를 ","로 설정해야한다는 것을 알았지 만 여전히 끊어졌습니다. 이 게시물을 읽은 후 fill arg를 TRUE로 설정하려고 시도했지만 위와 동일한 방식으로 수정할 수있는 동일한 "따옴표 붙은 문자열 내 EOF"를 얻었습니다. 내 성공적인 read.table은 다음과 같습니다.

target <- read.table("target2.txt", fill=TRUE, header=TRUE, quote="", sep=",", encoding="UTF-8")

결과는 스페인어 문자와 원래 희미한 어둡기를 가지고 있으므로 성공이라고 부릅니다! 모두 감사합니다!


6

위에서 설명한 것처럼 R 도움말 섹션에서 단순히 다음을 추가하여 인용을 모두 비활성화합니다.

    quote = "" 

read.csv ()에 나를 위해 일했습니다.

"따옴표 붙은 문자열 내 EOF"오류가 발생했습니다.

    > iproscan.53A.neg     = read.csv("interproscan.53A.neg.n.csv",
    +                        colClasses=c(pb.id      = "character",
    +                                     genLoc     = "character",
    +                                     icode      = "character",
    +                                     length     = "character",
    +                                     proteinDB  = "character",
    +                                     protein.id = "character",
    +                                     prot.desc  = "character",
    +                                     start      = "character",
    +                                     end        = "character",
    +                                     evalue     = "character",
    +                                     tchar      = "character",
    +                                     date       = "character",
    +                                     ipro.id    = "character",
    +                                     prot.name  = "character",
    +                                     go.cat     = "character",
    +                                     reactome.id= "character"),
    +                                     as.is=T,header=F)
    Warning message:
    In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
      EOF within quoted string
    > dim(iproscan.53A.neg)
    [1] 69383    16

그리고 읽은 파일에 6,619 줄이 없습니다. 그러나 인용을 비활성화하면

    > iproscan.53A.neg     = read.csv("interproscan.53A.neg.n.csv",
    +                        colClasses=c(pb.id      = "character",
    +                                     genLoc     = "character",
    +                                     icode      = "character",
    +                                     length     = "character",
    +                                     proteinDB  = "character",
    +                                     protein.id = "character",
    +                                     prot.desc  = "character",
    +                                     start      = "character",
    +                                     end        = "character",
    +                                     evalue     = "character",
    +                                     tchar      = "character",
    +                                     date       = "character",
    +                                     ipro.id    = "character",
    +                                     prot.name  = "character",
    +                                     go.cat     = "character",
    +                                     reactome.id= "character"),
    +                                     as.is=T,header=F,**quote=""**)    
    > 
    > dim(iproscan.53A.neg)
    [1] 76002    16

오류없이 작동하고 모든 줄을 성공적으로 읽었습니다.


4
이전 답변을 반복 한 다음 코드 블록 안에 불필요한 측면 이중 별표를 추가하여 유틸리티를 무너 뜨리고 있습니다.
IRTFM

3

또한이 문제가 발생하여 다음을 사용하여 비슷한 EOF 오류를 해결할 수있었습니다.

read.table("....csv", sep=",", ...)

구분자 매개 변수는보다 일반적인 범위 내에서 정의됩니다 read.table().


2
안녕하세요, 이것은 나를 위해 작동하지 않습니다 ... read.table ( ". csv"에 오류가 발생했습니다 : 열 이름보다 많은 열-건너 뛰기 (건너 뛰기 = 6)가 올바르게 작동하지 않는 것 같습니다 ...
maycca

3

실제로 read.csv()텍스트 내용이 포함 된 파일을 읽는 데 사용 하는 것은 좋지 않습니다 quote="". 임시 해결책 일 뿐이 므로 따옴표를 사용하지 않도록 설정하면 별도의 따옴표 만 사용됩니다. 일부 특수 문자와 같이 경고를 유발할 수있는 다른 이유가 있습니다.

영구적 인 해결책 ()을 사용하여 read.csv()특수 문자가 무엇인지 알아 내고 정규 표현식을 사용하여 제거하십시오.

만약 당신이 패키지를 설치하는 생각이 {data.table}사용할 fread()파일을 읽을 수 있습니다. 그것은 훨씬 빠르며이 EOF 경고로 귀찮게하지 않을 것입니다. 파일이로드되는 파일은 data.table 객체로 저장되지만 data.frame 객체는 저장되지 않습니다. data.table 클래스에는 많은 좋은 기능이 있지만 as.data.frame()필요한 경우 이를 사용하여 변환 할 수 있습니다 .


2

나는 비슷한 문제가 있었다 : EOF 경고 및 데이터의 일부만 read.csv ()로로드되었습니다. quotes = ""를 시도했지만 EOF 경고 만 제거했습니다.

그러나로드되지 않은 첫 번째 행을 보면 셀 중 하나에 특수 문자 인 화살표 → (16 진수 0x1A)가 있음을 알았습니다. 화살표를 삭제 한 후 정상적으로로드 할 데이터를 얻었습니다.


1
같은 문제, 수동 개입없이이를 해결할 수있는 다른 방법이 있습니까?
Mohit

2

나도 비슷한 문제가 있었다. 그러나 필자의 경우이 문제의 원인은 일부 텍스트 값 내에 아포스트로피 (예 : 작은 따옴표)가 있기 때문입니다. 프랑스어로 된 텍스트 (예 :«L' autre jour»)를 포함한 데이터로 작업 할 때 특히 빈번합니다.

따라서 해결책은 간단히 인용 인수의 기본 설정을« '»기호를 제외하도록 조정하는 것이므로 quote = "\" " (즉 큰 따옴표 )을 사용하면 모든 것이 잘 작동했습니다.

나는 그것이 당신의 일부를 도울 수 있기를 바랍니다. 건배.


0

readr의 패키지는이 문제를 해결합니다.

install.packages('readr')
library(readr)
readr::read_csv('yourfile.csv')
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.