선택된 열만 읽습니다.


134

누구든지 아래 데이터를 매년 6 개월 (7 열) 만 읽는 방법을 알려주시겠습니까 read.table()?

Year   Jan  Feb  Mar  Apr  May  Jun  Jul  Aug  Sep  Oct  Nov  Dec   
2009   -41  -27  -25  -31  -31  -39  -25  -15  -30  -27  -21  -25
2010   -41  -27  -25  -31  -31  -39  -25  -15  -30  -27  -21  -25 
2011   -21  -27   -2   -6  -10  -32  -13  -12  -27  -30  -38  -29



2
@CiroSantilli 包子 露 宪 六四 事件 法轮功 확실하지만 ... 먼저 물어 봤어요?
StarCub

나는 더 나은 / 나쁜 관계를 암시하지 않았습니다. 또한 어떤 사이트 간 중복이없는 당신이 자신을 게시 교차하지 않는 한, 일관성 스택 교환 네트워크는 :-),이를 수
치로 틸리郝海东冠状病六四事件法轮功

답변:


157

데이터가 file에 있다고 가정하면 인수를 data.txt사용하여 열을 건너 뛸 수 있습니다. 여기에서 처음 7 개 열의 데이터가 있고 나머지 6 개 열을 건너 뛰어야 함 을 나타냅니다.colClassesread.table()"integer""NULL"

> read.table("data.txt", colClasses = c(rep("integer", 7), rep("NULL", 6)), 
+            header = TRUE)
  Year Jan Feb Mar Apr May Jun
1 2009 -41 -27 -25 -31 -31 -39
2 2010 -41 -27 -25 -31 -31 -39
3 2011 -21 -27  -2  -6 -10 -32

실제 데이터 유형 "integer"?read.table따라 세부적으로 허용되는 유형 중 하나로 변경하십시오 .

data.txt 다음과 같이 보입니다 :

$ cat data.txt 
"Year" "Jan" "Feb" "Mar" "Apr" "May" "Jun" "Jul" "Aug" "Sep" "Oct" "Nov" "Dec"
2009 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25
2010 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25
2011 -21 -27 -2 -6 -10 -32 -13 -12 -27 -30 -38 -29

를 사용하여 만들어졌습니다

write.table(dat, file = "data.txt", row.names = FALSE)

dat이다

dat <- structure(list(Year = 2009:2011, Jan = c(-41L, -41L, -21L), Feb = c(-27L, 
-27L, -27L), Mar = c(-25L, -25L, -2L), Apr = c(-31L, -31L, -6L
), May = c(-31L, -31L, -10L), Jun = c(-39L, -39L, -32L), Jul = c(-25L, 
-25L, -13L), Aug = c(-15L, -15L, -12L), Sep = c(-30L, -30L, -27L
), Oct = c(-27L, -27L, -30L), Nov = c(-21L, -21L, -38L), Dec = c(-25L, 
-25L, -29L)), .Names = c("Year", "Jan", "Feb", "Mar", "Apr", 
"May", "Jun", "Jul", "Aug", "Sep", "Oct", "Nov", "Dec"), class = "data.frame",
row.names = c(NA, -3L))

열 수를 미리 알 수없는 경우 유틸리티 기능 count.fields은 파일을 읽고 각 행의 필드 수를 계산합니다.

## returns a vector equal to the number of lines in the file
count.fields("data.txt", sep = "\t")
## returns the maximum to set colClasses
max(count.fields("data.txt", sep = "\t"))

1
@Benjamin 인수를 사용하여 파일에서 처음 몇 줄을 읽습니다 nrows. 그런 다음을 사용하는 열 수를 계산하십시오 ncol(). 그렇지 않으면 읽거나 무시할 열 수를 계산하십시오. 그런 다음이 정보를 사용하여 전체 파일을 읽으십시오.
개빈 심슨

1
?? 열의 수를 모르는 경우 열을 읽지 않고 열 수를 결정하는 방법은 무엇입니까?
개빈 심슨

1
@BlueMagister count.fields()의견에 제안한 프로세스를 자동화 하고 편집 해 주셔서 감사합니다 .
개빈 심슨

1
@ LéoLéopoldHertz 준영 아니요, 데이터 프레임과 같이 행 클래스 에서 이러한 기능이 어떻게 작동하는지 잘 모르겠습니다. 각 열의 유형은 다르지만 각 행의 정의 및 결과에 따라 제약이 없습니다. 가져올 때 빈 행 등을 필터링해야합니다.
개빈 심슨

1
@rmf 당신은 통과 할 수 count.fields()있도록 사용하여 행의 일부 하위 집합을 읽고, 텍스트 연결을 txt <- readLines(....)한 후 라인 읽기에 대한 연결을 생성 con <- textConnection(txt)할 다음, count.fields(txt). 헤더 행이 있으면 skipin 을 사용 count.fields()하여 건너 뛰십시오. 를 사용하여 파일에서 행을 건너 뛸 수 없습니다 readLines().
Gavin Simpson

82

데이터 세트에서 특정 열 집합을 읽으려면 몇 가지 다른 옵션이 있습니다.

1)으로 fread로부터 data.table-package :

원하는 열을 select 매개 변수를fread .data.table 패키지로 제공된다. 열 이름 또는 열 번호로 구성된 벡터로 열을 지정할 수 있습니다.

예제 데이터 세트의 경우 :

library(data.table)
dat <- fread("data.txt", select = c("Year","Jan","Feb","Mar","Apr","May","Jun"))
dat <- fread("data.txt", select = c(1:7))

또는 drop 매개 변수를 읽을 열을 표시 .

dat <- fread("data.txt", drop = c("Jul","Aug","Sep","Oct","Nov","Dec"))
dat <- fread("data.txt", drop = c(8:13))

모든 결과 :

> data
  Year Jan Feb Mar Apr May Jun
1 2009 -41 -27 -25 -31 -31 -39
2 2010 -41 -27 -25 -31 -31 -39
3 2011 -21 -27  -2  -6 -10 -32

업데이트 : data.tablefread 을 반환 하지 않으려 는 경우data.table = FALSE -parameter를 사용하십시오 ( 예 :fread("data.txt", select = c(1:7), data.table = FALSE)

2) read.csv.sql 로부터 sqldf-package :

또 다른 대안은있다 read.csv.sql로부터 기능sqldf 패키지 .

library(sqldf)
dat <- read.csv.sql("data.txt",
                    sql = "select Year,Jan,Feb,Mar,Apr,May,Jun from file",
                    sep = "\t")

3)에서 read_*-함수로readr :

library(readr)
dat <- read_table("data.txt",
                  col_types = cols_only(Year = 'i', Jan = 'i', Feb = 'i', Mar = 'i',
                                        Apr = 'i', May = 'i', Jun = 'i'))
dat <- read_table("data.txt",
                  col_types = list(Jul = col_skip(), Aug = col_skip(), Sep = col_skip(),
                                   Oct = col_skip(), Nov = col_skip(), Dec = col_skip()))
dat <- read_table("data.txt", col_types = 'iiiiiii______')

설명서에서 사용 된 문자에 대한 설명 col_types 같습니다.

각 문자는 하나의 열을 나타냅니다. c = 문자, i = 정수, n = 숫자, d = 이중, l = 논리, D = 날짜, T = 날짜 시간, t = 시간,? = 추측 또는 _ /-열을 건너 뛰려면


fread그러나 압축 파일은 지원하지 않습니다. 큰 파일은 일반적으로 압축됩니다.
CoderGuy123

기능 요청 이에서를 가능하게하는가 fread. 주목할 점 fread은 압축 파일 read.table을 읽는 것보다 압축되지 않은 파일을 상당히 빨리 읽을 수 있다는 것입니다 . 예를 보려면 여기를 참조하십시오 .
Jaap

압축되지 않은 파일이 너무 큽니다. 예를 들어 1000 개의 게놈 파일을 사용하고 있습니다. 압축되지 않은 60GB 일 수 있습니다.
CoderGuy123

1
아시다시피 R은 메모리에서 데이터를 읽습니다. 압축 파일을 읽든 압축 해제 파일을 읽든 메모리의 결과 데이터 크기에는 차이가 없습니다. 60GB의 파일이 있으면 read.table저장하지 않습니다. 이 경우 ff-package 를보고 싶을 수 있습니다 .
Jaap

2
@Deleet 다음 fread과 같이 큰 압축 파일을 읽는 데 사용할 수 있습니다 fread("gunzip -c data.txt.gz", drop = c(8:13)).
arekolek

8

이를 위해 JDBC를 사용할 수도 있습니다. 샘플 csv 파일을 만들어 봅시다.

write.table(x=mtcars, file="mtcars.csv", sep=",", row.names=F, col.names=T) # create example csv file

다음 링크에서 CSV JDBC 드라이버를 다운로드하여 저장하십시오. http://sourceforge.net/projects/csvjdbc/files/latest/download

> library(RJDBC)

> path.to.jdbc.driver <- "jdbc//csvjdbc-1.0-18.jar"
> drv <- JDBC("org.relique.jdbc.csv.CsvDriver", path.to.jdbc.driver)
> conn <- dbConnect(drv, sprintf("jdbc:relique:csv:%s", getwd()))

> head(dbGetQuery(conn, "select * from mtcars"), 3)
   mpg cyl disp  hp drat    wt  qsec vs am gear carb
1   21   6  160 110  3.9  2.62 16.46  0  1    4    4
2   21   6  160 110  3.9 2.875 17.02  0  1    4    4
3 22.8   4  108  93 3.85  2.32 18.61  1  1    4    1

> head(dbGetQuery(conn, "select mpg, gear from mtcars"), 3)
   MPG GEAR
1   21    4
2   21    4
3 22.8    4

0

당신은 이것을 이렇게합니다 :

df = read.table("file.txt", nrows=1, header=TRUE, sep="\t", stringsAsFactors=FALSE)
colClasses = as.list(apply(df, 2, class))
needCols = c("Year", "Jan", "Feb", "Mar", "Apr", "May", "Jun")
colClasses[!names(colClasses) %in% needCols] = list(NULL)
df = read.table("file.txt", header=TRUE, colClasses=colClasses, sep="\t", stringsAsFactors=FALSE)
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.