data.table에서 참조로 행을 삭제하는 방법은 무엇입니까?

내 질문은 참조 대 복사 및 복사와 관련이 data.table있습니다. 하나의 참조로 행을 삭제할 수 있는지 알고 싶습니다.

DT[ , someCol := NULL]

알고 싶다

DT[someRow := NULL, ]

이 기능이 존재하지 않는 이유는 충분할 것 같습니다. 따라서 아래와 같이 일반적인 복사 방식을 대신 할 수 있습니다. 특히, 내가 좋아하는 예제 (data.table)에서

DT = data.table(x = rep(c("a", "b", "c"), each = 3), y = c(1, 3, 6), v = 1:9)
#      x y v
# [1,] a 1 1
# [2,] a 3 2
# [3,] a 6 3
# [4,] b 1 4
# [5,] b 3 5
# [6,] b 6 6
# [7,] c 1 7
# [8,] c 3 8
# [9,] c 6 9

이 data.table에서 첫 번째 행을 삭제하고 싶다고 가정 해보십시오. 나는 이것을 할 수 있다는 것을 안다.

DT <- DT[-1, ]

하지만 종종 우리는 객체를 복사하고 있기 때문에 우리는이를 방지 할 수 있습니다 (N은 경우 즉, 3 * N 메모리에 대한 요구 object.size(DT), 여기에서 지적했듯이 지금은 발견했다. set(DT, i, j, value)내가 어떻게 설정 특정 값으로 (여기처럼 알고있다. 모든 설정 1 행과 2 행, 2 열과 3 열의 값은 0)

set(DT, 1:2, 2:3, 0) 
DT
#      x y v
# [1,] a 0 0
# [2,] a 0 0
# [3,] a 6 3
# [4,] b 1 4
# [5,] b 3 5
# [6,] b 6 6
# [7,] c 1 7
# [8,] c 3 8
# [9,] c 6 9

그러나 처음 두 행을 어떻게 지울 수 있습니까? 하기

set(DT, 1:2, 1:3, NULL)

전체 DT를 NULL로 설정합니다.

내 SQL 지식은 매우 제한되어 있으므로 data.table에서 SQL 기술을 사용하므로 SQL 명령에 해당하는 것이 있습니까?

DELETE FROM table_name
WHERE some_column=some_value

data.table에?

좋은 질문. data.table아직 참조로 행을 삭제할 수 없습니다.

data.table알고 있듯이 열 포인터의 벡터를 과도하게 할당하기 때문에 참조로 열 을 추가하고 삭제할 수 있습니다 . 계획은 행과 비슷한 작업을 수행하고 빠른 insert및을 허용하는 것 delete입니다. memmoveC에서 행 삭제를 사용 하면 삭제 된 행 다음에 항목 (각 열마다)을 버립니다. 테이블 중간에서 행을 삭제하면 SQL과 같은 행 저장소 데이터베이스와 비교할 때 여전히 비효율적입니다.이 행은 테이블에서 행을 빠르게 삽입하고 삭제하는 데 더 적합합니다. 그러나 여전히 행을 삭제하지 않고 새로운 큰 개체를 복사하는 것보다 훨씬 빠릅니다.

반면에 열 벡터가 과도하게 할당 되므로 끝에 행이 즉시 삽입 (삭제) 될 수 있습니다 . 예를 들어, 증가하는 시계열.

문제로 제기되었습니다 : 참조로 행 삭제 .

메모리 사용을 내부 삭제와 유사하게하기 위해 취한 접근법은 한 번에 열을 하위 집합으로 만들고 삭제하는 것입니다. 적절한 C memmove 솔루션만큼 빠르지는 않지만 메모리 사용은 내가 여기서 신경 쓰는 모든 것입니다. 이 같은:

DT = data.table(col1 = 1:1e6)
cols = paste0('col', 2:100)
for (col in cols){ DT[, (col) := 1:1e6] }
keep.idxs = sample(1e6, 9e5, FALSE) # keep 90% of entries
DT.subset = data.table(col1 = DT[['col1']][keep.idxs]) # this is the subsetted table
for (col in cols){
  DT.subset[, (col) := DT[[col]][keep.idxs]]
  DT[, (col) := NULL] #delete
}

다음은 @ vc273의 답변과 @Frank의 피드백을 기반으로 한 작동 기능입니다.

delete <- function(DT, del.idxs) {           # pls note 'del.idxs' vs. 'keep.idxs'
  keep.idxs <- setdiff(DT[, .I], del.idxs);  # select row indexes to keep
  cols = names(DT);
  DT.subset <- data.table(DT[[1]][keep.idxs]); # this is the subsetted table
  setnames(DT.subset, cols[1]);
  for (col in cols[2:length(cols)]) {
    DT.subset[, (col) := DT[[col]][keep.idxs]];
    DT[, (col) := NULL];  # delete
  }
   return(DT.subset);
}

그리고 그 사용법의 예 :

dat <- delete(dat,del.idxs)   ## Pls note 'del.idxs' instead of 'keep.idxs'

여기서 "dat"는 data.table입니다. 1.4M 행에서 14k 행을 제거하면 랩톱에서 0.25 초가 걸립니다.

> dim(dat)
[1] 1419393      25
> system.time(dat <- delete(dat,del.idxs))
   user  system elapsed 
   0.23    0.02    0.25 
> dim(dat)
[1] 1404715      25
> 

추신. SO를 처음 사용했기 때문에 @ vc273의 스레드에 주석을 추가 할 수 없습니다 :-(

대신 NULL로 설정하거나 NA로 설정해보십시오 (첫 번째 열의 NA 유형과 일치)

set(DT,1:2, 1:3 ,NA_character_)

이 주제는 여전히 많은 사람들에게 흥미 롭습니다 (포함).

어때요? 내가 사용 assign를 교체 glovalenv하고 코드 이전에 설명했다. 원래 환경을 캡처하는 것이 더 좋지만 최소한 globalenv메모리 효율성 이 뛰어나고 참조에 의한 변경처럼 작동합니다.

delete <- function(DT, del.idxs) 
{ 
  varname = deparse(substitute(DT))

  keep.idxs <- setdiff(DT[, .I], del.idxs)
  cols = names(DT);
  DT.subset <- data.table(DT[[1]][keep.idxs])
  setnames(DT.subset, cols[1])

  for (col in cols[2:length(cols)]) 
  {
    DT.subset[, (col) := DT[[col]][keep.idxs]]
    DT[, (col) := NULL];  # delete
  }

  assign(varname, DT.subset, envir = globalenv())
  return(invisible())
}

DT = data.table(x = rep(c("a", "b", "c"), each = 3), y = c(1, 3, 6), v = 1:9)
delete(DT, 3)

내가 사용한 몇 가지 전략은 다음과 같습니다. .ROW 함수가 올 수 있다고 생각합니다. 아래의 이러한 접근법 중 어느 것도 빠르지 않습니다. 이것들은 부분 집합이나 필터링을 약간 넘어선 몇 가지 전략입니다. dba가 데이터를 정리하려고하는 것처럼 생각했습니다. 위에서 언급 한 것처럼 data.table에서 행을 선택하거나 제거 할 수 있습니다.

data(iris)
iris <- data.table(iris)

iris[3] # Select row three

iris[-3] # Remove row three

You can also use .SD to select or remove rows:

iris[,.SD[3]] # Select row three

iris[,.SD[3:6],by=,.(Species)] # Select row 3 - 6 for each Species

iris[,.SD[-3]] # Remove row three

iris[,.SD[-3:-6],by=,.(Species)] # Remove row 3 - 6 for each Species

참고 : .SD는 원본 데이터의 하위 집합을 생성하므로 j 또는 후속 데이터에서 상당한 작업을 수행 할 수 있습니다. https://stackoverflow.com/a/47406952/305675를 참조 하십시오 . 여기에서는 Sepal Length로 홍채를 주문하고 지정된 Sepal.Length를 최소로 가져 와서 모든 종 중 최상위 3 개 (Seal Length)를 선택하고 모든 관련 데이터를 반환합니다.

iris[order(-Sepal.Length)][Sepal.Length > 3,.SD[1:3],by=,.(Species)]

위의 접근법은 모두 행을 제거 할 때 data.table을 순차적으로 재정렬합니다. data.table을 바꾸고 현재 바뀐 열인 이전 행을 제거하거나 바꿀 수 있습니다. ': = NULL'을 사용하여 바뀐 행을 제거하면 후속 열 이름도 제거됩니다.

m_iris <- data.table(t(iris))[,V3:=NULL] # V3 column removed

d_iris <- data.table(t(iris))[,V3:=V2] # V3 column replaced with V2

data.frame을 다시 data.table로 바꾸면 원래 data.table에서 이름을 바꾸고 삭제시 클래스 속성을 복원 할 수 있습니다. 현재 전치 된 data.table에 ": = NULL"을 적용하면 모든 문자 클래스가 작성됩니다.

m_iris <- data.table(t(d_iris));
setnames(d_iris,names(iris))

d_iris <- data.table(t(m_iris));
setnames(m_iris,names(iris))

키의 유무에 관계없이 중복 행을 제거하고 싶을 수도 있습니다.

d_iris[,Key:=paste0(Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species)]     

d_iris[!duplicated(Key),]

d_iris[!duplicated(paste0(Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species)),]  

'.I'를 사용하여 증분 카운터를 추가 할 수도 있습니다. 그런 다음 카운터로 레코드를 제거하여 중복 키 또는 필드를 검색하고 제거 할 수 있습니다. 계산 비용이 많이 들지만 제거 할 행을 인쇄 할 수 있으므로 몇 가지 장점이 있습니다.

d_iris[,I:=.I,] # add a counter field

d_iris[,Key:=paste0(Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species)]

for(i in d_iris[duplicated(Key),I]) {print(i)} # See lines with duplicated Key or Field

for(i in d_iris[duplicated(Key),I]) {d_iris <- d_iris[!I == i,]} # Remove lines with duplicated Key or any particular field.

0 또는 NA로 행을 채운 다음 i 쿼리를 사용하여 행을 삭제할 수도 있습니다.

 X 
   x v foo
1: c 8   4
2: b 7   2

X[1] <- c(0)

X
   x v foo
1: 0 0   0
2: b 7   2

X[2] <- c(NA)
X
    x  v foo
1:  0  0   0
2: NA NA  NA

X <- X[x != 0,]
X <- X[!is.na(x),]