Подтвердить что ты не робот

Эффективное вычисление не-NA элементов в data.table

Иногда мне нужно подсчитать количество элементов не NA в том или ином столбце в моем data.table. Каков наилучший способ data.table -tailored сделать это?

Для конкретности, позвольте работать с этим:

DT <- data.table(id = sample(100, size = 1e6, replace = TRUE),
                 var = sample(c(1, 0, NA), size = 1e6, replace = TRUE), key = "id")

Первое, что приходит мне на ум, работает следующим образом:

DT[!is.na(var), N := .N, by = id]

Но у этого есть неудачный недостаток, который N не присваивается ни одной строке, где var отсутствует, т.е. DT[is.na(var), N] = NA.

Поэтому я работаю над этим, добавив:

DT[!is.na(var), N:= .N, by = id][ , N := max(N, na.rm = TRUE), by = id] #OPTION 1

Однако я не уверен, что это лучший подход; другой вариант, о котором я подумал, и один из предложенных аналогом этого вопроса для data.frame:

DT[ , N := length(var[!is.na(var)]), by = id] # OPTION 2

и

DT[ , N := sum(!is.na(var)), by = id] # OPTION 3

Сравнивая время их вычисления (в среднем более 100 испытаний), последнее кажется самым быстрым:

OPTION 1 | OPTION 2 | OPTION 3
  .075   |   .065   |   .043

Кто-нибудь знает более быстрый способ для data.table?

4b9b3361

ОТВЕТЫ

Ответ 1

Да, третий вариант кажется лучшим. Я добавил еще один, который действителен, только если вы решили изменить ключ вашей таблицы данных с id до var, но все же вариант 3 является самым быстрым в ваших данных.

library(microbenchmark)
library(data.table)

dt<-data.table(id=(1:100)[sample(10,size=1e6,replace=T)],var=c(1,0,NA)[sample(3,size=1e6,replace=T)],key=c("var"))

dt1 <- copy(dt)
dt2 <- copy(dt)
dt3 <- copy(dt)
dt4 <- copy(dt)

microbenchmark(times=10L,
               dt1[!is.na(var),.N,by=id][,max(N,na.rm=T),by=id],
               dt2[,length(var[!is.na(var)]),by=id],
               dt3[,sum(!is.na(var)),by=id],
               dt4[.(c(1,0)),.N,id,nomatch=0L])
# Unit: milliseconds
#                                                         expr      min       lq      mean    median        uq       max neval
#  dt1[!is.na(var), .N, by = id][, max(N, na.rm = T), by = id] 95.14981 95.79291 105.18515 100.16742 112.02088 131.87403    10
#                     dt2[, length(var[!is.na(var)]), by = id] 83.17203 85.91365  88.54663  86.93693  89.56223 100.57788    10
#                             dt3[, sum(!is.na(var)), by = id] 45.99405 47.81774  50.65637  49.60966  51.77160  61.92701    10
#                        dt4[.(c(1, 0)), .N, id, nomatch = 0L] 78.50544 80.95087  89.09415  89.47084  96.22914 100.55434    10