Apply() медленный - как сделать это быстрее или каковы мои альтернативы?

У меня довольно большой фрейм данных, около 10 миллионов строк. Он имеет столбцы x и y, и я хочу, чтобы вычислить

hypot <- function(x) {sqrt(x[1]^2 + x[2]^2)}

для каждой строки. Используя apply, потребуется много времени (около 5 минут, интерполирование из более низких размеров) и памяти.

Но для меня это слишком много, поэтому я пробовал разные вещи:

компиляция функции hypot сокращает время примерно на 10%
Использование функций из plyr значительно увеличивает время работы.

Какой самый быстрый способ сделать это?

Ответ 1

Как насчет with(my_data,sqrt(x^2+y^2))?

set.seed(101)
d <- data.frame(x=runif(1e5),y=runif(1e5))

library(rbenchmark)

Две разные функции для каждой строки, одна из которых использует векторизация:

hypot <- function(x) sqrt(x[1]^2+x[2]^2)
hypot2 <- function(x) sqrt(sum(x^2))

Попробуйте также их компилировать:

library(compiler)
chypot <- cmpfun(hypot)
chypot2 <- cmpfun(hypot2)

benchmark(sqrt(d[,1]^2+d[,2]^2),
          with(d,sqrt(x^2+y^2)),
          apply(d,1,hypot),
          apply(d,1,hypot2),
          apply(d,1,chypot),
          apply(d,1,chypot2),
          replications=50)

Результаты:

                       test replications elapsed relative user.self sys.self
5       apply(d, 1, chypot)           50  61.147  244.588    60.480    0.172
6      apply(d, 1, chypot2)           50  33.971  135.884    33.658    0.172
3        apply(d, 1, hypot)           50  63.920  255.680    63.308    0.364
4       apply(d, 1, hypot2)           50  36.657  146.628    36.218    0.260
1 sqrt(d[, 1]^2 + d[, 2]^2)           50   0.265    1.060     0.124    0.144
2  with(d, sqrt(x^2 + y^2))           50   0.250    1.000     0.100    0.144

Как и ожидалось, решение with() и решение индексации столбцов à la Tyler Rinker по существу идентичны; hypot2 в два раза быстрее, чем исходный hypot (но все же примерно в 150 раз медленнее, чем векторизованные решения). Как уже указывал OP, компиляция не очень помогает.

Ответ 2

В то время как ответ Ben Bolkers является исчерпывающим, я объясню другие причины, чтобы избежать apply на data.frames.

apply преобразует ваш data.frame в матрицу. Это создаст копию (трату времени и памяти), а также приведет к непреднамеренным преобразованиям типов.

Учитывая, что у вас есть 10 миллионов строк данных, я бы предложил вам посмотреть на пакет data.table, который позволит вам делать что-то эффективно с точки зрения памяти и времени.

Например, используя tracemem

x <- apply(d,1, hypot2)
tracemem[0x2f2f4410 -> 0x2f31b8b8]: as.matrix.data.frame as.matrix apply

Это еще хуже, если затем назначить столбцу в d

d$x <- apply(d,1, hypot2)
tracemem[0x2f2f4410 -> 0x2ee71cb8]: as.matrix.data.frame as.matrix apply 
tracemem[0x2f2f4410 -> 0x2fa9c878]: 
tracemem[0x2fa9c878 -> 0x2fa9c3d8]: $<-.data.frame $<- 
tracemem[0x2fa9c3d8 -> 0x2fa9c1b8]: $<-.data.frame $<-

4 копии! - с 10 миллионами строк, которые, вероятно, придут и укусят вас в какой-то точке.

Если мы используем with, в нем нет copying, если мы присваиваем вектору

y <- with(d, sqrt(x^2 + y^2))

Но будет, если мы назначим столбцу в data.frame d

d$y <- with(d, sqrt(x^2 + y^2))
tracemem[0x2fa9c1b8 -> 0x2faa00d8]: 
tracemem[0x2faa00d8 -> 0x2faa0f48]: $<-.data.frame $<- 
tracemem[0x2faa0f48 -> 0x2faa0d08]: $<-.data.frame $<-

Теперь, если вы используете data.table и := для назначения по ссылке (без копирования)

 library(data.table)
 DT <- data.table(d)



tracemem(DT)
[1] "<0x2d67a9a0>"
DT[,y := sqrt(x^2 + y^2)]

Без копий!

Возможно, я буду исправлен здесь, но еще одна проблема с памятью заключается в том, что sqrt(x^2+y^2)) создаст 4 временных переменных (внутри) x^2, y^2, x^2 + y^2 и затем sqrt(x^2 + y^2))

Следующее будет медленнее, но только для создания двух переменных.

 DT[, rowid := .I] # previous option: DT[, rowid := seq_len(nrow(DT))]
 DT[, y2 := sqrt(x^2 + y^2), by = rowid]

Ответ 3

R векторизован, поэтому вы могли бы использовать следующее, подключая свою собственную матрицу, конечно

X = t(matrix(1:4, 2, 2))^2
>      [,1] [,2]
 [1,]    1    4
 [2,]    9   16

rowSums(X)^0.5

Хороший и эффективный:)