Использование агрегата для применения нескольких функций по нескольким переменным в одном вызове

У меня есть следующий фрейм данных

x <- read.table(text = "  id1 id2 val1 val2
1   a   x    1    9
2   a   x    2    4
3   a   y    3    5
4   a   y    4    9
5   b   x    1    7
6   b   y    4    4
7   b   x    3    9
8   b   y    2    8", header = TRUE)

Я хочу рассчитать среднее значение val1 и val2, сгруппированных по id1 и id2, и одновременно подсчитать количество строк для каждой комбинации id1-id2. Я могу выполнить каждый расчет отдельно:

# calculate mean
aggregate(. ~ id1 + id2, data = x, FUN = mean)

# count rows
aggregate(. ~ id1 + id2, data = x, FUN = length)

Чтобы выполнить оба расчета за один вызов, я попробовал

do.call("rbind", aggregate(. ~ id1 + id2, data = x, FUN = function(x) data.frame(m = mean(x), n = length(x))))

Однако я получаю искаженный вывод вместе с предупреждением:

#     m   n
# id1 1   2
# id2 1   1
#     1.5 2
#     2   2
#     3.5 2
#     3   2
#     6.5 2
#     8   2
#     7   2
#     6   2
# Warning message:
#   In rbind(id1 = c(1L, 2L, 1L, 2L), id2 = c(1L, 1L, 2L, 2L), val1 = list( :
#   number of columns of result is not a multiple of vector length (arg 1)

Я мог бы использовать пакет plyr, но мой набор данных довольно большой, и plyr очень медленный (почти непригодный), когда размер набора данных растет.

Как я могу использовать aggregate для выполнения нескольких вычислений в одном вызове?

Ответ 1

Вы можете сделать все за один шаг и получить правильную маркировку:

> aggregate(. ~ id1+id2, data = x, FUN = function(x) c(mn = mean(x), n = length(x) ) )
#   id1 id2 val1.mn val1.n val2.mn val2.n
# 1   a   x     1.5    2.0     6.5    2.0
# 2   b   x     2.0    2.0     8.0    2.0
# 3   a   y     3.5    2.0     7.0    2.0
# 4   b   y     3.0    2.0     6.0    2.0

Это создает фрейм данных с двумя столбцами id и двумя столбцами матрицы:

str( aggregate(. ~ id1+id2, data = x, FUN = function(x) c(mn = mean(x), n = length(x) ) ) )
'data.frame':   4 obs. of  4 variables:
 $ id1 : Factor w/ 2 levels "a","b": 1 2 1 2
 $ id2 : Factor w/ 2 levels "x","y": 1 1 2 2
 $ val1: num [1:4, 1:2] 1.5 2 3.5 3 2 2 2 2
  ..- attr(*, "dimnames")=List of 2
  .. ..$ : NULL
  .. ..$ : chr  "mn" "n"
 $ val2: num [1:4, 1:2] 6.5 8 7 6 2 2 2 2
  ..- attr(*, "dimnames")=List of 2
  .. ..$ : NULL
  .. ..$ : chr  "mn" "n"

Как указано в @lord.garbage ниже, это можно преобразовать в кадр данных с "простыми" столбцами, используя do.call(data.frame, ...)

str( do.call(data.frame, aggregate(. ~ id1+id2, data = x, FUN = function(x) c(mn = mean(x), n = length(x) ) ) ) 
    )
'data.frame':   4 obs. of  6 variables:
 $ id1    : Factor w/ 2 levels "a","b": 1 2 1 2
 $ id2    : Factor w/ 2 levels "x","y": 1 1 2 2
 $ val1.mn: num  1.5 2 3.5 3
 $ val1.n : num  2 2 2 2
 $ val2.mn: num  6.5 8 7 6
 $ val2.n : num  2 2 2 2

Это синтаксис для нескольких переменных на LHS:

aggregate(cbind(val1, val2) ~ id1 + id2, data = x, FUN = function(x) c(mn = mean(x), n = length(x) ) )

Ответ 2

Учитывая это в вопросе:

Я мог бы использовать пакет plyr, но мой набор данных довольно большой, и plyr очень медленный (почти непригодный), когда размер набора данных растет.

Затем в data.table (1.9.4+) вы можете попробовать:

> DT
   id1 id2 val1 val2
1:   a   x    1    9
2:   a   x    2    4
3:   a   y    3    5
4:   a   y    4    9
5:   b   x    1    7
6:   b   y    4    4
7:   b   x    3    9
8:   b   y    2    8
> DT[,.(mean(val1),mean(val2),.N),by=.(id1,id2)]   # simplest
   id1 id2  V1  V2 N
1:   a   x 1.5 6.5 2
2:   a   y 3.5 7.0 2
3:   b   x 2.0 8.0 2
4:   b   y 3.0 6.0 2
> DT[,.(val1.m=mean(val1),val2.m=mean(val2),count=.N),by=.(id1,id2)]   # named
   id1 id2 val1.m val2.m count
1:   a   x    1.5    6.5     2
2:   a   y    3.5    7.0     2
3:   b   x    2.0    8.0     2
4:   b   y    3.0    6.0     2
> DT[,c(lapply(.SD,mean),count=.N),by=.(id1,id2)]   # mean over all columns
   id1 id2 val1 val2 count
1:   a   x  1.5  6.5     2
2:   a   y  3.5  7.0     2
3:   b   x  2.0  8.0     2
4:   b   y  3.0  6.0     2

Для сравнения времени aggregate (используемого в вопросе и всех трех других ответов) до data.table см. этот тест (случаи agg и agg.x).

Ответ 3

Вы можете добавить столбец count, заполнить с помощью sum, а затем повернуть назад, чтобы получить mean:

x$count <- 1
agg <- aggregate(. ~ id1 + id2, data = x,FUN = sum)
agg
#   id1 id2 val1 val2 count
# 1   a   x    3   13     2
# 2   b   x    4   16     2
# 3   a   y    7   14     2
# 4   b   y    6   12     2

agg[c("val1", "val2")] <- agg[c("val1", "val2")] / agg$count
agg
#   id1 id2 val1 val2 count
# 1   a   x  1.5  6.5     2
# 2   b   x  2.0  8.0     2
# 3   a   y  3.5  7.0     2
# 4   b   y  3.0  6.0     2

Преимущество состоит в сохранении имен столбцов и создании одного столбца count.

Ответ 4

Возможно, вы хотите объединиться?

x.mean <- aggregate(. ~ id1+id2, p, mean)
x.len  <- aggregate(. ~ id1+id2, p, length)

merge(x.mean, x.len, by = c("id1", "id2"))

  id1 id2 val1.x val2.x val1.y val2.y
1   a   x    1.5    6.5      2      2
2   a   y    3.5    7.0      2      2
3   b   x    2.0    8.0      2      2
4   b   y    3.0    6.0      2      2

Ответ 5

Используя пакет dplyr, вы можете достичь этого, используя либо summarise_each, либо summarise_all, которые дают вам тот же результат. С помощью этих обобщающих функций вы можете применять другие функции (в данном случае mean и n()) к каждому из негрупповых столбцов:

x %>% group_by(id1, id2) %>%
  summarise_each(funs(mean, n()))

который дает:

     id1    id2 val1_mean val2_mean val1_n val2_n
1      a      x       1.5       6.5      2      2
2      a      y       3.5       7.0      2      2
3      b      x       2.0       8.0      2      2
4      b      y       3.0       6.0      2      2

Если вы не хотите применять функции ко всем негрупповым столбцам, вы указываете столбцы, к которым они должны применяться, или исключая ненужные с минусом:

# inclusion
x %>% group_by(id1, id2) %>%
  summarise_each(funs(mean, n()), val1, val2)

# exclusion
x %>% group_by(id1, id2) %>%
  summarise_each(funs(mean, n()), -val2)

Ответ 6

Вы также можете использовать plyr::each() для ввода нескольких функций:

aggregate(cbind(val1, val2) ~ id1 + id2, data = x, FUN = plyr::each(avg = mean, n = length))