Замените отсутствующие значения (NA) на самые последние не-NA по группам

Ответ 1

Все они используют na.locf из пакета zoo. Также обратите внимание, что na.locf0 (также определенный в zoo) похож на na.locf за исключением того, что по умолчанию он na.rm = FALSE и требует одного векторного аргумента. na.locf2 определенный в первом решении, также используется в некоторых других.

dplyr

library(dplyr)
library(zoo)

na.locf2 <- function(x) na.locf(x, na.rm = FALSE)
df %>% group_by(houseID) %>% do(na.locf2(.)) %>% ungroup

давая:

Source: local data frame [15 x 3]
Groups: houseID

   houseID year price
1        1 1995    NA
2        1 1996   100
3        1 1997   100
4        1 1998   120
5        1 1999   120
6        2 1995    NA
7        2 1996    NA
8        2 1997    NA
9        2 1998    30
10       2 1999    30
11       3 1995    NA
12       3 1996    44
13       3 1997    44
14       3 1998    44
15       3 1999    44

Вариант этого:

df %>% group_by(houseID) %>% mutate(price = na.locf0(price)) %>% ungroup

Другие решения ниже дают вывод, который очень похож, поэтому мы не будем повторять его, за исключением случаев, когда формат существенно отличается.

Еще одна возможность заключается в том, чтобы объединить с by раствора ( как показано ниже) с dplyr:

df %>% by(df$houseID, na.locf2) %>% bind_rows

от

library(zoo)

do.call(rbind, by(df, df$houseID, na.locf2))

пр

library(zoo)

transform(df, price = ave(price, houseID, FUN = na.locf0))

Таблица данных

library(data.table)
library(zoo)

data.table(df)[, na.locf2(.SD), by = houseID]

зоопарк Это решение использует только зоопарк. Возвращает широкий, а не длинный результат:

library(zoo)

z <- read.zoo(df, index = 2, split = 1, FUN = identity)
na.locf2(z)

давая:

       1  2  3
1995  NA NA NA
1996 100 NA 44
1997 100 NA 44
1998 120 30 44
1999 120 30 44

Это решение может быть объединено с dplyr следующим образом:

library(dplyr)
library(zoo)

df %>% read.zoo(index = 2, split = 1, FUN = identity) %>% na.locf2

вход

Вот входные данные, используемые для примеров выше:

df <- structure(list(houseID = c(1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 
  2L, 3L, 3L, 3L, 3L, 3L), year = c(1995L, 1996L, 1997L, 1998L, 
  1999L, 1995L, 1996L, 1997L, 1998L, 1999L, 1995L, 1996L, 1997L, 
  1998L, 1999L), price = c(NA, 100L, NA, 120L, NA, NA, NA, NA, 
  30L, NA, NA, 44L, NA, NA, NA)), .Names = c("houseID", "year", 
  "price"), class = "data.frame", row.names = c(NA, -15L))

ПЕРЕСМОТРЕНО Перестроено и добавлено больше решений. Пересмотренное решение dplyr/zoo для соответствия последним изменениям dplyr. Применяется фиксированный и na.locf2 из всех решений na.locf2.

Ответ 2

tidyr::fill теперь делает это глупо:

library(dplyr)
library(tidyr)
# or library(tidyverse)

df %>% group_by(houseID) %>% fill(price)
# Source: local data frame [15 x 3]
# Groups: houseID [3]
# 
#    houseID  year price
#      (int) (int) (int)
# 1        1  1995    NA
# 2        1  1996   100
# 3        1  1997   100
# 4        1  1998   120
# 5        1  1999   120
# 6        2  1995    NA
# 7        2  1996    NA
# 8        2  1997    NA
# 9        2  1998    30
# 10       2  1999    30
# 11       3  1995    NA
# 12       3  1996    44
# 13       3  1997    44
# 14       3  1998    44
# 15       3  1999    44

Ответ 3

Вы можете выполнить автоматическое объединение, поддерживаемое data.table:

require(data.table)
setDT(df)   ## change it to data.table in place
setkey(df, houseID, year)     ## needed for fast join
df.woNA <- df[!is.na(price)]  ## version without the NA rows

# rolling self-join will return what you want
df.woNA[df, roll=TRUE]  ## will match previous year if year not found

Ответ 4

Чистое решение dplyr (без зоопарка).

df %>% 
 group_by(houseID) %>%
 mutate(price_change = cumsum(0 + !is.na(price))) %>%
 group_by(price_change, add = TRUE) %>%
 mutate(price_filled = nth(price, 1)) %>%
 ungroup() %>%
 select(-price_change) -> df2

Входящая часть примерного решения находится в конце df2.

> tail(df2, 20)
Source: local data frame [20 x 4]

    houseID year     price price_filled
 1       14 1995        NA           NA
 2       14 1996        NA           NA
 3       14 1997        NA           NA
 4       14 1998        NA           NA
 5       14 1999 0.8374778    0.8374778
 6       14 2000        NA    0.8374778
 7       14 2001        NA    0.8374778
 8       14 2002        NA    0.8374778
 9       14 2003 2.1918880    2.1918880
10       14 2004        NA    2.1918880
11       15 1995        NA           NA
12       15 1996 0.3982450    0.3982450
13       15 1997        NA    0.3982450
14       15 1998 1.7727000    1.7727000
15       15 1999        NA    1.7727000
16       15 2000        NA    1.7727000
17       15 2001        NA    1.7727000
18       15 2002 7.8636329    7.8636329
19       15 2003        NA    7.8636329
20       15 2004        NA    7.8636329

Ответ 5

Без dplyr:

  prices$price <-unlist(lapply(split(prices$price,prices$houseID),
function(x) zoo::na.locf(x,na.rm=FALSE)))

prices
   houseID year price
1        1 1995    NA
2        1 1996   100
3        1 1997   100
4        1 1998   120
5        1 1999   120
6        2 1995    NA
7        2 1996    NA
8        2 1997    NA
9        2 1998    30
10       2 1999    30
11       3 1995    NA
12       3 1996    44
13       3 1997    44
14       3 1998    44
15       3 1999    44

Ответ 6

dplyr и imputeTS.

library(dplyr)
library(imputeTS)
df %>% group_by(houseID) %>% 
mutate(price = na.locf(price, na.remaining="keep"))  

Вы также можете заменить na.locf более продвинутыми функциями замены (вменения) отсутствующих данных из imputeTS. Например na.interpolation или na.kalman. Для этого просто замените na.locf на имя функции, которая вам нравится.