Уникальные значения столбца факторов, содержащие NAs => "Hash table is full" error

Ответ 1

этот фрагмент кода должен помещать ваши отсутствующие наблюдения в обычный уровень, с которым будет работать более удобно.

# Need additional level to place missing into first
levels(da$UPC) <- c(levels(da$UPC), '(NA)')
da$UPC[is.na(da$UPC)] <- '(NA)'

Похоже, вы в конечном счете пытаетесь сбросить нечастые уровни, чтобы помочь в каком-то анализе. Я написал функцию factorize(), которая, я считаю, может вам помочь. Он ведёт нечастые уровни в категорию "Другие".

Здесь ссылка, пожалуйста, дайте мне знать, если это поможет.

[факторизуются()] [1] https://github.com/greenpat/R-Convenience/blob/master/factorize.R

(воспроизведено ниже)

# This function takes a vector x and returns a factor representation of the same vector.
# The key advantage of factorize is that you can assign levels for infrequent categories,
# as well as empty and NA values. This makes it much easier to perform
# multidimensional/thematic analysis on your largest population subsets.
factorize <- function(
    x,  # vector to be transformed
    min_freq = .01,  # all levels < this % of records will be bucketed
    min_n = 1,  # all levels < this # of records will be bucketed
    NA_level = '(missing)',  # level created for NA values
    blank_level = '(blank)',  # level created for "" values
    infrequent_level = 'Other',  # level created for bucketing rare values
    infrequent_can_include_blank_and_NA = F,  # default NA and blank are not bucketed
    order = T,  # default to ordered
    reverse_order = F  # default to increasing order
) {
    if (class(x) != 'factor'){
        x <- as.factor(x)
    }
    # suspect this is faster than reassigning new factor object
    levels(x) <- c(levels(x), NA_level, infrequent_level, blank_level)

    # Swap out the NA and blank categories
    x[is.na(x)] <- NA_level
    x[x == ''] <- blank_level

    # Going to use this table to reorder
    f_tb <- table(x, useNA = 'always')

    # Which levels will be bucketed?
    infreq_set <- c(
        names(f_tb[f_tb < min_n]),
        names(f_tb[(f_tb/sum(f_tb)) < min_freq])
    )

    # If NA and/or blank were infrequent levels above, this prevents bucketing
    if(!infrequent_can_include_blank_and_NA){
        infreq_set <- infreq_set[!infreq_set %in% c(NA_level, blank_level)]
    }

    # Relabel all the infrequent choices
    x[x %in% infreq_set] <- infrequent_level

    # Return the reordered factor
    reorder(droplevels(x), rep(1-(2*reverse_order),length(x)), FUN = sum, order = order)
}

Ответ 2

Не могли бы вы использовать dplyr и получить другой результат? Например, я установил некоторые (маленькие) поддельные данные, а затем определит различные уровни alpha. Я не знаю, насколько это хорошо.

test <- data.frame(alpha=sample(c('a', 'b', 'c'), 100000, replace=TRUE), 
                  num=runif(100000))

uniqueAlpha <- distinct(select(test, alpha))

Ответ 3

Возможно, я пропущу точку, но если это объект data.table, вы можете использовать это, чтобы суммировать подсчеты:

da[,.N, by=UPC]

Если это работает, уникальными значениями будут:

unique <- da[,.N, by=UPC]$UPC
length(unique)

Вы также можете группировать несколько столбцов:

da[,.N,by=.(A,B,C,..)]

Ответ 4

В качестве альтернативы вы также можете использовать дублируемую функцию.

my_data <- data.frame(a=c(1,1,2,2,3,3),
                b=c("a","a","a","b","b","c")) 

New_data <- my_data[!duplicated(my_data$a),]

Дублированная функция возвращает логический вектор на основе дублированных значений, используя отрицание, мы получили желаемые результаты.

Ответ 5

Не уверен, что это решит проблему, но вы можете проверить пакет Hadley Wickham forcats:

library(forcats)
fct_count(da$UPC)