Визуальная структура data.frame: местоположения NA и многое другое

Я хочу представить структуру кадра данных (или матрицы, или data.table независимо) на одном участке с цветовым кодированием. Я думаю, это может быть очень полезно для многих людей, обрабатывающих различные типы данных, чтобы визуализировать их одним взглядом.

Возможно, кто-то уже разработал пакет для этого, но я не смог найти его (просто this). Итак, вот грубый макет моего "видения", своего рода тепловая карта, показывающая цветовые коды:

местоположения NA,
класс переменных (коэффициенты (сколько уровней?), числовые (с градиентом цвета, нулями, выбросами...), строки)
Размеры
и т.д.....

До сих пор я только что написал функцию, чтобы нарисовать расположения NA, как это:

ggSTR = function(data, alpha=0.5){
  require(ggplot2)
  DF <- data
  if (!is.matrix(data)) DF <- as.matrix(DF)

  to.plot <- cbind.data.frame('y'=rep(1:nrow(DF), each=ncol(DF)), 
                              'x'=as.logical(t(is.na(DF)))*rep(1:ncol(DF), nrow(DF)))
  size <- 20 / log( prod(dim(DF)) )  # size of point depend on size of table
  g <- ggplot(data=to.plot) + aes(x,y) +
        geom_point(size=size, color="red", alpha=alpha) +
        scale_y_reverse() + xlim(1,ncol(DF)) +
        ggtitle("location of NAs in the data frame")

  pc <- round(sum(is.na(DF))/prod(dim(DF))*100, 2) # % NA
  print(paste("percentage of NA data: ", pc))

  return(g)
}

Он принимает данные data.frame во вводе и возвращает это изображение:

Это слишком большая задача для достижения первого изображения.

Ответ 1

В конечном итоге я придумал script для построения большинства спецификаций. Я представляю его здесь, некоторые могут быть заинтересованы, хотя синтаксис далек от того, чтобы быть "элегантным"!

Обратите внимание, что основная функция "colstr" имеет 3 аргумента: - вход (df или матрица или даже один вектор) - максимальное количество строк для графика - возможность экспорта в png в рабочий каталог.

вывод дает, например:

# PACKAGES 
require(ggplot2)
require(RColorBrewer)
require(reshape2)

# Test if an object is empty (data.frame, matrix, vector)
is.empty = function (input) {
  df <- data.frame(input)
  (is.null(df) || nrow(df) == 0 || ncol(df) == 0 || NROW(df) == 0)
}

#  min/max normalization (R->[0;1]), (all columns must be numerical)
minmax <- function(data, ...) {
  .minmax = function(x) (x-min(x, ...))/(max(x, ...)-min(x, ...))
  # find constant columns, replaces with O.5:
  constant <- which(apply(data, 2, function(u) {min(u, ...)==max(u, ...)}))
  if(is.vector(data)) {
    res <- .minmax(data)
  } else {
    res <- apply(data, 2, .minmax)
  }
  res[, constant] <- 0.5
  return(res)
}

# MAIN function
colstr = function(input, size.max=500, export=FALSE) {
  data      <- as.data.frame(input)
  if (NCOL(data) == 1) {
    data    <- cbind(data, data)
    message("warning: input data is a vector")
  }
  miror     <- data # miror data.frame will contain a coulour coding for all cells
  wholeNA   <- which(sapply(miror, function(x) all(is.na(x))))
  whole0    <- which(sapply(miror, function(x) all(x==0)))
  numeric   <- which(sapply(data, is.numeric))
  character <- which(sapply(data, is.character))
  factor    <- which(sapply(data, is.factor))
  # characters to code
  miror[character] <- 12 
  # factor coding
  miror[factor] <- 11
  # min/max normalization, coerce it into 9 classes.
  if (!is.empty(numeric)) {miror[numeric] <- minmax(miror[numeric], na.rm=T)}
  miror[numeric] <- data.frame(lapply(miror[numeric], function(x) cut(x, breaks=9, labels=1:9))) # 9 classes numériques
  miror <- data.frame(lapply(miror, as.numeric))
  # Na coding
  miror[is.na(data)] <- 10
  miror[whole0]    <- 13
  # color palette vector
  mypalette <- c(brewer.pal(n=9, name="Blues"), "red", "green", "purple", "grey")
  colnames <- c(paste0((1:9)*10, "%"), "NA", "factor (lvls)", "character", "zero")
  # subset if too large
  couper <- nrow(miror) > size.max
  if (couper) miror <- head(miror, size.max)
  # plot
  g <- ggplot(data=melt(as.matrix(unname(miror)))) + 
    geom_tile(aes(x=Var2, y=Var1, fill=factor(value, levels=1:13))) +
    scale_fill_manual("legend", values=mypalette, labels=colnames, drop=FALSE) +
    ggtitle(paste("graphical structure of", deparse(substitute(input)), paste(dim(input), collapse="X"), ifelse(couper, "(truncated)", ""))) +
    xlab("columns of the dataframe") + ylab("rows of the dataframe") +
    geom_point(data=data.frame(x=0, y=1:NROW(input)), aes(x,y), alpha=1-all(row.names(input)==seq(1, NROW(input)))) +
    scale_y_reverse(limits=c(min(size.max, nrow(miror)), 0))
  if (!is.empty(factor)) {
    g <- g + geom_text(data=data.frame(x     = factor, 
                                       y     = round(runif(length(factor), 2, NROW(miror)-2)), 
                                       label = paste0("(", sapply(data[factor], function(x) length(levels(x))), ")")),
                       aes(x=x, y=y, label=label))
  }
  if (export) {png("colstr_output.png"); print(g); dev.off()}
  return(g)
}

Ответ 2

Я знаю, что есть пакет, который легко показывает отсутствующие значения, но мой google-fu на данный момент не очень хорош. Однако я нашел функцию под названием tableplot, которая даст вам большой обзор вашего фрейма данных. Я не знаю, покажет ли вам отсутствующие данные.

Здесь ссылка:

http://www.ancienteco.com/2012/05/quickly-visualize-your-whole-dataset.html

Ответ 3

Вы столкнулись с службой отпечатка CSV? Он создает похожий образ, хотя и не со всеми деталями, которые вы указали выше, и не основанными на R. Существует версия R аналогичной идеи на R-ohjelmointi.org, но текст находится на финском языке. Основная функция csvSormenjalki(). Может быть, это можно было бы адаптировать дальше, чтобы выполнить все ваше видение?

Ответ 4

Вы можете попробовать visdat package (https://github.com/ropensci/visdat), который показывает значения NA и типы данных в графике

install.packages("visdat")
library(visdat)
vis_dat(airquality)