У меня огромный массив данных 5600 X 6592, и я хочу удалить любые переменные, которые коррелируют друг с другом более 0,99. Я знаю, как это сделать долгий путь, шаг за шагом, т.е. формирование корреляционной матрицы, округление значений, удаляя похожие и используя индексирование, чтобы снова получить мои "уменьшенные" данные.
cor(mydata)
mydata <- round(mydata,2)
mydata <- mydata[,!duplicated (mydata)]
## then do the indexing...
Я хотел бы знать, можно ли это сделать с помощью короткой команды или некоторой расширенной функции. Я изучаю, как использовать мощные инструменты на языке R, что позволяет избежать таких длинных ненужных команд
Я думал о чем-то вроде
mydata <- mydata[, which(apply(mydata, 2, function(x) !duplicated(round(cor(x),2))))]
Извините, я знаю, что приведенная выше команда не работает, но я надеюсь, что смогу это сделать.
данные воспроизведения, которые относятся к вопросу:
mydata <- structure(list(V1 = c(1L, 2L, 5L, 4L, 366L, 65L, 43L, 456L, 876L,
78L, 687L, 378L, 378L, 34L, 53L, 43L), V2 = c(2L, 2L, 5L, 4L,
366L, 65L, 43L, 456L, 876L, 78L, 687L, 378L, 378L, 34L, 53L,
41L), V3 = c(10L, 20L, 10L, 20L, 10L, 20L, 1L, 0L, 1L, 2010L,
20L, 10L, 10L, 10L, 10L, 10L), V4 = c(2L, 10L, 31L, 2L, 2L, 5L,
2L, 5L, 1L, 52L, 1L, 2L, 52L, 6L, 2L, 1L), V5 = c(4L, 10L, 31L,
2L, 2L, 5L, 2L, 5L, 1L, 52L, 1L, 2L, 52L, 6L, 2L, 3L)), .Names = c("V1",
"V2", "V3", "V4", "V5"), class = "data.frame", row.names = c(NA,
-16L))
Большое спасибо
