Извлеките членство/классификацию ярлыков из разрезанной дендрограммы в R (то есть: функция разреза для дендрограммы)

Я пытаюсь извлечь классификацию из дендрограммы в R, которая у меня cut на определенной высоте. Это легко сделать с cutree на объекте hclust, но я не могу понять, как это сделать на объекте dendrogram.

Кроме того, я не могу просто использовать свои кластеры из исходного hclust, потому что (разочаровывающе), нумерация классов из cutree отличается от нумерации классов с cut.

hc <- hclust(dist(USArrests), "ave")

classification<-cutree(hc,h=70)

dend1 <- as.dendrogram(hc)
dend2 <- cut(dend1, h = 70)


str(dend2$lower[[1]]) #group 1 here is not the same as
classification[classification==1] #group 1 here

Есть ли способ получить классификацию для сопоставления друг с другом или, альтернативно, извлечь более ранние членства из объекта dendrogram (возможно, с некоторым умным использованием dendrapply?) в формате, более похожим на то, что cutree дает?

Ответ 1

Я бы предложил вам использовать функцию cutree из пакета dendextend. Он включает в себя метод дендрограммы (т.е. dendextend:::cutree.dendrogram).

Вы можете узнать больше о пакете из своей вводной виньетки.

Я должен добавить, что, хотя ваша функция (classify) хороша, есть несколько преимуществ для использования cutree из dendextend:

Он также позволяет вам использовать конкретный k (количество кластеров), а не только h (определенная высота).
Это согласуется с результатом, который вы получите от cutree на hclust (classify не будет).
Он часто будет быстрее.

Вот примеры использования кода:

# Toy data:
hc <- hclust(dist(USArrests), "ave")
dend1 <- as.dendrogram(hc)

# Get the package:
install.packages("dendextend")
library(dendextend)

# Get the package:
cutree(dend1,h=70) # it now works on a dendrogram
# It is like using:
dendextend:::cutree.dendrogram(dend1,h=70)

Кстати, на основе этой функции dendextend позволяет пользователю делать более классные вещи, такие как цветные ветки/метки, основанные на разрезании дендрограммы:

dend1 <- color_branches(dend1, k = 4)
dend1 <- color_labels(dend1, k = 5)
plot(dend1)

Наконец, вот еще один код для демонстрации моих других моментов:

# This would also work with k:
cutree(dend1,k=4)

# and would give identical result as cutree on hclust:
identical(cutree(hc,h=70)  , cutree(dend1,h=70)  )
   # TRUE

# But this is not the case for classify:
identical(classify(dend1,70)   , cutree(dend1,h=70)  )
   # FALSE


install.packages("microbenchmark")
require(microbenchmark)
microbenchmark(classify = classify(dend1,70),
               cutree = cutree(dend1,h=70)  )
#    Unit: milliseconds
#        expr      min       lq   median       uq       max neval
#    classify  9.70135  9.94604 10.25400 10.87552  80.82032   100
#      cutree 37.24264 37.97642 39.23095 43.21233 141.13880   100
# 4 times faster for this tree (it will be more for larger trees)

# Although (if to be exact about it) if I force cutree.dendrogram to not go through hclust (which can happen for "weird" trees), the speed will remain similar:
microbenchmark(classify = classify(dend1,70),
               cutree = cutree(dend1,h=70, try_cutree_hclust = FALSE)  )
# Unit: milliseconds
#        expr       min        lq    median       uq      max neval
#    classify  9.683433  9.819776  9.972077 10.48497 29.73285   100
#      cutree 10.275839 10.419181 10.540126 10.66863 16.54034   100

Если вы думаете о том, как улучшить эту функцию, пожалуйста, исправьте ее здесь:

https://github.com/talgalili/dendextend/blob/master/R/cutree.dendrogram.R

Я надеюсь, что вы или другие найдете этот ответ полезным.

Ответ 2

В итоге я создал функцию для этого, используя dendrapply. Это не изящно, но работает

classify <- function(dendrogram,height){

#mini-function to use with dendrapply to return tip labels
 members <- function(n) {
    labels<-c()
    if (is.leaf(n)) {
        a <- attributes(n)
        labels<-c(labels,a$label)
    }
    labels
 }

 dend2 <- cut(dendrogram,height) #the cut dendrogram object
 branchesvector<-c()
 membersvector<-c()

 for(i in 1:length(dend2$lower)){                             #for each lower tree resulting from the cut
  memlist <- unlist(dendrapply(dend2$lower[[i]],members))     #get the tip lables
  branchesvector <- c(branchesvector,rep(i,length(memlist)))  #add the lower tree identifier to a vector
  membersvector <- c(membersvector,memlist)                   #add the tip labels to a vector
 }
out<-as.integer(branchesvector)                               #make the output a list of named integers, to match cut() output
names(out)<-membersvector
out
}

Использование функции позволяет понять, что проблема заключается в том, что cut назначает имена категорий в алфавитном порядке, а cutree присваивает имена ветвей слева направо.

hc <- hclust(dist(USArrests), "ave")
dend1 <- as.dendrogram(hc)

classify(dend1,70) #Florida 1, North Carolina 1, etc.
cutree(hc,h=70)    #Alabama 1, Arizona 1, Arkansas 1, etc.