Предложения по ускорению случайных лесов

Я работаю с пакетом randomForest, и, хотя он работает хорошо, это может занять много времени. У кого-нибудь есть предложения по ускорению? Я использую Windows 7 с двухъядерным процессором AMD. Я знаю, что R не является многопоточным/процессором, но было любопытно, если какой-либо из параллельных пакетов (rmpi, snow, snowfall и т.д.) Работал на вещи randomForest. Спасибо.

EDIT:

Я использую rF для некоторых классификационных работ (0 и 1). Данные содержат около 8-12 переменных столбцов, а набор для обучения - образец 10k строк, поэтому он приличный размер, но не сумасшедший. Я запускаю 500 деревьев и mtry 2, 3 или 4.

ИЗМЕНИТЬ 2: Здесь некоторый вывод:

> head(t22)
  Id Fail     CCUse Age S-TFail         DR MonInc #OpenLines L-TFail RE M-TFail Dep
1  1    1 0.7661266  45       2 0.80298213   9120         13       0  6       0   2
2  2    0 0.9571510  40       0 0.12187620   2600          4       0  0       0   1
3  3    0 0.6581801  38       1 0.08511338   3042          2       1  0       0   0
4  4    0 0.2338098  30       0 0.03604968   3300          5       0  0       0   0
5  5    0 0.9072394  49       1 0.02492570  63588          7       0  1       0   0
6  6    0 0.2131787  74       0 0.37560697   3500          3       0  1       0   1
> ptm <- proc.time()
> 
> RF<- randomForest(t22[,-c(1,2,7,12)],t22$Fail
+                    ,sampsize=c(10000),do.trace=F,importance=TRUE,ntree=500,,forest=TRUE)
Warning message:
In randomForest.default(t22[, -c(1, 2, 7, 12)], t22$Fail, sampsize = c(10000),  :
  The response has five or fewer unique values.  Are you sure you want to do regression?
> proc.time() - ptm
   user  system elapsed 
 437.30    0.86  450.97 
>

Ответ 1

В руководстве пакета foreach имеется раздел "Параллельные случайные леса" (Использование пакета foreach, раздел 5.1):

> library("foreach")
> library("doSNOW")
> registerDoSNOW(makeCluster(4, type="SOCK"))

> x <- matrix(runif(500), 100)
> y <- gl(2, 50)

> rf <- foreach(ntree = rep(250, 4), .combine = combine, .packages = "randomForest") %dopar%
+    randomForest(x, y, ntree = ntree)
> rf
Call:
randomForest(x = x, y = y, ntree = ntree)
Type of random forest: classification
Number of trees: 1000

Если мы хотим создать случайную модель леса с 1000 деревьями, а наш компьютер имеет четыре ядра, мы можем разделить проблему на четыре части, выполнив функцию randomForest четыре раза, с аргументом ntree, установленным в 250. Конечно, мы должны объединить полученные объекты randomForest, но randomForest пакет поставляется с функцией combine.

Ответ 2

Есть две опции "из коробки", которые решают эту проблему. Во-первых, пакет caret содержит метод parRF, который обрабатывает это элегантно. Я обычно использую это с 16 ядрами. Пакет randomShrubbery также использует преимущества нескольких ядер для RF на Revolution R.

Ответ 3

Почему бы вам не использовать уже параллельную и оптимизированную реализацию Random Forest? Посмотрите на SPRINT, используя MPI. http://www.r-sprint.org/

Ответ 4

Есть ли какая-то особая причина, почему вы не используете Python (а именно модули для чтения и многопроцессорности) для реализации этого? Используя joblib, я тренировал случайные леса на наборах данных такого же размера за долю времени, затрачиваемое на R. Даже без многопроцессорности, случайные леса значительно быстрее в Python. Вот краткий пример обучения RF-классификатора и перекрестной проверки в Python. Вы также можете легко извлечь функции и визуализировать деревья.

import numpy as np
from sklearn.metrics import *
from sklearn.cross_validation import StratifiedKFold
from sklearn.ensemble import RandomForestClassifier

#assuming that you have read in data with headers
#first column corresponds to response variable 
y = data[1:, 0].astype(np.float)
X = data[1:, 1:].astype(np.float)

cm = np.array([[0, 0], [0, 0]])
precision = np.array([])
accuracy = np.array([])
sensitivity = np.array([])
f1 = np.array([])
matthews = np.array([])

rf = RandomForestClassifier(n_estimators=100, max_features = 5, n_jobs = 2)

#divide dataset into 5 "folds", where classes are equally balanced in each fold
cv = StratifiedKFold(y, n_folds = 5)
for i, (train, test) in enumerate(cv):
        classes = rf.fit(X[train], y[train]).predict(X[test])
        precision = np.append(precision, (precision_score(y[test], classes)))
        accuracy = np.append(accuracy, (accuracy_score(y[test], classes)))
        sensitivity = np.append(sensitivity, (recall_score(y[test], classes)))
        f1 = np.append(f1, (f1_score(y[test], classes)))
        matthews = np.append(matthews, (matthews_corrcoef(y[test], classes)))
        cm = np.add(cm, (confusion_matrix(y[test], classes)))

print("Accuracy: %0.2f (+/- %0.2f)" % (accuracy.mean(), accuracy.std() * 2))
print("Precision: %0.2f (+/- %0.2f)" % (precision.mean(), precision.std() * 2))
print("Sensitivity: %0.2f (+/- %0.2f)" % (sensitivity.mean(), sensitivity.std() * 2))
print("F1: %0.2f (+/- %0.2f)" % (f1.mean(), f1.std() * 2))
print("Matthews: %0.2f (+/- %0.2f)" % (matthews.mean(), matthews.std() * 2))
print(cm)