Подтвердить что ты не робот

Частичный монтаж Sklearn SGDClassifier

Я пытаюсь использовать SGD для классификации большого набора данных. Поскольку данные слишком велики, чтобы вписаться в память, я бы хотел использовать метод partial_fit для обучения классификатора. Я выбрал образец набора данных (100 000 строк), который помещается в память для проверки соответствия по сравнению с partial_fit:

from sklearn.linear_model import SGDClassifier

def batches(l, n):
    for i in xrange(0, len(l), n):
        yield l[i:i+n]

clf1 = SGDClassifier(shuffle=True, loss='log')
clf1.fit(X, Y)

clf2 = SGDClassifier(shuffle=True, loss='log')
n_iter = 60
for n in range(n_iter):
    for batch in batches(range(len(X)), 10000):
        clf2.partial_fit(X[batch[0]:batch[-1]+1], Y[batch[0]:batch[-1]+1], classes=numpy.unique(Y))

Затем я тестирую оба классификатора с одинаковым набором тестов. В первом случае я получаю точность 100%. Насколько я понимаю, SGD по умолчанию пропускает 5 раз над данными обучения (n_iter = 5).

Во втором случае я должен пройти 60 раз над данными, чтобы достичь такой же точности.

Почему это различие (5 против 60)? Или я делаю что-то неправильно?

4b9b3361

ОТВЕТЫ

Ответ 1

Наконец-то я нашел ответ. Вам нужно перетасовать данные обучения между каждой итерацией, так как установка shuffle = True при создании экземпляра модели НЕ будет перетасовывать данные при использовании partial_fit (это применимо только к fit). Примечание: было бы полезно найти эту информацию на странице sklearn.linear_model.SGDClassifier.

Измененный код выглядит следующим образом:

from sklearn.linear_model import SGDClassifier
import random
clf2 = SGDClassifier(loss='log') # shuffle=True is useless here
shuffledRange = range(len(X))
n_iter = 5
for n in range(n_iter):
    random.shuffle(shuffledRange)
    shuffledX = [X[i] for i in shuffledRange]
    shuffledY = [Y[i] for i in shuffledRange]
    for batch in batches(range(len(shuffledX)), 10000):
        clf2.partial_fit(shuffledX[batch[0]:batch[-1]+1], shuffledY[batch[0]:batch[-1]+1], classes=numpy.unique(Y))