Что такое слабый ученик?

Я хочу сравнить разные частоты ошибок разных классификаторов с частотой ошибок от слабого ученика (лучше, чем случайное угадывание). Итак, мой вопрос в том, что представляет собой несколько вариантов простого, легкого для обработки слабого ученика? Или я понимаю концепцию некорректно и является слабым учеником, просто любым эталоном, который я выбираю (например, линейная регрессия)?

Ответ 1

лучше, чем случайное угадывание

Это в основном единственное требование для слабого ученика. Пока вы можете последовательно бить случайные догадки, любой истинный алгоритм ускорения сможет повысить точность финального ансамбля. Какой слабый ученик, которого вы должны выбрать, - это компромисс между тремя факторами:

Предвзятость модели. Более низкое смещение почти всегда лучше, но вы не хотите выбирать что-то, что будет набирать (да, повышение может и делает наложение)
Время обучения для слабого ученика. Как правило, мы хотим быстро узнать слабого ученика, поскольку мы собираемся построить несколько сотен (или тысяч) из них.
Время прогнозирования для нашего слабого ученика. Если мы используем модель с низкой скоростью предсказания, наш ансамбль из них будет в несколько сотен раз медленнее!

Классический слабый ученик - это дерево решений. Изменяя максимальную глубину дерева, вы можете управлять всеми тремя факторами. Это делает их невероятно популярными для повышения. То, что вы должны использовать, зависит от вашей индивидуальной проблемы, но деревья решений - хорошая отправная точка.

ПРИМЕЧАНИЕ. До тех пор, пока алгоритм поддерживает взвешенные экземпляры данных, любой алгоритм может использоваться для повышения. Приглашенный оратор в моем университете поддерживал 5-слойные нейронные сети для своей работы в вычислительной биологии.

Ответ 2

Слабые ученики в основном являются порогами для каждой функции. Одним простым примером является одноуровневое дерево решений, называемое решение пень, применяемое в мешках или повышении. Он просто выбирает порог для одной функции и разбивает данные на этом пороге (например, чтобы определить, является ли цветок радужной оболочки Iris versicolor или Iris virginica на основе ширина лепестка). Затем он обучается этой специфической функции путем упаковки или AdaBoost.