Что такое индуктивный уклон в машинном обучении?

Ответ 1

Каждый алгоритм машинного обучения с любой способностью обобщать помимо обучающих данных, которые он видит, имеет некоторый тип индуктивного смещения, который является предположениями, сделанными моделью для изучения целевой функции и обобщения за пределами обучающих данных.

Например, в линейной регрессии модель предполагает, что выходная или зависимая переменная связана с независимой переменной линейно (в весах). Это индуктивное смещение модели.

Ответ 2

Индуктивное смещение - это набор допущений, которые учащийся использует для прогнозирования результатов, учитывая входные данные, с которыми он еще не сталкивался.

Ответ 3

Согласно определению Тома Митчелла,

Индуктивный уклон учащегося - это набор дополнительных допущений, достаточных для обоснования его индуктивных выводов как дедуктивных выводов.

Я не мог полностью понять вышеприведенное определение, поэтому я искал Википедию и смог обобщить определение в терминах непрофессионала.

Учитывая набор данных, какую модель обучения (= индуктивное смещение) следует выбрать?

Индуктивный уклон имеет некоторые предварительные предположения о задачах. Нет единого смещения, которое лучше всего подходит для всех проблем, и было предпринято много исследований, чтобы автоматически обнаружить индуктивное смещение.

Ниже приведен список распространенных индуктивных ошибок в алгоритмах машинного обучения.

Максимальная условная независимость: если гипотеза может быть сформулирована в байесовской структуре, попытайтесь максимизировать условную независимость. Это смещение, используемое в наивном байесовском классификаторе.

Минимальная ошибка перекрестной проверки: при попытке выбора среди гипотез выберите гипотезу с наименьшей ошибкой перекрестной проверки. Хотя перекрестная проверка может показаться свободной от предвзятости, теоремы "без бесплатного обеда" показывают, что перекрестная проверка должна быть предвзятой.

Максимальное поле: при рисовании границы между двумя классами старайтесь максимально увеличить ширину границы. Это смещение, используемое в машинах опорных векторов. Предполагается, что различные классы имеют тенденцию разделяться широкими границами.

Минимальная длина описания: при формировании гипотезы попытайтесь минимизировать длину описания гипотезы. Предполагается, что более простые гипотезы, скорее всего, будут верными. Смотри бритву Оккама.

Минимальные функции: если нет убедительных доказательств полезности функции, ее следует удалить. Это предположение лежит в основе алгоритмов выбора признаков.

Ближайшие соседи: предположим, что большинство случаев в небольшой окрестности в пространстве признаков принадлежит одному и тому же классу. Учитывая случай, для которого класс неизвестен, предположите, что он принадлежит к тому же классу, что и большинство в его непосредственной близости. Это смещение, используемое в алгоритме k-ближайших соседей. Предполагается, что случаи, которые находятся рядом друг с другом, как правило, принадлежат к одному и тому же классу.

Более подробная информация здесь: Индуктивный уклон - Как обобщить новые данные

Ответ 4

Я думаю, что это набор предположений, с помощью которых люди могут прогнозировать из исходных данных, которые не находятся в наборе данных, которые мы имеем более правильно. Для модели необходимо иметь некоторое индуктивное смещение, потому что только с ней модель может быть более полезна для большего количества данных. Цель модели состоит в том, чтобы вписаться в большую часть данных, но не только в данные выборки. Поэтому индуктивное смещение важно.

Ответ 5

Индуктивное смещение можно рассматривать как набор предположений, которые мы делаем в отношении области, о которой мы пытаемся узнать.

Технически, когда мы пытаемся выучить Y из X и, изначально, пространство гипотез (различные функции для обучения X-> Y) для Y бесконечно. Чтобы чему-то научиться, нам нужно уменьшить сферу. Это делается в форме наших убеждений/предположений о пространстве гипотез, также называемых индуктивным смещением.

Благодаря введению этих допущений мы ограничиваем пространство наших гипотез, а также получаем возможность поэтапного тестирования и улучшения данных в виде гиперпараметров.

Примеры индуктивного смещения -

• Линейная регрессия: Y изменяется линейно по X (по параметрам X).
• Логистическая регрессия: существует гиперплоскость, которая разделяет отрицательные/положительные примеры
• Нейронные сети: грубо говоря, Y - это некоторая нелинейная функция X (нелинейность зависит от функций активации, топологии и т.д.)