Недавно я изучал обучение под наблюдением и обучение без учителя. Из теории я знаю, что контролируемый означает получение информации из помеченных наборов данных, а неконтролируемый означает кластеризацию данных без каких-либо меток.
Но проблема в том, что я всегда запутываюсь, чтобы определить, является ли данный пример обучением под наблюдением или обучением без присмотра во время учебы.
Кто-нибудь может привести пример из жизни?
Контролируемое обучение:
Пример:
Классификация: Машина обучена классифицировать что-то в некоторый класс.
- классифицирует, есть ли у пациента заболевание или нет
- классифицировать, является ли электронная почта спамом или нет
Регрессия: Машина обучена прогнозировать некоторые значения, такие как цена, вес или рост.
- прогнозирование цены дома/недвижимости
- прогнозирование рыночной цены акций
Обучение без учителя:
Пример:
Кластеризация: проблема кластеризации - это то, где вы хотите обнаружить присущие группировки в данных
- такие как группировка клиентов по покупательскому поведению
Ассоциация: проблема изучения правил ассоциации - это то, где вы хотите найти правила, которые описывают большие части ваших данных
- такие как люди, которые покупают X, также склонны покупать Y
Подробнее: Алгоритмы машинного обучения под наблюдением и без присмотра
Управленческое обучение
Это просто, и вы сделали бы это несколько раз, например:
Исходя из прошлой информации о спамах, отфильтруйте новый входящий адрес электронной почты в Входящие (обычный) или Папка нежелательной почты (Спам)
Системы биометрической посещаемости или банкоматов и т.д., в которых вы обучаете машину после пары входных данных (вашей биометрической идентификации - будь то большой палец или радужка или лепесток уха и т.д.), машина может подтвердить ваш будущий ввод и идентифицировать вас.
Неконтролируемое обучение
Друг приглашает вас на свою вечеринку, где вы встретите совершенно незнакомых людей. Теперь вы классифицируете их, используя неконтролируемое обучение (без предварительного знания), и эта классификация может быть основана на полу, возрастной группе, одевании, образовательной квалификации или любым другим способом. Почему это обучение отличается от обучения под руководством? Поскольку вы не использовали никаких прошлых/предварительных знаний о людях и классифицировали их "на ходу".
НАСА обнаруживает новые небесные тела и находит их отличными от ранее известные астрономические объекты - звезды, планеты, астероиды, черных дыр и т.д. (т.е. он не знает об этих новых телах) и классифицирует их так, как хотелось бы (расстояние от Млечного пути, интенсивность, сила тяготения, красное/синее смещение или что-то еще)
Предположим, что вы никогда не видели матч с крикетом и не случайно смотрите видео в Интернете, теперь вы можете классифицировать игроков на основе другого критерия: Игроки, носящие одинаковые наборы, находятся в одном классе, Игроки один стиль - в одном классе (бэтсмен, котелок, полевые) или на основе игры (RH vs LH) или любым другим способом, который вы могли бы наблюдать [и классифицировать].
Мы проводим опрос 500 вопросов о прогнозировании уровня IQ студентов в колледже. Поскольку этот вопросник слишком велик, поэтому после 100 студентов администрация решает обрезать вопросник до меньшего количества вопросов, и для этого мы используем некоторую статистическую процедуру, например PCA, чтобы обрезать его.
Я надеюсь, что эти пара примеров объясняют разницу в деталях.
Управленческое обучение
Наблюдаемое обучение довольно распространено в задачах классификации, потому что цель часто заключается в том, чтобы заставить компьютер изучить систему классификации, которую мы создали. Признание цифр, еще раз, является распространенным примером классификации обучения. В более общем плане, классификация обучения подходит для любой проблемы, когда определение классификации полезно и классификация легко определить. В некоторых случаях даже необязательно давать предопределенные классификации каждому экземпляру проблемы, если агент может разработать классификацию для себя. Это будет примером неконтролируемого обучения в контексте классификации.
Надзорное обучение является наиболее распространенным методом обучения нейронных сетей и деревьев решений. Оба эти метода сильно зависят от информации, предоставленной заранее определенными классификациями. В случае нейронных сетей классификация используется для определения ошибки сети, а затем корректирует сеть для ее минимизации, а в деревьях решений используются классификации для определения того, какие атрибуты предоставляют наибольшую информацию, которая может быть использована для решения классическая головоломка. Мы рассмотрим оба эти вопроса более подробно, но на данный момент достаточно знать, что оба этих примера процветают при наличии некоторого "надзора" в форме предопределенных классификаций.
Распознавание речи с использованием скрытых марковских моделей и байесовских сетей также зависит от некоторых элементов контроля, чтобы, как обычно, корректировать параметры, чтобы минимизировать ошибку на данных входах.
Обратите внимание на то, что важно здесь: в проблеме классификации цель алгоритма обучения состоит в том, чтобы минимизировать ошибку по отношению к данным входам. Эти входы, которые часто называют "обучающим набором", являются примерами, из которых агент пытается учиться. Но хорошо учиться на тренировочном наборе - это не всегда лучшая вещь. Например, если бы я пытался научить вас эксклюзивному или, но только показал вам комбинации, состоящие из одного истинного и одного ложного, но никогда не оба ложных или оба истинных, вы могли бы узнать правило, что ответ всегда верен. Аналогичным образом, с алгоритмами машинного обучения, общая проблема заключается в переполнении данных и, по сути, запоминании учебного набора, а не в изучении более общей методики классификации.
Неконтролируемое обучение
Неконтролируемое обучение кажется намного сложнее: цель состоит в том, чтобы компьютер научился делать то, что мы не говорим, как это сделать! На самом деле существует два подхода к неконтролируемому обучению. Первый подход заключается в том, чтобы научить агента не давать явные классификации, а использовать какую-то систему вознаграждения для указания успеха. Обратите внимание, что этот тип обучения, как правило, вписывается в рамки проблем решения, поскольку цель состоит не в том, чтобы производить классификацию, а в принятии решений, которые максимизируют вознаграждения. Этот подход хорошо обобщается в реальном мире, где агенты могут быть вознаграждены за совершение определенных действий и наказание за других.
Часто форма обучения подкрепления может использоваться для неконтролируемого обучения, когда агент основывает свои действия на предыдущих вознаграждениях и наказаниях, не обязательно даже изучая какую-либо информацию о точном способе воздействия своих действий на мир. В некотором смысле, вся эта информация не нужна, потому что, изучая функцию вознаграждения, агент просто знает, что делать без какой-либо обработки, потому что он знает точное вознаграждение, которое он ожидает достичь за каждое действие, которое он может предпринять. Это может быть чрезвычайно полезно в тех случаях, когда расчет любой возможности очень трудоемкий (даже если известны все вероятности перехода между мировыми государствами). С другой стороны, это может быть очень трудоемким для изучения, по существу, проб и ошибок.
Но такой вид обучения может быть сильным, потому что он не предполагает предварительной классификации примеров. В некоторых случаях, например, наши классификации могут быть не самыми лучшими. Одним из ярких примеров является то, что традиционная мудрость в игре в нарды была повернута на голову, когда серия компьютерных программ (нейро-гаммон и TD-gammon), которые прошли через неконтролируемое обучение, стала сильнее, чем лучшие человеческие шахматисты, просто играя себя вновь и вновь. Эти программы открыли некоторые принципы, которые удивили экспертов в нардах и показали лучшие результаты, чем программы нарды, подготовленные по предварительно классифицированным примерам.
Второй тип неконтролируемого обучения называется кластеризацией. В этом типе обучения цель заключается не в том, чтобы максимизировать функцию полезности, а просто для поиска сходства в данных обучения. Предположение часто обнаруживается, что обнаруженные кластеры будут достаточно хорошо соответствовать интуитивной классификации. Например, кластеризация людей, основанная на демографии, может привести к кластеризации состоятельных в одной группе, а бедных - в другой.
Контролируемое обучение имеет ввод и правильный вывод. Например: у нас есть данные, понравился ли фильм человеку или нет. На основе опроса людей и сбора их ответов, нравится ли им фильм или нет, мы собираемся предсказать, будет ли фильм снят или нет.
Давайте посмотрим на картинку в ссылке выше. Я посетил рестораны, отмеченные красным кружком. Рестораны, которые я не посещал, отмечены синим кружком.
Теперь, если у меня есть два ресторана на выбор, A и B, помеченные зеленым цветом, какой из них я выберу?
Просто. Мы можем классифицировать данные линейно на две части. Это означает, что мы можем нарисовать линию, разделяющую красный и синий круг. Посмотрите на картинку в ссылке ниже:
Теперь, мы можем с некоторой уверенностью сказать, что шансы на мое посещение B больше, чем A. Это случай контролируемого обучения.
Неконтролируемое обучение имеет вклад. Предположим, у нас есть водитель такси, который может принять или отклонить заказы. Мы нанесли на карту его принятое местоположение бронирования с синим кружком и показано ниже:
Теперь водитель такси получил два заказа A и B; Кого он примет? Если мы наблюдаем за сюжетом, мы можем видеть, что его принятое бронирование показывает кластер в левом нижнем углу. Это может быть показано на картинке ниже:
Контролируемое обучение: в простых терминах у вас есть определенные входы и ожидаются некоторые результаты. Например, у вас есть данные о фондовом рынке, которые являются предыдущими данными, и вы можете получить результаты текущего ввода в течение следующих нескольких лет, дав некоторые инструкции, которые могут дать вам необходимые результаты.
Обучение без присмотра: у вас есть такие параметры, как цвет, тип, размер чего-либо, и вы хотите, чтобы программа предсказывала, что это фрукт, растение, животное или что-то еще, это то, с чем приходит Supervised. входы.
Использование слова "обучение" при описании кластеризации или регрессии является неправильным, так как "обучения" вообще не существует. Система просто идентифицирует функции в наборе данных, но не может ничего сделать с результатами или улучшить этот процесс с течением времени - нет хранения информации и нет никаких входных данных, чтобы сказать системе, чтобы помочь ей работать лучше.
Генеративные Состязательные Сети могут быть единственным текущим примером истинного обучения без присмотра.