Что такое слабо контролируемое обучение (бутстрапирование)?

Ответ 1

Вкратце: в обучении со слабым контролем вы используете ограниченный объем помеченных данных.

Как вы выбираете эти данные, и что именно вы делаете с ними, зависит от метода. Как правило, вы используете ограниченное количество данных, которые легко получить и/или которые имеют реальное значение, а затем выучите все остальное. Я считаю, что начальная загрузка является методом, который можно использовать в обучении со слабым контролем, но, как показывает комментарий Бена, это не является общепринятым мнением.

См., Например, эту диссертацию для хорошего обзора (но я не уверен, является ли общепринятым различие между полууправляемым и слабо контролируемым обучением), в нем говорится следующее о начальной загрузке/слабо контролируемом обучении :

Начальная загрузка, также называемая самообучением, является формой обучения, которая предназначен для использования даже меньше учебных примеров, поэтому иногда называется слабо контролируемым. Начальная загрузка начинается с нескольких тренировок примеры, обучает классификатор, и использует положительный примеры, приведенные этим классификатором для переподготовки. Как набор учебные примеры растут, классификатор улучшается при условии, что не слишком много отрицательных примеров ошибочно классифицируются как положительные, что может привести к ухудшению производительности.

Например, в случае тегирования части речи обычно тренируют тегер HMM (или с максимальной энтропией или что-то еще) на 10000 слов, каждое с его POS. В случае слабо контролируемых тегов, вы можете просто использовать очень маленький корпус из 100 слов. У вас есть какой-то тегер, вы используете его, чтобы пометить корпус из 1000 слов, вы тренируете этот тегер и используете его, чтобы пометить еще больший корпус. Очевидно, что вы должны быть умнее, чем это, но это хорошее начало. (Более подробный пример загрузочного тегера см. в этой статье)

Примечание: обучение под слабым контролем может также относиться к обучению с шумными метками (такие метки могут, но не обязательно, быть результатом начальной загрузки)

Ответ 2

• Слабый контроль - это надзор со звуковыми метками. Например, bootstrapping, где процедура начальной загрузки может ошибочно привести некоторые примеры.
• Дистанционный контроль относится к сигналам тренировки, которые непосредственно не маркируют примеры; например, изучение семантических парсеров из наборов данных вопросов и ответов.
• Полуподдерживаемое обучение - это когда у вас есть набор данных, который частично помечен и частично не помечен.
• Полноценное обучение - это когда у вас есть метки истинности истины для каждого дататопа.

Ответ 3

Эта статья [1] определяет 3 типичных типа слабых наблюдений:

• неполный надзор, когда только подмножество данных обучения дается с метками; (я думаю, это то же самое, что и полу-наблюдение)
• неточный надзор, когда данные обучения приведены только с грубыми метками;
• и неточный надзор, когда данные ярлыки не всегда являются правдой.

[1] Чжи-Хуа Чжоу, Краткое введение в обучение со слабым контролем, Национальный научный обзор, том 5, выпуск 1, январь 2018 года, страницы 44–53, https://doi.org/10.1093/nsr/nwx106

Ответ 4

Как описано Jirka, слабое наблюдение подразумевает начальное (контролируемое) обучение на небольшом помеченном наборе данных, прогнозирование большего набора и (неконтролируемое) включение положительно идентифицированных экземпляров (или их характеристик) в модель (либо через переподготовка по расширенному набору данных или прямое обновление модели). Процесс обновления (без надзора) повторяется до тех пор, пока не будет достигнута определенная цель. Очевидно, что это может легко ошибиться, если исходный предиктор дает много ложных срабатываний, но есть определенные ситуации, в которых пространство поиска может быть ограничено, так что обобщение, полученное посредством слабого наблюдения, не выполняется (часто), а пользовательский ввод может быть (слабо) контролируют процесс обучения. Чтобы обеспечить дополнительный, очень успешный пример, не в текстовой обработке, PSI-BLAST, итерационно уточняет профиль последовательности белка, чтобы идентифицировать удаленные гомологи. Хороший обзор того, что может пойти не так с таким подходом в этом контексте, можно найти в этой статье.