Может ли эволюционный расчет быть методом обучения усилению?

Ответ 1

Существуют эволюционные методы, которые явно направлены на решение проблемы обучения подкреплению. Подполе обычно относится к названию систем классификатора обучения (LCS) или иногда к компьютерному обучению на основе генетики (GBML).

Кроме того, я не уверен, что ваш вопрос имеет очень четкий ответ. В основном это сводится к тому, "что такое машинное обучение?" Там нет канона, о котором мы все договорились, о том, как ответить на этот вопрос. Для некоторых EC может быть частью этого подполя. Для других это не так. Я просто пробовал несколько книг по учебникам ML с моей полки и около половины содержал материал об эволюционных методах. Я подозреваю, что 15 лет назад эта доля была бы выше, но мода меняется, а машинное обучение сейчас почти подполе статистики. Методы EC не очень хорошо подходят для этой формы.

Ответ 2

Эволюционные вычисления или эволюционные алгоритмы - это алгоритмы оптимизации, которые при применении к нейронной сети (как в нейроэволюции), безусловно, могут быть классифицированы как форма обучения арматуре, хотя она немного отличается от обычной подкрепления алгоритм обучения.

Как правило, в эволюционных алгоритмах, таких как генетические алгоритмы или стратегия эволюции, у вас есть целая популяция людей, которых нужно оптимизировать. Для каждого из этих людей функция качества используется для определения их "пригодности" (как в "выживании наиболее приспособленных" ), и лучшие люди выбираются для следующего поколения. Эти "родители" затем случайным образом дублируются, модифицируются, мутируются или даже рекомбинируются друг с другом - как именно это делается, немного отличается в каждом из разных алгоритмов. Наконец, эти новые мутированные и/или рекомбинированные родители формируют популяцию для следующего поколения, и процесс начинается снова, пока не будет достигнуто желаемое качество или уровень качества.

В случае нейроэволюции индивидуумы представляют собой нейронные сети, которые мутируются случайным изменением веса (тогда как в классических нейронных сетях веса обновляются в соответствии с очень точными математическими правилами) или даже изменяют их топологию, а качество индивидуумов определяется тем, насколько хорошо они выполняют данные обучения.

Извините, никакой твердой научной справки здесь, но возможно это все еще помогло расчистить вещи немного.

Ответ 3

Принципиальное различие между обучением подкреплением [1] и эволюционным вычислением [2] заключается в том, что RL в исходном смысле применяется к агенту в среде, изучая политику (см. также статью Википедии о усиление обучения), в то время как EC является более общим термином для класса алгоритмов поиска, которые используют "эволюционные" вдохновленные методы для оптимизации поиска. Я бы не классифицировал EC как машинное обучение вообще, и я не нашел источник, который делает.

[1] Усиление обучения: введение - RS Sutton, AG Barto - 1998 - Cambridge Univ Press

[2] Что такое эволюционное вычисление? - DB Fogel - Spectrum, IEEE, 2000

Ответ 4

Обновление с 2017 года: ответ ДА. самая загруженная бумага за последний месяц в обучении арфинга, точно названа " Стратегии эволюции как масштабируемая альтернатива обучению арфингам" это действительно разговоры о городе.

Ответ 5

Итак, где эволюционное вычисление? Это метод обучения усилению? Или отдельный метод машинного обучения? или, может быть, нет?

Я рассматриваю EC и ML как отличные друг от друга. Однако есть несколько отличных приложений, в которых они используются вместе. Хотя это довольно небольшая область исследований в течение некоторого времени, я чувствую, что в области объединения EC и ML есть некоторые плохие фрукты. Я думаю, что у многих людей нет терпения, чтобы увидеть эти идеи.