В чем разница между градиентным спуском и подъемом градиента?

Ответ 1

Это не так. Градиентное восхождение - это просто процесс максимизации, а не минимизации функции потерь. Все остальное совершенно одно и то же. Подъем для некоторой функции потерь, можно сказать, похож на градиентный спуск на отрицание этой функции потерь.

Ответ 2

Как правило, вы используете градиентное восхождение, чтобы максимизировать функцию правдоподобия и спуск градиента для минимизации функции затрат. Оба градиентного спуска и подъема практически одинаковы. Позвольте мне привести конкретный пример, используя простой алгоритм оптимизации на основе градиента с функцией concav/convex likelihood/cost: логистическая регрессия.

К сожалению, SO по-прежнему не поддерживает LaTeX, поэтому позвольте мне опубликовать несколько скриншотов.

Функция правдоподобия, которую вы хотите максимизировать в логистической регрессии,

где "phi" - это просто сигмоидальная функция

Теперь вы хотите использовать concav funcion для градиентного восхождения, поэтому возьмите журнал:

Аналогично, вы можете просто написать его как обратное, чтобы получить функцию стоимости, которую вы можете свести к минимуму с помощью градиентного спуска.

Для лог-правдоподобия вы получите и примените градиентное восхождение следующим образом:

Так как вы хотите обновить все веса одновременно, напишите его как

Теперь должно быть совершенно очевидно, что обновление спуска градиента совпадает с восходящим градиентом, но имейте в виду, что мы формулируем его как "шаг в противоположном направлении градиента стоимости функция"

Надеюсь, что ответит на ваш вопрос!

Ответ 3

Градиентный спуск используется для минимизации определенной функции, тогда как градиентное всплытие используется для максимизации функции.

Проверьте это http://www.speech.sri.com/people/anand/771/html/node33.html

Ответ 4

Градиент - это еще одно слово для наклона. Положительный градиент графика в точке (x, y) означает, что график наклоняется вверх в точке (x, y). С другой стороны, отрицательный градиент графика в точке (x, y) означает, что график наклоняется вниз в точке (x, y).

Градиентный спуск - это итеративный алгоритм, который используется для нахождения набора тета, который минимизирует значение функции стоимости. Поэтому градиентное восхождение создало бы набор тета, который максимизирует стоимость функции стоимости.