Разница между логистической регрессией и регрессией softmax

Я знаю, что логистическая регрессия предназначена для двоичной классификации и регрессии softmax для многоклассовой проблемы. Будут ли какие-то различия, если я подготовлю несколько моделей логистической регрессии с теми же данными и нормализую их результаты, чтобы получить классификатор с несколькими классами вместо использования одной модели softmax. Я предполагаю, что результат один и тот же. Могу ли я сказать: "весь классификатор многоклассов является каскадным результатом бинарных классификаторов". (кроме нейронной сети)

Ответ 1

Существуют незначительные различия в нескольких моделях логистической регрессии и выходе softmax.

По существу вы можете сопоставить ввод размера d с одним выходным k раз или сопоставить ввод размера d с k выводит один раз. Однако несколько моделей логистической регрессии сбивают с толку и на практике работают хуже. Это связано с тем, что большинство библиотек (TensorFlow, Caffe, Theano) реализованы на низкоуровневых скомпилированных языках и сильно оптимизированы. Поскольку управление несколькими логистическими регрессионными моделями, скорее всего, осуществляется на более высоком уровне, его следует избегать.

Ответ 2

Повторяя то, что другие уже передали.

Softmax Regression - это обобщение логистической регрессии, которое суммирует k-мерный вектор произвольных значений в k размерный вектор значений ограничен в диапазоне (0, 1).
В логистической регрессии мы предполагаем, что метки являются двоичными (0 или 1). Однако Softmax Regression позволяет обрабатывать классы .
Функция гипотезы:
- LR:
- Регресс Softmax:

Ссылка: http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/

Ответ 3

Вы можете думать о логистической регрессии как бинарном классификаторе, а регрессия softmax - это один из способов (есть и другие способы) для реализации классификатора с несколькими классами. Количество выходных уровней в регрессии softmax равно числу классов, которые вы хотите предсказать.

Пример. В случае распознавания цифр у вас есть 10 классов для прогнозирования [0-9], поэтому вы можете думать об этом как о ситуации, когда вы моделируете 10 вероятностей для каждого класса, и на практике мы выбираем класс, который имеет наивысшая вероятность, как наш предсказанный класс.

Из приведенного выше примера видно, что вывод функции softmax равен числу классов. Эти выходы действительно равны вероятностям каждого класса, и поэтому они суммируются до одного. Для алгебраического объяснения, пожалуйста, загляните на веб-сайт Стэнфордского университета, у которого есть хорошее и короткое объяснение этой темы.

ссылка: http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/

Разница: в приведенной выше ссылке подробно описано, что softmax с только 2 классом аналогичен логистической регрессии. Поэтому можно сказать, что основное отличие - это только соглашение об именах. мы называем это логистической регрессией, когда имеем дело с проблемой 2-класса и softmax, когда мы имеем дело с многонациональной проблемой (более 2-х классов).

Примечание. Следует помнить, что регрессия softmax также может использоваться в других моделях, таких как нейронные сети.

Надеюсь, что это поможет.

Ответ 4

Вы можете связать логистическую регрессию с бинарной регрессией softmax, когда вы переносите пары выходов скрытой модели (z1, z2) в z = z1-z2 и применяете логистическую функцию

softmax(z1, z2) = exp(z1)/(exp(z1) + exp(z2)) = exp(z1 - z2)/(exp(z1-z2) + exp(0)) = exp(z)/(exp(z) + 1)