Кажется, что есть немного путаницы между активацией и передачей. Из Энциклопедия Википедии:
Кажется, что передаточная функция вычисляет сеть, а функция активации - выход нейрона. Но на Документация Matlab о функции активации Я цитирую:
satlin (N, FP) - нейронная передача. Функции переноса вычисляют вывода из его чистого ввода.
Итак, кто прав? И можете ли вы использовать функцию активации термина или функцию передачи взаимозаменяемо?
Я также цитирую из wikipedia:" Обычно суммы каждого node взвешиваются, и сумма передается через нелинейная функция, известная как функция активации или передаточная функция.
В машинном обучении, по крайней мере, они используются взаимозаменяемо всеми профессионалами, которых я знаю ( "функция активации" используется чаще, в то время как я думаю, что "функция передачи" чаще используется для обработки сигналов). Если существует более четкое определение, оно не является общеизвестным/принятым, поэтому любой, кто использует их в качестве двух разных терминов, должен быть более четким.
После некоторых исследований я нашел в "Обзор функций нейронного переноса" , из Duch and Jankowski (1999), что:
transfer_function = activation function + output function
И ИМО терминология имеет смысл сейчас, так как нам нужно иметь значение (уровень сигнала), чтобы проверить, будет ли нейрон активирован, а затем вычислить выход из него. И весь процесс - передача сигнала с одного слоя на другой.
Две функции определяют способ обработки сигналов нейронами. функция активации определяет общий сигнал, получаемый нейроном. Значение функции активации обычно является скалярным, а значение аргументы - векторы. Вторая функция, определяющая нейроны обработка сигнала - это функция вывода o (I), работающая на скалярном активаций и возвращающих скалярных значений. Как правило, раздавливание функция используется для сохранения выходных значений в заданных границах. Эти две функции вместе определяют значения нейрона исходящие сигналы. Состав активации и выход функция называется передаточной функцией o (I (x)).
Функция передачи исходит от преобразования имени и используется для целей преобразования. С другой стороны, функция активации проверяет выход, если он удовлетворяет определенному порогу и выводит ноль или один. Некоторые примеры нелинейных передаточных функций являются мягкими и сигмовидными.
Например, предположим, что мы имеем непрерывный входной сигнал x (t). Этот входной сигнал преобразуется в выходной сигнал y(t) через передаточную функцию H(s).
Y(s) = H(s)X(s)
Функция передачи H(s), как видно выше, изменяет состояние входа X(s) в новое состояние вывода Y(s) через преобразование.
Более пристальный взгляд на H (s) показывает, что он может представлять собой вес в нейронной сети. Следовательно, H(s)X(s) - это просто умножение входного сигнала и его веса. Затем некоторые из этих пар вход-вес в данном слое суммируются, чтобы сформировать входной сигнал другого слоя. Это означает, что вход любого уровня в нейронную сеть - это просто передаточная функция его ввода и вес, то есть линейное преобразование, потому что вход теперь преобразуется весами. Но в реальном мире проблемы носят нелинейный характер. Поэтому, чтобы сделать входящие данные нелинейными, мы используем нелинейное отображение, называемое функцией активации. Функция активации - это функция принятия решений, которая определяет наличие определенной нейронной функции. Он отображается между 0 и 1, где нуль означает, что функция отсутствует, а одна означает, что функция присутствует. К сожалению, небольшие изменения, происходящие в весах, не могут быть отражены в значении активации, так как он может принимать только 0 или 1. Поэтому нелинейные выделения должны быть непрерывными и дифференцируемыми между этим диапазоном.
В самом деле, прежде чем выдать активацию, вы сначала вычисляете сигмоид, так как он является непрерывным и дифференциальным, а затем используйте его как вход для функции активации, которая проверяет, является ли выход сигмоида выше его активации. Нейронная сеть должна иметь возможность вводить любой вход от -infinity до + положительного бесконечного числа, но в некоторых случаях он должен иметь возможность отображать его на выходе, который находится в диапазоне от {0,1} или между {-1,1}, поэтому потребность в функции активации,
Я также новичок в области машинного обучения. Из того, что я понимаю...
Функция передачи: Функция передачи вычисляет вес нетто, поэтому вам нужно изменить свой код или выполнить расчет, который необходимо выполнить перед функцией передачи. Вы можете использовать различные функции передачи в соответствии с вашей задачей.
Функция активации: используется для вычисления порогового значения, т.е. когда ваша сеть выдаст результат. Если ваш вычисленный результат больше порогового значения, в противном случае он покажет выход.
Надеюсь, что это поможет.
Я думаю, что диаграмма правильная, но не терминологическая.
Передаточная функция включает в себя как функции активации, так и передачи на диаграмме. То, что называется передаточной функцией на вашей диаграмме, обычно называется функцией ввода в сеть. Чистая входная функция только добавляет веса к входам и вычисляет чистый ввод, который обычно равен сумме входов, умноженных на заданные веса. Функция активации, которая может быть сигмоидной, ступенчатой и т.д. Функцией, применяется к сетевому входу для генерации вывода.