Почему BIAS необходим в ANN? Должны ли мы иметь отдельный BIAS для каждого слоя?

Я хочу создать модель, которая предсказывает будущую реакцию входного сигнала, архитектура моей сети - [3, 5, 1]:

3 входа,
5 нейронов в скрытом слое и
1 нейрон в выходном слое.

Мои вопросы:

Должны ли мы иметь отдельный BIAS для каждого скрытого и выходного уровня?
Должен ли мы назначать вес BIAS на каждом уровне (поскольку BIAS становится дополнительной ценностью для нашей сети и вызывают чрезмерную нагрузку на сеть)?
Почему BIAS всегда настроен на единицу? Если eta имеет разные значения, почему мы не устанавливаем BIAS с разными значениями?
Почему мы всегда используем лог-сигмоидную функцию для нелинейных функций, можем ли мы использовать tanh?

Ответ 1

Итак, я думаю, что это очистило бы большинство из этого, если бы мы должны были отступить и обсудить роль, которую подразделение смещения предназначено для игры в NN.

Блок смещения предназначен для того, чтобы устройства в вашей сети могли узнать соответствующий порог (т.е. после достижения определенного общего ввода, начать отправку положительной активации), так как обычно положительный общий ввод означает положительную активацию.

Например, если ваша единица смещения имеет вес -2 с некоторым нейроном x, тогда нейрон x обеспечит положительную активацию, если все остальные входные данные превышают -2.

Итак, с этим в качестве фона ваши ответы:

Нет, один вход смещения всегда достаточен, поскольку он может влиять на разные нейроны по-разному в зависимости от его веса с каждым устройством.
Вообще говоря, наличие весов смещения, идущих к каждому модулю без ввода, является хорошей идеей, поскольку в противном случае те единицы без смещения весов будут иметь пороги, которые всегда будут равны нулю.
Поскольку пороговое значение, как только вы узнали, должно быть последовательным в ходе испытаний. Помните о смещении, представляющем, как каждая единица взаимодействует с входом; это не сам ввод.
Вы, конечно, можете и многие. Любая функция sqaushing обычно работает как функция активации.