Я использую функцию активации Softmax в последнем слое нейронной сети. Но у меня проблемы с безопасной реализацией этой функции.
Наивная реализация будет следующей:
Vector y = mlp(x); // output of the neural network without softmax activation function
for(int f = 0; f < y.rows(); f++)
y(f) = exp(y(f));
y /= y.sum();
Это не очень хорошо работает для > 100 скрытых узлов, потому что во многих случаях y будет NaN (если y (f) > 709, exp (y (f)) вернет inf). Я придумал эту версию:
Vector y = mlp(x); // output of the neural network without softmax activation function
for(int f = 0; f < y.rows(); f++)
y(f) = safeExp(y(f), y.rows());
y /= y.sum();
где safeExp определяется как
double safeExp(double x, int div)
{
static const double maxX = std::log(std::numeric_limits<double>::max());
const double max = maxX / (double) div;
if(x > max)
x = max;
return std::exp(x);
}
Эта функция ограничивает ввод exp. В большинстве случаев это работает, но не во всех случаях, и мне действительно не удалось выяснить, в каких случаях это не работает. Когда у меня есть 800 скрытых нейронов в предыдущем слое, он вообще не работает.
Однако, даже если это сработало, я как-то "исказил" результат ANN. Можете ли вы подумать о другом способе расчета правильного решения? Существуют ли какие-либо библиотеки или трюки С++, которые я могу использовать для вычисления точного вывода этого ANN?
edit: Решение, предлагаемое Итамаром Кацем:
Vector y = mlp(x); // output of the neural network without softmax activation function
double ymax = maximal component of y
for(int f = 0; f < y.rows(); f++)
y(f) = exp(y(f) - ymax);
y /= y.sum();
И это действительно математически одинаково. Однако на практике некоторые небольшие значения становятся 0 из-за точности с плавающей запятой. Интересно, почему никто никогда не записывал эти подробности реализации в учебниках.
