Как интерпретировать увеличение как потери, так и точности

У меня есть модели глубокого обучения (CNN) с использованием тензорного потока. Много раз в эпоху я наблюдал, что и потеря, и точность увеличились, или оба уменьшились. Мое понимание было то, что оба они всегда обратно связаны. Каким может быть сценарий, когда оба одновременно увеличиваются или уменьшаются.

Ответ 1

По мере продолжения процесса обучения потери уменьшаются, за исключением некоторого колебания, вносимого методами мини-градиентного спуска и/или регуляризации, такими как выпадение (которое создает случайный шум).

Если потеря уменьшается, тренировочный процесс идет хорошо.

Точность (я полагаю, достоверность), напротив, является мерой того, насколько хороши прогнозы вашей модели.

Если модель обучается, точность увеличивается. Если модель переоснащается, точность перестает увеличиваться и может даже начать уменьшаться.

Если потеря уменьшается и точность уменьшается, ваша модель переоснащается.

Если потери увеличиваются, а точность увеличивается, это потому, что ваши методы регуляризации работают хорошо, и вы боретесь с проблемой переоснащения. Это верно только тогда, когда потеря начинает уменьшаться, а точность продолжает расти. В противном случае, если потери продолжают расти, ваша модель расходится, и вы должны искать причину (обычно вы используете слишком высокое значение скорости обучения).