Caffe | Ошибка проверки: ошибка == cudaSuccess (2 против 0) не хватает памяти

Я пытаюсь обучить сеть Caffe. Я имею размер изображения 512x640. Размер партии равен 1. Я пытаюсь реализовать FCN-8s.

В настоящее время я запускаю это на экземпляре Amazon EC2 (g2.2xlarge) с 4 ГБ памяти GPU. Но когда я запускаю решатель, он сразу же выдает ошибку

Check failed: error == cudaSuccess (2 vs. 0)  out of memory
*** Check failure stack trace: ***
Aborted (core dumped)

Может ли кто-нибудь помочь мне перейти отсюда?

Ответ 1

Ошибка, которую вы получаете, действительно не в памяти, но это не оперативная память, а скорее память GPU (обратите внимание, что ошибка исходит от CUDA).
Обычно, когда у кофе нет памяти - первое, что нужно сделать, - уменьшить размер партии (ценой градиентной точности), но поскольку вы уже имеете размер партии = 1...
Вы уверены, что размер партии равен 1 для и фаз TRAIN и TEST?

Ответ 2

Caffe может использовать несколько графических процессоров. Это поддерживается только в интерфейсе С++, а не в python. Вы также можете включить cuDNN для уменьшения объема памяти.

https://github.com/BVLC/caffe/blob/master/docs/multigpu.md

Ответ 3

Я столкнулся с аналогичной проблемой при запуске Deeplab v2 на ПК со следующей конфигурацией:

----------
OS: Ubuntu 18.04.3 LTS (64-bit)
----------
Processor: Intel Core i7-6700k CPU @ 4.00 GHz x 8
----------
GPU: GeForce GTX 780 (3022 MiB)
----------
RAM : 31.3 GiB
----------

Изменение размеров тестовой и тренировочной партий на 1 не помогло мне. Но, изменение размеров выходного изображения, безусловно, сделал!