Виртуализация частных облачных графических процессоров, аналогичная экземплярам кластера GPU Amazon Web Services

Я ищу варианты, которые позволяют динамическую виртуализацию на основе NVIDIA на основе облачных вычислений, аналогичную тому, как AWS назначает графические процессоры для экземпляров кластера GPU.

Мой проект работает над созданием внутреннего облака. Одним из требований является возможность выделения GPU виртуальным машинам/экземплярам для обработки CUDA на стороне сервера.

USC, похоже, работает над усовершенствованиями OpenStack для поддержки этого, но он еще не готов. Это было бы именно то, что я ищу, если бы он был полностью функциональным в OpenStack.

NVIDIA VGX, похоже, поддерживает распределение графических процессоров на USMs, что является исключительно удаленным настольным GPU виртуализация. Если я ошибаюсь, и VGX действительно разрешает вычисления CUDA на стороне сервера из виртуальных машин/экземпляров, пожалуйста, дайте мне знать.

Ответ 1

"динамическая облачная архитектура NVIDIA GPU похожа на то, как AWS назначает графические процессоры для экземпляров кластерного GPU.

AWS на самом деле не выделяет графические процессоры динамически: каждый GPU Cluster Compute имеет 2 фиксированных GPU. На всех других серверах (включая обычный Cluster Compute) нет графических процессоров. То есть у них нет API, где вы можете сказать "GPU или нет", он был привязан к типу окна, в котором используется фиксированное оборудование.

Режим pass-thru на Xen был специально создан для вашего случая использования: передача аппаратного обеспечения через Host to the Guest. Это не "динамический" по умолчанию, но вы можете написать код, который выбирает одного из гостей, чтобы получить каждую карту на хосте.

Ответ 2

Существует решение под названием GPUBox, которое виртуализирует устройства в CUDA. Его можно использовать либо на Amazon, либо в вашей собственной инфраструктуре.

Цитата с сайта (http://renegatt.com/solutions.php):

Программное обеспечение GPUBox упрощает управление графическим процессором, отделяя приложений и операционных систем с базовых устройств GPU. Это это решение, которое позволяет динамически совместно использовать устройства GPU из один и тот же пул, многими пользователями. (...) GPUBox позволяет создавать по требованию устройств GPU на физическую или виртуальную машину с Linux или Операционная система Windows. Пул устройств GPU используется совместно пользователей, что приводит к снижению общего потребления энергии и бездействующее оборудование.