Для такого кадра данных в R:
+---+---+
| X | Y |
+---+---+
| 1 | 2 |
| 2 | 4 |
| 4 | 5 |
+---+---+
Если на этом фрейме данных выполняется векторная операция, например:
data$Z <- data$X * data$Y
Будет ли это использовать возможности процессора с одной инструкцией и несколькими данными (SIMD) для оптимизации производительности? Это кажется идеальным для этого, но я не могу найти ничего, что подтверждает мою догадку.
В качестве короткого ответа вам необходимо проверить, в какой библиотеке BLAS связан ваш R.
Однако, я считаю, что когда вы ссылаетесь на SIMD, вы имеете в виду более общее использование векторизации SIMD в R. Итак, давайте сначала немного узнаем о реализации SIMD, а затем переходим к R.
В моих ограниченных знаниях есть только пять способов реализации SIMD (и у меня есть только практический опыт в первых двух):
-ftree-vectorize;#pragma opm simd.В заключение
Опции 1-3 обычно не переносятся: вам нужно изменить свой код при использовании другой архитектуры или другого компилятора. Опции 4-5 могут быть наименее ограниченными, но, как уже можно было предположить, они часто не дают оптимальной производительности по сравнению с вариантами 1-3, поскольку они полностью зависят от возможностей компилятора для векторизации.
Примитивные/внутренние функции (.Primitive(), .Internal()) в R, скомпилированы в эту библиотеку. Фундаментальные пакеты R, такие как base, stats, utils, связаны с этой библиотекой. Эта библиотека должна быть загружена при вызове R. Теперь, поскольку R необходимо достичь переносимости на разных архитектурах, ядро R/ядро должно быть написано простым, переносимым C-кодом. В результате сам libR не содержит SIMD, предлагаемого опциями 1-3.
У него также нет опции 4. R не имеет встроенного флага SIMD. У меня есть проверка на RHOME/etc/Makeconf (я использую linux, поэтому не уверен, что он называется файлом конфигурации make в окнах), то вы увидите, что для SIMD-управления нет доступного флага компиляции.
Вариант 5 интересен. R имеет флаг OpenMP, но я убежден, что ядро R не использует какой-либо parallelism, включая SIMD. Я говорю "интересно", потому что сам не уверен, что этот флаг OpenMP позволяет писателям R писать код параллельного кода SIMD. Если кто-нибудь поможет мне прояснить этот момент, я буду очень благодарен.
Поддержка SIMD от libR не подразумевает поддержки SIMD для R. Позвольте проверить библиотеку BLAS.
Загрузка только libR недостаточна для выполнения R. Многие символы/функции в libR являются внешними: т.е. они используются в libR, но не определены в libR. R называет их интерфейсом иностранного языка. Важным набором таких символов является BLAS (основные подпрограммы линейной алгебры). Процедуры BLAS уровня 1-3 выполняют соответственно:
и они лежат в центре научных вычислений. Например, оператор/функция R %*% для матричного умножения, наконец, будет ссылаться на символ _dgemm в libR. Хотя он не определен в libR, libR связан с какой-либо библиотекой BLAS, где он определен. Когда загружается libR, эта библиотека BLAS также загружается.
Разделение библиотеки libR и BLAS, хотя по многим причинам приведено в R установка и администрирование - общий BLAS, подразумевается:
libRлежит на уровне приложения и переносится, в то время как BLAS лежит на уровне вычислений и может быть настроен на архитектуру, что позволяет нам улучшить производительность R без восстановления R.
Существует два типа BLAS: эталонный BLAS и оптимизированный BLAS.
dgemm: C <- beta * C + alpha * op(A) * op(B).Когда R запущен, он будет искать несколько путей библиотеки для доступной библиотеки BLAS. Здесь есть принцип "первым пришел, первым служит".
libRblas в каталоге RHOME/lib. Это также каталог, где libR. Если этот libRblas существует, это означает, что при времени установки R он не обнаружил доступную библиотеку BLAS на машине, поэтому он создал свою собственную копию. Обычно эта копия является ссылкой BLAS. Тем не менее, мне недавно сказали, что на Mac (извините, я не использую Mac), двоичная версия R строит другую версию, используя OSX vecLIB BLAS. Этот R для Mac часто задает вопрос. Но по умолчанию R не привязан к этой оптимизированной версии; в FAQ дается подробная информация о том, как сделать псевдоним для загрузки оптимизированной библиотеки BLAS.libRblas не существует, то это означает, что существующая библиотека BLAS была обнаружена в момент времени R, и R был автоматически связан с ней. Теперь это будет более тонким в этом случае. Мы должны сначала проверить, с какой библиотекой BLAS R связаны с: R CMD config BLAS_LIBS. На моем ноутбуке (работает ubuntu 14.04.3) я получаю -lblas. Это означает, что он связан с libblas, эталонным BLAS (единственным BLAS, который у меня был, когда я установил R). Теперь, если мы хотим связать R с другой версией BLAS, скажем OpenBLAS, мы должны сделать псевдоним libblas. Обратите внимание, что если есть несколько версий BLAS при времени установки R, к которым BLAS R будет ссылаться, возможно, менее предсказуем. В некоторых ситуациях на некоторых платформах Intel R может быть привязан к эталонному BLAS, даже если есть существующий Intel MKL. Это можно проверить, используя приведенный выше R CMD config BLAS_LIBS.В приведенном выше документе я подробно рассказал о том, как BLAS находится по R, и как мы можем загружать в R с разницей BLAS путем сглаживания. Но настройка псевдонимов библиотек требует доступа root/Administrative. Недавно у меня была запись: без root-доступа: как запустить R с Tunded BLAS, когда R связано со ссылкой BLAS, которая предлагает некоторые решения на платформе Linux.
Ну, мало известна дистрибуция R от Microsoft (художник, ранее известный как Revolution R), который можно найти здесь
Он поставляется с библиотекой Intel MKL, которая также использует несколько потоков и векторных операций (вам нужно запустить процессор Intel), и это действительно помогает с матрицами, такими как SVD и т.д.
Если вы не хотите писать код C/С++ с помощью встроенных SIMD-приложений, используя Rcpp или аналогичные интерфейсы, Microsoft R - лучший способ использовать SIMD
Загрузите и попробуйте