Подтвердить что ты не робот

Почему cffi намного быстрее, чем numpy?

Я играл с написанием модулей cffi в python, и их скорость заставляет задуматься, правильно ли я использую стандартный python. Это заставляет меня полностью переключиться на C! Честно говоря, есть некоторые большие библиотеки python, которые я никогда не смог бы реализовать в C, поэтому это более гипотетично, чем что-либо действительно.

В этом примере показана функция sum в python, используемая с массивом numpy, и насколько она медленна по сравнению с c-функцией. Есть ли более быстрый питонический способ вычисления суммы массива numpy?

def cast_matrix(matrix, ffi):
    ap = ffi.new("double* [%d]" % (matrix.shape[0]))
    ptr = ffi.cast("double *", matrix.ctypes.data)
    for i in range(matrix.shape[0]):
        ap[i] = ptr + i*matrix.shape[1]                                                                
    return ap 

ffi = FFI()
ffi.cdef("""
double sum(double**, int, int);
""")
C = ffi.verify("""
double sum(double** matrix,int x, int y){
    int i, j; 
    double sum = 0.0;
    for (i=0; i<x; i++){
        for (j=0; j<y; j++){
            sum = sum + matrix[i][j];
        }
    }
    return(sum);
}
""")
m = np.ones(shape=(10,10))
print 'numpy says', m.sum()

m_p = cast_matrix(m, ffi)

sm = C.sum(m_p, m.shape[0], m.shape[1])
print 'cffi says', sm

чтобы показать, как работает функция:

numpy says 100.0
cffi says 100.0

теперь, если я пробую эту простую функцию, я обнаружил, что numpy очень медленный! Я использую numpy правильно? Есть ли более быстрый способ вычисления суммы в python?

import time
n = 1000000

t0 = time.time()
for i in range(n): C.sum(m_p, m.shape[0], m.shape[1])
t1 = time.time()

print 'cffi', t1-t0

t0 = time.time()
for i in range(n): m.sum()
t1 = time.time()

print 'numpy', t1-t0

раз:

cffi 0.818415880203
numpy 5.61657714844
4b9b3361

Ответ 1

Numpy медленнее C по двум причинам: накладные расходы Python (вероятно, похожие на cffi) и общность. Numpy предназначен для работы с массивами произвольных размеров, в связке разных типов данных. Ваш пример с cffi был сделан для 2D-массива поплавков. Стоимость записи нескольких строк кода vs .sum(), 6 символов, чтобы сохранить менее 5 микросекунд. (Но, конечно, вы уже это знали). Я просто хочу подчеркнуть, что время процессора дешево, намного дешевле, чем время разработки.

Теперь, если вы хотите придерживаться Numpy, и хотите получить лучшую производительность, ваш лучший вариант - использовать Bottleneck, Они обеспечивают несколько функций, оптимизированных для 1 и 2D массивов с плавающей запятой и удвоениями, и они быстро растут. В вашем случае, в 16 раз быстрее, что поставит время выполнения в 0,35 или примерно в два раза быстрее, чем cffi.

Для других функций, которые узкое место не имеет, вы можете использовать Cython. Это поможет вам написать C-код с более синтаксисом pythonic. Или, если хотите, постепенно конвертируйте Python в C, пока вы не будете довольны скоростью.