Я использую Pandas dataframes и хочу создать новый столбец как функцию существующих столбцов. Я не видел хорошего обсуждения разницы в скорости между df.apply() и np.vectorize(), поэтому я подумал, что попрошу здесь.
Функция Pandas apply() работает медленно. Из того, что я измерил (показано ниже в некоторых экспериментах), использование np.vectorize() на 25 раз быстрее (или больше), чем использование функции DataFrame apply(), по крайней мере, на моем MacBook Pro 2016. Является ли это ожидаемым результатом и почему?
Например, предположим, что у меня есть следующий фреймворк с N строками:
N = 10
A_list = np.random.randint(1, 100, N)
B_list = np.random.randint(1, 100, N)
df = pd.DataFrame({'A': A_list, 'B': B_list})
df.head()
# A B
# 0 78 50
# 1 23 91
# 2 55 62
# 3 82 64
# 4 99 80
Предположим далее, что я хочу создать новый столбец как функцию двух столбцов A и B В приведенном ниже примере я буду использовать простую функцию divide(). Чтобы применить эту функцию, я могу использовать либо df.apply() либо np.vectorize():
def divide(a, b):
if b == 0:
return 0.0
return float(a)/b
df['result'] = df.apply(lambda row: divide(row['A'], row['B']), axis=1)
df['result2'] = np.vectorize(divide)(df['A'], df['B'])
df.head()
# A B result result2
# 0 78 50 1.560000 1.560000
# 1 23 91 0.252747 0.252747
# 2 55 62 0.887097 0.887097
# 3 82 64 1.281250 1.281250
# 4 99 80 1.237500 1.237500
Если я np.vectorize() N до размеров реального мира, таких как 1 миллион или более, я np.vectorize() что np.vectorize() на 25 раз быстрее или больше, чем df.apply().
Ниже приведен полный код бенчмаркинга:
import pandas as pd
import numpy as np
import time
def divide(a, b):
if b == 0:
return 0.0
return float(a)/b
for N in [1000, 10000, 100000, 1000000, 10000000]:
print ''
A_list = np.random.randint(1, 100, N)
B_list = np.random.randint(1, 100, N)
df = pd.DataFrame({'A': A_list, 'B': B_list})
start_epoch_sec = int(time.time())
df['result'] = df.apply(lambda row: divide(row['A'], row['B']), axis=1)
end_epoch_sec = int(time.time())
result_apply = end_epoch_sec - start_epoch_sec
start_epoch_sec = int(time.time())
df['result2'] = np.vectorize(divide)(df['A'], df['B'])
end_epoch_sec = int(time.time())
result_vectorize = end_epoch_sec - start_epoch_sec
print 'N=%d, df.apply: %d sec, np.vectorize: %d sec' % \
(N, result_apply, result_vectorize)
# Make sure results from df.apply and np.vectorize match.
assert(df['result'].equals(df['result2']))
Результаты показаны ниже:
N=1000, df.apply: 0 sec, np.vectorize: 0 sec
N=10000, df.apply: 1 sec, np.vectorize: 0 sec
N=100000, df.apply: 2 sec, np.vectorize: 0 sec
N=1000000, df.apply: 24 sec, np.vectorize: 1 sec
N=10000000, df.apply: 262 sec, np.vectorize: 4 sec
Если np.vectorize() обычно всегда быстрее df.apply(), то почему np.vectorize() больше не упоминается? Я только вижу сообщения StackOverflow, связанные с df.apply(), например:
pandas создает новый столбец на основе значений из других столбцов
Как использовать функцию приложения Pandas для нескольких столбцов?
