Предположим, что у меня большой массив памяти numpy, у меня есть функция func, которая принимает этот гигантский массив в качестве входных данных (вместе с некоторыми другими параметрами). func с разными параметрами можно запускать параллельно. Например:
def func(arr, param):
# do stuff to arr, param
# build array arr
pool = Pool(processes = 6)
results = [pool.apply_async(func, [arr, param]) for param in all_params]
output = [res.get() for res in results]
Если я использую библиотеку многопроцессорности, то этот гигантский массив будет копироваться несколько раз в разные процессы.
Есть ли способ разрешить различным процессам использовать один и тот же массив? Этот объект массива доступен только для чтения и никогда не будет изменен.
Что еще сложнее, если arr - это не массив, а произвольный объект python, есть ли способ поделиться им?
[Изменено]
Я прочитал ответ, но я все еще немного смущен. Поскольку fork() является копированием на запись, мы не должны вызывать никаких дополнительных затрат при возникновении новых процессов в библиотеке многопроцессорности python. Но следующий код предполагает, что есть огромные накладные расходы:
from multiprocessing import Pool, Manager
import numpy as np;
import time
def f(arr):
return len(arr)
t = time.time()
arr = np.arange(10000000)
print "construct array = ", time.time() - t;
pool = Pool(processes = 6)
t = time.time()
res = pool.apply_async(f, [arr,])
res.get()
print "multiprocessing overhead = ", time.time() - t;
(и, кстати, стоимость увеличивается по мере увеличения размера массива, поэтому я подозреваю, что все еще накладные расходы связаны с копированием памяти):
construct array = 0.0178790092468
multiprocessing overhead = 0.252444982529
Почему такие огромные накладные расходы, если мы не скопировали массив? А какая часть памяти хранит меня?
