Описание проблемы:
У меня есть большая матрица c
, загруженная в оперативную память. Моя цель - параллельная обработка, чтобы иметь доступ только для чтения. Однако, когда я создаю соединения, я использую doSNOW
, doMPI
, big.matrix
и т.д. Количество используемого барабана резко увеличивается.
Есть ли способ правильно создать общую память, где все процессы могут читать, не создавая локальную копию всех данных?
Пример:
libs<-function(libraries){# Installs missing libraries and then load them
for (lib in libraries){
if( !is.element(lib, .packages(all.available = TRUE)) ) {
install.packages(lib)
}
library(lib,character.only = TRUE)
}
}
libra<-list("foreach","parallel","doSNOW","bigmemory")
libs(libra)
#create a matrix of size 1GB aproximatelly
c<-matrix(runif(10000^2),10000,10000)
#convert it to bigmatrix
x<-as.big.matrix(c)
# get a description of the matrix
mdesc <- describe(x)
# Create the required connections
cl <- makeCluster(detectCores ())
registerDoSNOW(cl)
out<-foreach(linID = 1:10, .combine=c) %dopar% {
#load bigmemory
require(bigmemory)
# attach the matrix via shared memory??
m <- attach.big.matrix(mdesc)
#dummy expression to test data aquisition
c<-m[1,1]
}
closeAllConnections()
Оперативная память:
на изображении выше вы можете обнаружить, что память сильно увеличивается до тех пор, пока foreach
не закончится и освободится.