Memory Allocation "Ошибка: не может выделить вектор размера 75.1 Mb"

В процессе векторизации некоторого кода моделирования я столкнулся с проблемой памяти. Я использую 32-битную версию R версии 2.15.0 (через RStudio версии 0.96.122) под Windows XP. Моя машина имеет 3,46 ГБ оперативной памяти.

> sessionInfo()
R version 2.15.0 (2012-03-30)
Platform: i386-pc-mingw32/i386 (32-bit)

locale:
[1] LC_COLLATE=English_United Kingdom.1252  LC_CTYPE=English_United Kingdom.1252   
[3] LC_MONETARY=English_United Kingdom.1252 LC_NUMERIC=C                           
[5] LC_TIME=English_United Kingdom.1252    

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
[1] Matrix_1.0-6   lattice_0.20-6 MASS_7.3-18   

loaded via a namespace (and not attached):
[1] grid_2.15.0  tools_2.15.0

Вот минимальный пример проблемы:

> memory.limit(3000)
[1] 3000
> rm(list = ls())
> gc()
          used (Mb) gc trigger  (Mb)  max used   (Mb)
Ncells 1069761 28.6    1710298  45.7   1710298   45.7
Vcells  901466  6.9   21692001 165.5 173386187 1322.9
> N <- 894993
> library(MASS)
> sims <- mvrnorm(n = N, mu = rep(0, 11), Sigma = diag(nrow = 11))
> sims <- mvrnorm(n = N + 1, mu = rep(0, 11), Sigma = diag(nrow = 11))
Error: cannot allocate vector of size 75.1 Mb

(В моем приложении ковариационная матрица Sigma не диагональна, но я получаю ту же ошибку в любом случае.)

Я провел день, читая о проблемах с распределением памяти в R (включая здесь, здесь и здесь). Из того, что я читал, у меня создается впечатление, что это не вопрос доступной ОЗУ как таковой, а доступное постоянное адресное пространство. Тем не менее, 75.1Mb кажется довольно маленьким для меня.

Я бы очень признателен за любые мысли или предложения, которые у вас могут быть.

Ответ 1

R попал в точку, где ОС не может выделить его еще 75,1 Мб фрагмента ОЗУ. Это размер блока памяти, необходимый для выполнения следующей операции. Это не утверждение о количестве непрерывной памяти, необходимой для завершения всего процесса. К этому моменту вся ваша оперативная память исчерпана, но вам нужно больше памяти для продолжения, и ОС не может сделать больше RAM доступным для R.

Потенциальные решения этого многообразны. Очевидным является получение 64-битной машины с большим объемом оперативной памяти. Я забываю детали, но IIRC на 32-битной Windows, любой отдельный процесс может использовать только ограниченное количество оперативной памяти (2 ГБ?), И независимо от того, что Windows сохранит кусок памяти для себя, поэтому оперативная память, доступная для R, будет несколько меньше 3.4Gb у вас есть. В 64-битной Windows R будет больше использовать оперативную память, и максимальный объем оперативной памяти, который вы можете установить/установить, будет увеличен.

Если это невозможно, рассмотрите альтернативный подход; возможно, ваши симуляции в партиях с n за партию намного меньше, чем N. Таким образом, вы можете нарисовать намного меньшее количество симуляций, делать все, что хотите, собирать результаты, а затем повторять этот процесс, пока не сделаете достаточные симуляции. Вы не показываете, что такое N, но я подозреваю, что он большой, поэтому попробуйте уменьшить N несколько раз, чтобы дать вам N все.

Ответ 2

У меня было такое же предупреждение, используя растровый пакет.

> my_mask[my_mask[] != 1] <- NA
Error: cannot allocate vector of size 5.4 Gb

Решение действительно простое и состоит в увеличении емкости хранилища R, здесь строка кода:

##To know the current storage capacity
> memory.limit()
[1] 8103
## To increase the storage capacity
> memory.limit(size=56000)
[1] 56000    
## I did this to increase my storage capacity to 7GB

Надеюсь, это поможет вам решить проблему Приветствия

Ответ 3

gc() может помочь

сохранение данных как .RData, закрытие, повторное открытие R и загрузка RData могут помочь.

см. мой ответ здесь: fooobar.com/questions/70482/... для более подробной информации

Ответ 4

останавливается ли R независимо от значения N, которое вы используете? попробуйте использовать небольшие значения и посмотрите, является ли это проблемой функция mvrnorm, или вы можете просто закодировать ее на подмножествах. Вставьте функцию gc() в цикле, чтобы освободить некоторую ОЗУ непрерывно