Подтвердить что ты не робот

Мониторинг выполнения/отладки параллельных R скриптов

Среди вариантов, которые у меня есть для быстрого распараллеливания простого кода (snowfall, foreach и так далее), каковы мои варианты отображения прогресса всех подчиненных процессов? Есть ли какое-либо предложение в этом отношении?

Я видел, что снегопад 1.70 имеет sfCat(), но он не кажется, что вывод cat в мастер-сеанс.

4b9b3361

Ответ 1

То, где это может превратиться в черное искусство... Я замечаю, что вы не указали MPI или PVM - у тех старых рабочих лошадок параллельных вычислений есть мониторы. Вы можете найти решения, выходя из R и полагаясь на планировщиков заданий (slurm, torque,...)

Если вы не можете этого сделать (и, к сожалению, есть причины, по которым нам нравится простота снега, foreach,...), то, возможно, вы можете изменить свои задания, чтобы регистрировать "сердцебиение" или сообщение о прогрессе каждые N шагов, Вы можете регистрироваться в текстовых файлах (если у вас есть общий ресурс NFS или SMB/CIFS), регистрироваться в базе данных или щеколда, отправить твит с R. Скорее всего, это будет специфично для вашего приложения, и да, у него будет определенная стоимость.