Подтвердить что ты не робот

RuntimeError для Windows, использующих многопроцессорность python

Я пытаюсь использовать свою первую формальную программу python, используя Threading и Multiprocessing на машине Windows. Я не могу запускать процессы, но с помощью python выдается следующее сообщение. Дело в том, что я не запускаю свои потоки в основном модуле. Потоки обрабатываются отдельным модулем внутри класса.

EDIT: Кстати, этот код отлично работает на ubuntu. Не совсем в windows

RuntimeError: 
            Attempt to start a new process before the current process
            has finished its bootstrapping phase.
            This probably means that you are on Windows and you have
            forgotten to use the proper idiom in the main module:
                if __name__ == '__main__':
                    freeze_support()
                    ...
            The "freeze_support()" line can be omitted if the program
            is not going to be frozen to produce a Windows executable.

Мой оригинальный код довольно длинный, но я смог воспроизвести ошибку в сокращенной версии кода. Он разделен на два файла, первый - основной модуль и очень мало, кроме импорта модуля, который обрабатывает процессы/потоки и вызывает метод. Второй модуль - это мясо кода.


testMain.py:

import parallelTestModule

extractor = parallelTestModule.ParallelExtractor()
extractor.runInParallel(numProcesses=2, numThreads=4)

parallelTestModule.py:

import multiprocessing
from multiprocessing import Process
import threading

class ThreadRunner(threading.Thread):
    """ This class represents a single instance of a running thread"""
    def __init__(self, name):
        threading.Thread.__init__(self)
        self.name = name
    def run(self):
        print self.name,'\n'

class ProcessRunner:
    """ This class represents a single instance of a running process """
    def runp(self, pid, numThreads):
        mythreads = []
        for tid in range(numThreads):
            name = "Proc-"+str(pid)+"-Thread-"+str(tid)
            th = ThreadRunner(name)
            mythreads.append(th) 
        for i in mythreads:
            i.start()
        for i in mythreads:
            i.join()

class ParallelExtractor:    
    def runInParallel(self, numProcesses, numThreads):
        myprocs = []
        prunner = ProcessRunner()
        for pid in range(numProcesses):
            pr = Process(target=prunner.runp, args=(pid, numThreads)) 
            myprocs.append(pr) 
#        if __name__ == 'parallelTestModule':    #This didnt work
#        if __name__ == '__main__':              #This obviously doesnt work
#        multiprocessing.freeze_support()        #added after seeing error to no avail
        for i in myprocs:
            i.start()

        for i in myprocs:
            i.join()
4b9b3361

Ответ 1

В Windows подпроцессы будут импортировать (т.е. выполнить) основной модуль при запуске. Вам нужно вставить в if __name__ == '__main__': guard в главном модуле, чтобы избежать рекурсивного создания подпроцессов.

Изменено testMain.py:

import parallelTestModule

if __name__ == '__main__':    
    extractor = parallelTestModule.ParallelExtractor()
    extractor.runInParallel(numProcesses=2, numThreads=4)

Ответ 2

Попробуйте поместить свой код в основную функцию в testMain.py

import parallelTestModule

if __name__ ==  '__main__':
  extractor = parallelTestModule.ParallelExtractor()
  extractor.runInParallel(numProcesses=2, numThreads=4)

См. Документы:

"For an explanation of why (on Windows) the if __name__ == '__main__' 
part is necessary, see Programming guidelines."

которые говорят

"Убедитесь, что основной модуль можно безопасно импортировать новым интерпретатором Python, не вызывая непреднамеренных побочных эффектов (например, запуск нового процесса)".

... используя if __name__ == '__main__'

Ответ 3

Хотя более ранние ответы верны, есть небольшое осложнение, которое это поможет заметить.

В случае, если ваш основной модуль импортирует еще один модуль, в котором глобальные переменные или переменные-члены класса определены и инициализированы (или используются) некоторыми новыми объектами, вам может потребоваться установить этот импорт таким же образом:

if __name__ ==  '__main__'':
  import my_module