Я пишу серверную программу с одним производителем и несколькими потребителями, меня смущает только первая задача, поставленная в очередь потребляемых, после чего задачи, оставшиеся в очереди, больше не потребляются, они остаются в очереди навсегда.
from multiprocessing import Process, Queue, cpu_count
from http import httpserv
import time
def work(queue):
while True:
task = queue.get()
if task is None:
break
time.sleep(5)
print "task done:", task
queue.put(None)
class Manager:
def __init__(self):
self.queue = Queue()
self.NUMBER_OF_PROCESSES = cpu_count()
def start(self):
self.workers = [Process(target=work, args=(self.queue,))
for i in xrange(self.NUMBER_OF_PROCESSES)]
for w in self.workers:
w.start()
httpserv(self.queue)
def stop(self):
self.queue.put(None)
for i in range(self.NUMBER_OF_PROCESSES):
self.workers[i].join()
queue.close()
Manager().start()
Производитель - это HTTP-сервер, который ставит задачу в очередь после получения запрос от пользователя. Кажется, что потребительские процессы все еще заблокирован, когда в очереди появляются новые задачи, что странно.
P.S. Еще два вопроса, не связанные с вышеизложенным, я не уверен, лучше поставить HTTP-сервер в свой собственный процесс, отличный от основного процесс, если да, как я могу заставить основной процесс работать до того, как все процесс детей заканчивается. Второй вопрос: какой лучший способ остановить HTTP-сервер изящно?
Изменить: добавьте код производителя, это просто простой сервер wsgi python:
import fapws._evwsgi as evwsgi
from fapws import base
def httpserv(queue):
evwsgi.start("0.0.0.0", 8080)
evwsgi.set_base_module(base)
def request_1(environ, start_response):
start_response('200 OK', [('Content-Type','text/html')])
queue.put('task_1')
return ["request 1!"]
def request_2(environ, start_response):
start_response('200 OK', [('Content-Type','text/html')])
queue.put('task_2')
return ["request 2!!"]
evwsgi.wsgi_cb(("/request_1", request_1))
evwsgi.wsgi_cb(("/request_2", request_2))
evwsgi.run()
