Я проделал массу исследований по этому вопросу, и я удивлен, что еще не нашел хорошего ответа на этот вопрос.
Я запускаю большое приложение на Heroku, и у меня есть определенные задачи сельдерея, которые работают очень долго, и в конце задачи сохраняют результат. Каждый раз, когда я передислоцирую на Heroku, он отправляет SIGTERM (и в конечном итоге SIGKILL) и убивает моего бегущего работника. Я пытаюсь найти способ, чтобы рабочий экземпляр изящно закрыл себя и снова запустил очередь для последующей обработки, чтобы в конечном итоге мы могли сохранить требуемый результат, а не потерять поставленную задачу.
Я не могу найти способ, который работает, чтобы рабочий прослушивал SIGTERM должным образом. Самый близкий, который я получил, который работает при запуске python manage.py celeryd
напрямую, но NOT при эмуляции Heroku с использованием мастера, выглядит следующим образом:
@app.task(bind=True, max_retries=1)
def slow(self, x):
try:
for x in range(100):
print 'x: ' + unicode(x)
time.sleep(10)
except exceptions.MaxRetriesExceededError:
logger.error('whoa')
except (exceptions.WorkerShutdown, exceptions.WorkerTerminate) as exc:
logger.error(u'retrying, ' + unicode(exc))
raise self.retry(exc=exc, countdown=10)
except (KeyboardInterrupt, SystemExit) as exc:
print 'retrying'
raise self.retry(exc=exc, countdown=10)
else:
return x
finally:
logger.info('task ended!')
Когда я запускаю задачу celery, выполняющуюся внутри мастера и нажимаю Ctrl + C, происходит следующее:
^CSIGINT received
22:20:59 system | sending SIGTERM to all processes
22:20:59 web.1 | exited with code 0
22:21:04 system | sending SIGKILL to all processes
Killed: 9
Итак, ясно, что ни один из исключений сельдерея, а также исключения KeyboardInterrupt
или SystemExit
, которые я видел в других сообщениях, правильно улавливают SIGTERM и закрывают рабочего.
Каков правильный способ сделать это?