Scrapy: как вручную вставить запрос из обратного вызова события spider_idle?

Я создал паука и связал метод с событием spider_idle.

Как добавить запрос вручную? Я не могу просто вернуть элемент из parse - в этом случае не выполняется синтаксический анализ, поскольку все известные URL-адреса были проанализированы. У меня есть метод для генерации новых запросов, и я хотел бы запустить его из обратного вызова spider_idle, чтобы добавить созданный запрос (ы).

class FooSpider(BaseSpider):
    name = 'foo'

    def __init__(self):
        dispatcher.connect(self.dont_close_me, signals.spider_idle)

    def dont_close_me(self, spider):
        if spider != self:
            return
        # The engine instance will allow me to schedule requests, but
        # how do I get the engine object?
        engine = unknown_get_engine()
        engine.schedule(self.create_request())

        # afterward, ensure we stay alive by raising DontCloseSpider
        raise DontCloseSpider("..I prefer live spiders.")

ОБНОВЛЕНИЕ: Я решил, что мне, вероятно, нужен объект ExecutionEngine, но я точно не знаю, как это получить от паука, хотя он доступен из экземпляра Crawler.

ОБНОВЛЕНИЕ 2:..thanks...crawler прикреплен как свойство суперкласса, поэтому я могу просто использовать self.crawler без каких-либо дополнительных усилий. > . >

Ответ 1