У меня проблема. Мне нужно некоторое время прекратить выполнение функции, но не останавливать реализацию синтаксического анализа в целом. То есть, мне нужна неблокирующая пауза.
Похоже:
class ScrapySpider(Spider):
name = 'live_function'
def start_requests(self):
yield Request('some url', callback=self.non_stop_function)
def non_stop_function(self, response):
for url in ['url1', 'url2', 'url3', 'more urls']:
yield Request(url, callback=self.second_parse_function)
# Here I need some function for sleep only this function like time.sleep(10)
yield Request('some url', callback=self.non_stop_function) # Call itself
def second_parse_function(self, response):
pass
Функция non_stop_function должна быть остановлена на некоторое время, но она не должна блокировать остальную часть вывода.
Если я вставляю time.sleep()
- он остановит весь синтаксический анализатор, но мне он не нужен. Можно ли остановить одну функцию, используя twisted
или что-то еще?
Причина: мне нужно создать неблокирующую функцию, которая будет анализировать страницу сайта каждые n секунд. Там она получит URL-адреса и заполнит 10 секунд. Полученные URL-адреса будут продолжать работать, но основная функция должна спать.
ОБНОВЛЕНИЕ:
Благодаря TkTech и черезchch. Один из ответов помог мне понять, как сделать ожидающий Request
, а второй - как его активировать. Оба ответа дополняют друг друга, и я сделал отличную неблокирующую паузу для Scrapy:
def call_after_pause(self, response):
d = Deferred()
reactor.callLater(10.0, d.callback, Request(
'https://example.com/',
callback=self.non_stop_function,
dont_filter=True))
return d
И используйте эту функцию для моего запроса:
yield Request('https://example.com/', callback=self.call_after_pause, dont_filter=True)