Есть ли способ вызвать метод в классе Spider перед его завершением?
Я могу закончить сам паук, например:
class MySpider(CrawlSpider):
#Config stuff goes here...
def quit(self):
#Do some stuff...
raise CloseSpider('MySpider is quitting now.')
def my_parser(self, response):
if termination_condition:
self.quit()
#Parsing stuff goes here...
Но я не могу найти никакой информации о том, как определить, когда паук вот-вот бросит естественно.