Динамические start_urls в scrapy - программирование

Я использую scrapy для сканирования нескольких страниц на сайте. Переменная start_urls используется для определения страниц, подлежащих обходу. Сначала я начинал с 1-й страницы, определяя start_urls = [1st page] в файле example_spider.py

Получив больше информации с 1-й страницы, я бы определил, какие страницы будут сканироваться, а затем назначит start_urls соответственно. Следовательно, я должен перезаписать выше example_spider.py с изменениями в start_urls = [1st page, 2nd page, ..., Kth page], а затем снова запустить обход scrapy.

Это лучший подход или есть лучший способ динамически назначать start_urls с помощью scrapy API без перезаписывания example_splider.py? Спасибо.

class Spider(BaseSpider): name = 'my_spider' start_urls = [ 'http://www.domain.com/' ] allowed_domains = ['domain.com'] def parse(self, response): '''Parse main page and extract categories links.''' hxs = HtmlXPathSelector(response) urls = hxs.select("//*[@id='tSubmenuContent']/a[position()>1]/@href").extract() for url in urls: url = urlparse.urljoin(response.url, url) self.log('Found category url: %s' % url) yield Request(url, callback = self.parseCategory) def parseCategory(self, response): '''Parse category page and extract links of the items.''' hxs = HtmlXPathSelector(response) links = hxs.select("//*[@id='_list']//td[@class='tListDesc']/a/@href").extract() for link in links: itemLink = urlparse.urljoin(response.url, link) self.log('Found item link: %s' % itemLink, log.DEBUG) yield Request(itemLink, callback = self.parseItem) def parseItem(self, response): ...

Ответ 1