Я успешно попытался экспортировать свои элементы в файл csv из командной строки, например:
scrapy crawl spiderName -o filename.csv
Мой вопрос: Какое самое простое решение сделать в коде? Мне нужно это, поскольку я извлекаю имя файла из другого файла. Конец сценария должен быть, я звоню
scrapy crawl spiderName
и он записывает элементы в filename.csv
Почему бы не использовать конвейер элементов?
WriteToCsv.py
import csv
from YOUR_PROJECT_NAME_HERE import settings
def write_to_csv(item):
writer = csv.writer(open(settings.csv_file_path, 'a'), lineterminator='\n')
writer.writerow([item[key] for key in item.keys()])
class WriteToCsv(object):
def process_item(self, item, spider):
write_to_csv(item)
return item
settings.py
ITEM_PIPELINES = { 'project.pipelines_path.WriteToCsv.WriteToCsv' : A_NUMBER_HIGHER_THAN_ALL_OTHER_PIPELINES}
csv_file_path = PATH_TO_CSV
Если вы хотите, чтобы элементы были записаны для разделения csv для отдельных пауков, вы можете дать вашему паучу поле CSV_PATH. Затем в вашем конвейере используйте поле ваших пауков вместо пути от setttigs.
Это работает, я тестировал его в своем проекте.
НТН
То, что предоставляет Feed Exports для: http://doc.scrapy.org/en/latest/topics/feed-exports.html
Одной из наиболее часто требуемых функций при реализации скреперов является возможность правильно хранить скребковые данные, и довольно часто это означает создание "файла экспорта" со скребковыми данными (обычно называемыми "фид экспорта" ), которые должны быть использованы другими системами.
Scrapy предоставляет эту функциональность из коробки с помощью Feed Exports, которая позволяет вам создавать фид со скребками, используя несколько форматов сериализации и хранилища.