Scrapy или Selenium или Mechanize для очистки веб-данных?

Я хочу очистить некоторые данные с веб-сайта.

В принципе, веб-сайт имеет несколько табличных дисплеев и показывает около 50 записей. Для получения дополнительных записей пользователь должен нажать кнопку, которая делает вызов ajax get и показывать следующие 50 записей.

У меня есть предыдущее знание Selenium webdriver (Python). Я могу сделать это очень быстро в Селене. Но Selenium - это скорее инструмент автоматизации, и он очень медленный.

Я сделал несколько R & D и обнаружил, что используя Scrapy или Mechanize, я также могу сделать то же самое.

Должен ли я пойти на Scrapy или Mechanize или Selenium для этого?

Ответ 1

Я бы порекомендовал вам пойти с комбинацией Mechanize и ExecJS (https://github.com/sstephenson/execjs) для выполнения любых запросов javascript, с которыми вы могли столкнуться. Я использовал эти два драгоценных камня в комбинации довольно долгое время, и они отлично справляются.

Вы должны выбрать это вместо Selenium, потому что это будет намного быстрее по сравнению с тем, чтобы отобразить всю страницу в безгласном браузере.

Ответ 2

Определенно, я бы выбрал Scrapy. Если вы не можете обрабатывать javascript, вы можете попробовать с помощью Scrapy + splash. Scrapy - это самый быстрый инструмент для веб-соскабливания, о котором я знаю. Удачи!