У меня есть веб-обход python script, на который уходит много часов, и он не может быть запущен полностью на моей локальной машине. Есть ли удобный способ развернуть это на простой веб-сервер? script в основном загружает веб-страницы в текстовые файлы. Как это лучше всего сделать? Спасибо!
Каков самый простой способ запуска скриптов python на сервере облаков?
Ответ 1
Поскольку вы сказали, что производительность - это проблема, и вы делаете веб-скребок, первое, что нужно попробовать, - это Scrapy framework - it это очень быстрая и простая в использовании веб-скребка. scrapyd инструмент позволит вам распространять обход - вы можете иметь несколько служб scrapyd, работающих на разных серверах, и разделять нагрузку между ними. См:
Существует также Scrapy Cloud:
Scrapy Cloud объединяет высокоэффективную разработку Scrapy окружающей среды с надежной, полнофункциональной производственной средой для развертывание и запуск ваших обходов. Это похоже на Heroku для Scrapy, хотя другие технологии будут поддерживаться в ближайшем будущем. Он работает верхней части платформы Scrapinghub, что означает, что ваш проект может масштабироваться при необходимости.
Ответ 2
Есть несколько мест, где вы можете это сделать. Просто google для "python in the cloud", вы придумаете несколько, например https://www.pythonanywhere.com/.
Кроме того, есть также несколько облачных IDE, которые по существу дают вам небольшую виртуальную машину бесплатно, где вы можете разработать свой код в веб-среде IDE, а также запустить ее в виртуальной машине, одним из примеров является http://www.c9.io.
Ответ 3
В качестве альтернативы уже предоставленным решениям я бы предложил Heroku. Вы можете не просто легко развертывать веб-сайт, но и сценарии для запуска ботов.
Базовая учетная запись бесплатна и довольно гибкая.
Эта запись в блоге, этот и это видео содержит практические примеры того, как заставить его работать.
Ответ 4
В качестве другой альтернативы, вы можете скопировать и вставить свой скрипт в WayScript (не нужно менять код или что-то настраивать).