Я ищу автоматизировать некоторые веб-взаимодействия, а именно периодическую загрузку файлов с защищенного веб-сайта. Это в основном включает ввод моего имени пользователя/пароля и переход к соответствующему URL-адресу.
Я пробовал простые скрипты в Python, а затем более сложные скрипты, но только для того, чтобы обнаружить, что этот конкретный сайт использует какой-то неприятный механизм javascript и flash для входа в систему, что делает мои методы бесполезными.
Затем я попробовал HTMLUnit, но, похоже, он тоже не хочет работать. Я подозреваю, что использование Flash - проблема.
Я больше не хочу об этом думать, поэтому я склоняюсь к написанию фактического браузера для входа в систему и захвата файла, который мне нужен.
Требования:
- Запуск на сервере Linux (т.е. без запуска X). Если мне действительно нужно иметь X, я могу это сделать, но я не буду счастлив.
- Будьте надежны. Я хочу начать это и никогда больше не думать об этом.
- Будь сценарием. Ничего слишком сложного, но я должен быть в состоянии рассказать браузеру о различных шагах и страницах, которые нужно посетить.
Есть ли какие-нибудь хорошие инструменты для безголового, X-less скриптового браузера? Вы пробовали что-то подобное, и если у вас есть какие-то слова мудрости?