Я хотел бы сканировать веб-сайт, проблема в том, что его полные функции JavaScript, такие как кнопки и, например, при нажатии, они не изменяют URL-адрес, но данные на странице изменяются.
Обычно я использую LWP/Mechanize и т.д. для обхода сайтов, но не поддерживаю JavaScript. любая идея?
Другим вариантом может быть Selenium с WWW:: Selenium модуль
WWW:: Scripter имеет плагин JavaScript, который может быть полезен. Не могу сказать, что я использовал его сам, однако.
WWW::Mechanize::Firefox может быть полезным. таким образом вы можете заставить Firefox обрабатывать сложные проблемы JavaScript, а затем извлекать полученный html файл.
iMacros для IE/Firefox/Chrome - очень гибкий веб-скребок и может управляться с Perl: http://wiki.imacros.net/Perl
Я бы предложил HtmlUnit и Perl-обертку: WWW:: HtmlUnit.