Я хочу написать веб-искатель, который может интерпретировать JavaScript. В основном это программа на Java или PHP, которая принимает URL-адрес в качестве входных данных и выводит дерево DOM, которое аналогично выходу в окне HTML Firebug. Лучшим примером является Kayak.com, где вы не можете видеть, что итоговый DOM отображается в браузере при просмотре источника, но может сохранить полученный HTML, хотя Firebug.
Как мне это сделать? Какие существуют инструменты, которые помогут мне?
Ruby Capybara - это библиотека интеграционных тестов, но она также может использоваться для написания автономных веб-сканеров. Учитывая, что он использует бэкэнды, такие как Selenium или headless WebKit, он интерпретирует javascript из коробки:
require 'capybara/dsl'
require 'capybara-webkit'
include Capybara::DSL
Capybara.current_driver = :webkit
Capybara.app_host = "http://www.google.com"
page.visit("/")
puts(page.html)
Я использовал HtmlUnit (Java). Это было первоначально разработано для страниц тестирования модулей. Это не идеальный javascript, но он не подвел меня в моем ограниченном использовании. Согласно сайту, он может в достаточной степени запустить следующие JS-рамки:
У вас больше шансов на успех в Java, чем на PHP. Существует уже существующий интерпретатор Javascript для Java, называемый Rhino. Это эталонная реализация и хорошо документированная.
Rhino используется во многих существующих Java-приложениях для обеспечения возможности Javascript-скриптов в приложении. Я также слышал об этом, чтобы помочь с выполнением автоматических тестов в Javascript.
Я также знаю, что Java включает в себя код, который может анализировать и отображать HTML, хотя тот, кто знает больше о Java, чем я, может, вероятно, посоветуйте больше об этом. Я не отрицаю, что было бы очень трудно добиться чего-то подобного; вы по существу перепрофилируете много того, что делает браузер.
Вы можете использовать движок рендеринга Mozilla Gecko:
Посмотрите здесь: http://snippets.scrapy.org/snippets/22/ это скребок экрана python и веб-обходной фреймворк, используемый с веб-серверами, которые открывают страницу, отображают все, что вам нужно, и дают вам возможность "захватить" все, что вы хотите на странице, через