Веб-искатель в рубине

Ответ 1

Если вы хотите просто получить содержимое страниц, самый простой способ - использовать функции open-uri. Они не требуют дополнительных драгоценных камней. Вам просто нужно require 'open-uri' и... http://ruby-doc.org/stdlib-2.2.2/libdoc/open-uri/rdoc/OpenURI.html

Для анализа содержимого вы можете использовать Nokogiri или другие драгоценные камни, которые также могут иметь, например, полезный XPATH - технология. Вы можете найти другие библиотеки разбора здесь, на SO.

Ответ 2

Я бы попробовал anemone. Он прост в использовании, особенно если вам нужно написать простой сканер. По-моему, это хорошо спроектировано. Например, я написал ruby ​​script для поиска 404 ошибок на моих сайтах за очень короткое время.

Ответ 3

Возможно, вы захотите проверить wombat, который построен поверх Mechanize/Nokogiri и предоставляет DSL (например, Sinatra, например ) для разбора страниц. Довольно аккуратно:)

Ответ 4

Я работаю над пионером-драгоценным камнем, который не является пауком, а простой асинхронный искатель, основанный на em-synchrony gem

Ответ 5

Я только что выпустил недавно названный Klepto. Его получил довольно простой DSL, он построен на вершине capybara и имеет множество интересных вариантов конфигурации.