Где я могу начать с веб-бота?

Я просто хочу создать автоматический script, который может работать (желательно) на веб-сервере и просто "нажимает" на объект веб-страницы. Я новичок в Python или на каком-либо другом языке, на котором это будет использоваться, поэтому я подумал, что поеду сюда, чтобы спросить, с чего начать! Это может показаться, что я хочу, чтобы script обманывал рекламу или делал что-то незаконное, но просто взаимодействовал с другим сайтом.

Ответ 1

Это не должно быть Python, я видел это в PHP и Perl, и вы, вероятно, можете сделать это на многих других языках. Общий подход:

1) Вы указываете своему приложению URL-адрес, и он делает HTTP-запрос на этот URL-адрес. Я думаю, что видел это с помощью php/wget. Вероятно, многие другие способы сделать это.

2) Отсканируйте ответ HTTP для других URL-адресов, которые вы хотите использовать "click" (действительно, отправляя им HTTP-запросы), а затем отправляйте запросы на них. Разбор ссылок обычно требует некоторого понимания регулярных выражений (если вы не знакомы с регулярными выражениями, на нем наброситесь - это важный материал;)).

Ответ 2

Я бы рекомендовал использовать элемент управления WebBrowser для пакета .NET. Вы можете получить доступ ко всем элементам DOM и полностью взаимодействовать с любым сайтом. Вот краткая статья

Если вы все еще предпочитаете python, mechanize может быть хорошим способом сделать это.

Ответ 3

Я бы рекомендовал библиотеку Python mechanize. Он предназначен для использования в качестве моделируемого браузера. Я использовал его для управления несколькими веб-интерфейсами от script.

Ответ 4

Я бы, наверное, начинал с Twill - вы можете использовать его язык сценариев или API Python.