Подтвердить что ты не робот

Как работать с пользовательским агентом для загрузки веб-страницы с помощью Wget

Я пытаюсь загрузить эту страницу с помощью Wget. Вот ссылка на страницу:

http://cgi.ebay.com/ws/eBayISAPI.dll?ViewItem&rt=nc&item=250972882769&si=a8iGAIchyvEbn7KveYFZ5QbEE7o%3D&print=all&category=31387

И вот мой cmd:

wget -O ebay.html --user-agent = "Mozilla/5.0 (Windows NT 5.2; rv: 2.0.1) Gecko/20100101 Firefox/4.0.1" " http://cgi.ebay.com/ws/eBayISAPI.dll?ViewItem&rt=nc&item=250972882769&si=a8iGAIchyvEbn7KveYFZ5QbEE7o%3D&print=all&category=31387"

Когда я использую его для доступа к странице с помощью браузера, он отлично работает. Когда я использую Wget, он загружает другую страницу, а не оригинальную. Я думаю, что проблема заключается в пользовательском агенте. Какое решение?

4b9b3361

ОТВЕТЫ

Ответ 1

Проблема заключается не в пользовательском агенте, а в отсутствии файла cookie или файлов cookie. Решение

  • Получить обычную страницу продукта с помощью wget -save-cookies = ebay-cookies,
  • Удалите URL-адрес ссылки "Печать" из этого файла HTML. (Я сделал это вручную, вы должны, очевидно, написать script, чтобы сделать это.)
  • Получить URL-адрес "Печать" с помощью wget -load-cookies = ebay-cookies

Я попробовал это со случайной страницей продукта; он работал.