R показывает другой HTML (по сравнению с веб-браузером) для одного и того же URL-адреса Google Search

Цель

Я хотел бы использовать R для загрузки HTML-страницы Google Search, как показано в веб-браузере.

Проблема

Когда я загружаю веб-страницу Google Search HTML в R, используя тот же URL-адрес из веб-браузера, я заметил, что загруженный R-код отличается от веб-браузера HTML, например. для продвинутого URL-адреса Google, параметр даты игнорируется в HTML, читаемом R, тогда как в веб-браузере он сохраняется.

Пример

Я использую Google Search в своем веб-браузере для "West End Theater" и задаю диапазон дат с 1 января по 31 января 2012 года. Затем я копирую сгенерированный URL-адрес и вставляю его в R.

# Google Search URL from Firefox web browser
url <- "http://www.google.co.uk/search?q=west+end+theatre&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:en-GB:official&client=firefox-a#q=west+end+theatre&hl=en&client=firefox-a&hs=z7I&rls=org.mozilla:en-GB%3Aofficial&prmd=imvns&sa=X&ei=rJE7T8fwM82WhQe_6eD2CQ&ved=0CGoQpwUoBw&source=lnt&tbs=cdr:1%2Ccd_min%3A1%2F1%2F2012%2Ccd_max%3A31%2F1%2F2012&tbm=&bav=on.2,or.r_gc.r_pw.r_qf.,cf.osb&fp=6f92152f78004c6d&biw=1600&bih=810"
u <- URLdecode(url)

# Webpage as seen in browser
browseURL(u)

# Webpage as seen from R
HTML <- paste(readLines(u), collapse = "\n")
cat(HTML, file = "output01.html")
shell.exec("output01.html")

# Webpage as seen from R through RCurl
library(RCurl)
cookie = 'cookiefile.txt'
curl = getCurlHandle(cookiefile = cookie,
                     useragent =  "Mozilla/5.0 (Windows; U; Windows NT 5.1; en - US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6",
                     header = FALSE,
                     verbose = TRUE,
                     netrc = TRUE,
                     maxredirs = as.integer(20),
                     followlocation = TRUE,
                     ssl.verifypeer = TRUE,
                     cainfo = system.file("CurlSSL", "cacert.pem", package = "RCurl"))
HTML2 <- getURL(u, curl = curl)
cat(HTML2, file = "output02.html")
shell.exec("output02.html")

Запустив автономный код выше, я вижу, что первая открытая веб-страница - это то, что я хочу (с принудительным параметром даты), но на втором и третьем веб-страницах, которые открываются (как загружено через R), есть параметр даты игнорируются.

Вопрос

Как загрузить HTML-версию для первой веб-страницы, которая открывается вместо вторых/третьих веб-страниц?

Информация о системе

> sessionInfo()
R version 2.14.0 (2011-10-31)
Platform: x86_64-pc-mingw32/x64 (64-bit)

locale:
[1] LC_COLLATE=English_United Kingdom.1252  LC_CTYPE=English_United Kingdom.1252    LC_MONETARY=English_United Kingdom.1252 LC_NUMERIC=C                           
[5] LC_TIME=English_United Kingdom.1252    

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
[1] RCurl_1.6-10.1 bitops_1.0-4.1

loaded via a namespace (and not attached):
[1] tools_2.14.0

Ответ 1

Вместо того, чтобы пытаться декодировать результаты поисковых страниц Google, вы можете просто использовать API пользовательского поиска. После получения ключа API вы сможете указать критерии поиска по URL-адресу и получить файл JSON вместо того, чтобы декодировать HTML. Пакет rjson поможет вам прочитать файл JSON в R-объект и извлечь соответствующие данные.

Вы будете ограничены 1000 запросами в день, но с ними было бы намного легче работать.

EDIT: Примечательно, что API пользовательского поиска устарел.

Ответ 2

Часть вашей проблемы заключается в том, что Google профилировал вас и возвращает совпадения на основе того, что он знает из ваших предыдущих запросов, обсуждений в Gmail, google использование карт, IP-адрес, данные о местоположении, просмотренные объявления, социальные контакты и другие услуги. Это происходит даже в том случае, если у вас нет учетной записи google.

Индивидуальная персонализация: Когда вы вошли в учетную запись Google с историей веб-поиска, Google персонализирует ваш поиск на основе того, что вы искали и какие сайты вы посещали в прошлом.

Выделенная персонализация: Когда вы не вошли в систему, Google настраивает ваши поисковые запросы на основе прошлой поисковой информации, связанной с вашим браузером, используя файл cookie. В Google хранится до 180 дней после входа в систему активность, связанная с вашим файлом cookie браузеров, включая запросы и результаты нажмите.

Единственный способ сделать ваши автоматизированные результаты соответствуют вашему руководству, чтобы попытаться сопоставить ваш профиль. По крайней мере, вы должны попробовать отправить ту же строку User-Agent, что и ваш браузер, и те же файлы cookie. Вы можете узнать, что это, обнюхивая ваши HTTP-запросы в сети или используя аддон браузера, такой как Live HTTP Headers.

Что касается того, почему дата фильтруется, я думаю, что комментарий jbaums охватывает это. Там кое-что происходит на стороне клиента, которая обрабатывает фильтрацию и результаты в то время как вы. Возможно, есть способ обойти это, но если вы можете запустить старый интерфейс googles перед добавлением материала AJAX. Посмотрите, что вы получаете от Google в своем браузере, если отключить Javascript.