Скремблирование веб-страницы, созданной javascript с помощью С#

Ответ 1

Проблема заключается в том, что браузер обычно выполняет javascript, и это приводит к обновлению DOM. Если вы не сможете проанализировать javascript или перехватить данные, которые он использует, вам нужно будет выполнить код в качестве браузера. Раньше я сталкивался с тем же вопросом, я использовал селен и PhantomJS для отображения страницы. После того, как он отобразит страницу, я бы использовал клиент WebDriver для навигации по DOM и получения содержимого, которое мне нужно, после AJAX.

На высоком уровне это следующие шаги:

• Установленный селен: http://docs.seleniumhq.org/
• Начал концентрацию селена как услугу
• Загруженные phantomjs (безголовый браузер, который может выполнять javascript): http://phantomjs.org/
• Запущен phantomjs в режиме webdriver, указывающий на концентратор селена
• В моем приложении скремблирования установлен пакет nuget клиента webdriver: Install-Package Selenium.WebDriver

Вот пример использования webdriver phantomjs:

var options = new PhantomJSOptions();
options.AddAdditionalCapability("IsJavaScriptEnabled",true);

var driver = new RemoteWebDriver( new URI(Configuration.SeleniumServerHub),
                    options.ToCapabilities(),
                    TimeSpan.FromSeconds(3)
                  );
driver.Url = "http://www.regulations.gov/#!documentDetail;D=APHIS-2013-0013-0083";
driver.Navigate();
//the driver can now provide you with what you need (it will execute the script)
//get the source of the page
var source = driver.PageSource;
//fully navigate the dom
var pathElement = driver.FindElementById("some-id");

Более подробную информацию о selenium, phantomjs и webdriver можно найти по ссылкам:

http://docs.seleniumhq.org/

http://docs.seleniumhq.org/projects/webdriver/

http://phantomjs.org/

EDIT: более простой способ

Похоже, для фантомов есть пакет nuget, так что вам не нужен концентратор (я использовал кластер для массового обхода таким образом):

Установите веб-драйвер:

Install-Package Selenium.WebDriver

Установите встроенный exe:

Install-Package phantomjs.exe

Обновленный код:

var driver = new PhantomJSDriver();
driver.Url = "http://www.regulations.gov/#!documentDetail;D=APHIS-2013-0013-0083";
driver.Navigate();
//the driver can now provide you with what you need (it will execute the script)
//get the source of the page
var source = driver.PageSource;
//fully navigate the dom
var pathElement = driver.FindElementById("some-id");

Ответ 2

ok Я покажу вам, как включить javascript, используя phantomjs и selenuim с С#

• создайте новое имя проекта консоли, как хотите
• перейдите в редактор решений в правой руке.
• щелкните правой кнопкой мыши на ссылке, нажмите "Управление пакетами NuGet"
• окна показывают, что нажмите на просмотр, а затем установите Selenium.WebDriver
• downold phantomjs отсюда Phantomjs

• в вашей основной функции введите этот код

      var options = new PhantomJSOptions();
      options.AddAdditionalCapability("IsJavaScriptEnabled", true);
      IWebDriver driver = new PhantomJSDriver("phantomjs Folder Path", options);
      driver.Navigate().GoToUrl("https://www.yourwebsite.com/");
  
      try
      {
          string pagesource = driver.PageSource;
          driver.FindElement(By.Id("yourelement"));
          Console.Write("yourelement founded");
  
      }
      catch (Exception e)
      {
          Console.WriteLine(e.Message);
  
      }
  
      Console.Read();
  

не забудьте поставить свой веб-сайт и элемент, который вы ищете, и путь phantomjs.exe на вашем компьютере в этом коде ниже

имеют отличное время кодирования и спасибо wbennett

Ответ 3

Благодаря wbennet, обнаружил https://phantomjscloud.com. Достаточно бесплатный сервис, чтобы ломать страницы через веб-звонки API.

    public static string GetPagePhantomJs(string url)
    {
        using (var client = new System.Net.Http.HttpClient())
        {
            client.DefaultRequestHeaders.ExpectContinue = false;
            var pageRequestJson = new System.Net.Http.StringContent(@"{'url':'" + url + "','renderType':'html','outputAsJson':false }");
            var response = client.PostAsync("https://PhantomJsCloud.com/api/browser/v2/{YOUT_API_KEY}/", pageRequestJson).Result;
            return response.Content.ReadAsStringAsync().Result;
        }
    }

Да уж.