Как очистить страницы с динамическим контентом с помощью node.js?

Я пытаюсь очистить сайт, но я не получаю некоторые элементы, потому что эти элементы динамически создаются.

Я использую cheerio в node.js, а мой код ниже.

var request = require('request');
var cheerio = require('cheerio');
var url = "http://www.bdtong.co.kr/index.php?c_category=C02";

request(url, function (err, res, html) {
    var $ = cheerio.load(html);
    $('.listMain > li').each(function () {
        console.log($(this).find('a').attr('href'));
    });
});

Этот код возвращает пустой ответ, потому что при загрузке страницы <ul id="store_list" class="listMain"> пуст.

Содержимое еще не добавлено.

Как я могу получить эти элементы с помощью node.js? Как очистить страницы с динамическим контентом?

Ответ 1

Здесь вы идете;

var phantom = require('phantom');

phantom.create(function (ph) {
  ph.createPage(function (page) {
    var url = "http://www.bdtong.co.kr/index.php?c_category=C02";
    page.open(url, function() {
      page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() {
        page.evaluate(function() {
          $('.listMain > li').each(function () {
            console.log($(this).find('a').attr('href'));
          });
        }, function(){
          ph.exit()
        });
      });
    });
  });
});

Ответ 2

Проверьте GoogleChrome/кукловод

Безголовый API Chrome Node

Это делает соскоб довольно тривиальным. Следующий пример очистит заголовок на npmjs.com (при условии, что .npm-expansions остается)

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();

  await page.goto('https://www.npmjs.com/');

  const textContent = await page.evaluate(() => {
    return document.querySelector('.npm-expansions').textContent
  });

  console.log(textContent); /* No Problem Mate */

  browser.close();
})();

evaluate позволит проверить динамический элемент, так как это будет запускать сценарии на странице.

Ответ 3

Используйте новый модуль npm x-ray с помощью подключаемого веб-драйвера x-ray-phantom.

Примеры на страницах выше, но здесь, как делать динамические выскабливания:

var phantom = require('x-ray-phantom');
var Xray = require('x-ray');

var x = Xray()
  .driver(phantom());

x('http://google.com', 'title')(function(err, str) {
  if (err) return done(err);
  assert.equal('Google', str);
  done();
})

Ответ 4

Самым простым и надежным решением является использование кукловода. Как уже упоминалось в https://pusher.com/tutorials/web-scraper-node, он подходит для статического + динамического утилизации.

Измените время ожидания только в Browser.js, TimeoutSettings.js, Launcher.js с 300000 на 3000000.