Добавление ожидания для элемента при выполнении SplashRequest в python Scrapy

Я пытаюсь очистить несколько динамических сайтов, используя Splash для Scrapy в python. Однако я вижу, что Splash не может дождаться загрузки полной страницы в определенных случаях. Скорее всего, для решения этой проблемы было добавлено большое время wait (например, 5 секунд в приведенном ниже фрагменте). Однако это крайне неэффективно и по-прежнему не загружает определенные данные (иногда загрузка занимает более 5 секунд). Есть ли какое-то условие ожидания для элемента, которое может быть выполнено через эти запросы?

yield SplashRequest(
          url, 
          self.parse, 
          args={'wait': 5},
          'User-Agent':"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36",
          }
)

Ответ 1

Да, вы можете написать скрипт Lua для этого. Что-то вроде того:

function main(splash)
  splash:set_user_agent(splash.args.ua)
  assert(splash:go(splash.args.url))

  -- requires Splash 2.3  
  while not splash:select('.my-element') do
    splash:wait(0.1)
  end
  return {html=splash:html()}
end

До Splash 2.3 вы можете использовать splash:evaljs('!document.querySelector(".my-element")') вместо not splash:select('.my-element').

Сохраните этот скрипт в переменную (lua_script = """... """). Затем вы можете отправить запрос, как это:

yield SplashRequest(
    url, 
    self.parse, 
    endpoint='execute',
    args={
        'lua_source': lua_script,
        'ua': "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36"
    }
}

См. Учебник и справочник по сценариям для получения дополнительной информации о том, как писать сценарии Splash Lua.

Ответ 2

У меня есть аналогичное требование с таймаутами. Мое решение - небольшая модификация выше:

function wait_css(splash, css, maxwait)
    if maxwait == nil then
        maxwait = 10     --default maxwait if not given
    end

    local i=0
    while not splash:select(css) do
       if i==maxwait then
           break     --times out at maxwait secs
       end
       i=i+1
       splash:wait(1)      --each loop has duration 1sec
    end
end

Ответ 3

Вы можете использовать скрипт lua с javascript и splash:wait_for_resume (документация).

function main(splash, args)
  splash.resource_timeout = 60

  assert(splash:go(splash.args.url))

  assert(splash:wait(1))
  splash.scroll_position = {y=500}

  result, error = splash:wait_for_resume([[
    function main(splash) {
      var checkExist = setInterval(function() {
        if (document.querySelector(".css-selector").innerText) {
          clearInterval(checkExist);
          splash.resume();
        }
      }, 1000);
    }
  ]], 30)

  assert(splash:wait(0.5))
  return splash:html()
end

Если вы используете плагин без scrapy-splash, внимание к splash.args.url в splash:go, будет другим.