Proxy + Selenium + PhantomJS не может изменять User-Agent

При использовании прокси с phantomjs он использует пользовательский агент python по умолчанию.

Запуск: Python 3.5.1 на ubuntu 14.04

service_args = []

if self.proxy:
    service_args.extend([
        '--proxy={}:{}'.format(self.proxy.host, self.proxy.port),
        '--proxy-type={}'.format(self.proxy.proto),
    ])

    if self.proxy.username and self.proxy.password:
        service_args.append(
            '--proxy-auth={}:{}'.format(self.proxy.username, self.proxy.password)
        )

dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = (
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/53 "
    "(KHTML, like Gecko) Chrome/15.0.87"
)

self.webdriver = webdriver.PhantomJS(service_args=service_args, desired_capabilities=dcap)

И ошибка:

Сообщение: Сообщение об ошибке = > 'Не удается найти элемент с селектором css '#navcnt td.cur' ', вызванный Request = > { "заголовки": { "Accept": "приложения/JSON", "Accept-Encoding": "идентичность", "соединение": "закрыть", "Content-Length": "105", "Content-Type": "приложения/JSON; кодировка = UTF-8", "Хост": "127.0.0.1:39281", "User-Agent": "Python-urllib/3.5" }...

В аналогичном вопросе было высказано предположение, что проблема вызвана провайдером прокси, установив пользовательский агент на уровне сервера, однако я сомневаюсь, что здесь дело, так как я могу его модифицировать с использованием прокси с хром.

dcap = dict(DesiredCapabilities.PHANTOMJS) dcap["phantomjs.page.settings.userAgent"] = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/53 (KHTML, like Gecko) Chrome/15.0.87" service_args = [ '--proxy=5.135.176.41:3123', '--proxy-type=http', ] phantom = webdriver.PhantomJS(js_path, desired_capabilities=dcap, service_args =service_args) print(phantom.capabilities)

{'databaseEnabled': False, 'handlesAlerts': False, 'rotatable': False, 'browserConnectionEnabled': False, 'browserName': 'phantomjs', 'takesScreenshot': True, 'nativeEvents': True, 'locationContextEnabled': False, 'phantomjs.page.settings.userAgent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/53 (KHTML, like Gecko) Chrome/15.0.87', 'platform': 'linux-unknown-64bit', 'version': '2.1.1', 'applicationCacheEnabled': False, 'driverName': 'ghostdriver', 'webStorageEnabled': False, 'javascriptEnabled': True, 'cssSelectorsEnabled': True, 'proxy': {'proxyType': 'direct'}, 'acceptSslCerts': False, 'driverVersion': '1.2.0'}

dcap = dict(DesiredCapabilities.PHANTOMJS) dcap["phantomjs.page.settings.userAgent"] = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/53 (KHTML, like Gecko) Chrome/15.0.87" phantom = webdriver.PhantomJS(js_path, desired_capabilities=dcap) phantom.capabilities["acceptSslCerts"] = True phantom.capabilities["proxy"] = {"proxy": "5.135.176.41:3123", "proxy-type": "http"} max_wait = 20 phantom.set_window_size(1024, 768) phantom.set_page_load_timeout(max_wait) phantom.set_script_timeout(max_wait) phantom.get(url)

Ответ 1