Я использую большую библиотеку Requests в своем Python script:
import requests
r = requests.get("some-site.com")
print r.text
Я хотел бы использовать прокси-сервер socks. Но запросы только поддерживают HTTP-прокси.
Как я могу это сделать?
Я использую большую библиотеку Requests в своем Python script:
import requests
r = requests.get("some-site.com")
print r.text
Я хотел бы использовать прокси-сервер socks. Но запросы только поддерживают HTTP-прокси.
Как я могу это сделать?
Современный способ:
pip install -U requests[socks]
затем
import requests
resp = requests.get('http://go.to',
proxies=dict(http='socks5://user:[email protected]:port',
https='socks5://user:[email protected]:port'))
Начиная с версии requests
2.10.0, выпущенной в 2016-04-29, requests
поддерживает SOCKS.
Для этого требуется PySocks, который можно установить с помощью pip install pysocks
.
Пример использования:
import requests
proxies = {'http': "socks5://myproxy:9191"}
requests.get('http://example.org', proxies=proxies)
Вам нужно установить pysocks, моя версия 1.0, и код работает для меня:
import socket
import socks
import requests
ip='localhost' # change your proxy ip
port = 0000 # change your proxy port
socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, ip, port)
socket.socket = socks.socksocket
url = u'http://ajax.googleapis.com/ajax/services/search/images?v=1.0&q=inurl%E8%A2%8B'
print(requests.get(url).text)
Если кто-то попробовал все эти более старые ответы и все еще сталкивается с такими проблемами, как requests.exceptions.ConnectionError: SOCKSHTTPConnectionPool(host='myhost', port=80): Max retries exceeded with url: /my/path (Caused by NewConnectionError('<requests.packages.urllib3.contrib.socks.SOCKSConnection object at 0x106812bd0>: Failed to establish a new connection: [Errno 8] nodename nor servname provided, or not known',))
, это может быть потому, что по умолчанию запросы настроены для разрешения DNS-запросов на локальной стороне соединения.
Попробуйте изменить URL-адрес прокси-сервера от socks5://proxyhost:1234
до socks5h://proxyhost:1234
. Обратите внимание на дополнительный h
(это означает разрешение имени хоста).
По умолчанию модуль пакета PySocks выполняет удаленное разрешение, и я не уверен, почему запросы их интеграция, это неясно расходятся, но мы здесь.
Я установил pysocks и обезьяну исправил create_connection в urllib3, например:
import socks
import socket
socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS4, "127.0.0.1", 1080)
def create_connection(address, timeout=socket._GLOBAL_DEFAULT_TIMEOUT,
source_address=None, socket_options=None):
"""Connect to *address* and return the socket object.
Convenience function. Connect to *address* (a 2-tuple ``(host,
port)``) and return the socket object. Passing the optional
*timeout* parameter will set the timeout on the socket instance
before attempting to connect. If no *timeout* is supplied, the
global default timeout setting returned by :func:`getdefaulttimeout`
is used. If *source_address* is set it must be a tuple of (host, port)
for the socket to bind as a source address before making the connection.
An host of '' or port 0 tells the OS to use the default.
"""
host, port = address
if host.startswith('['):
host = host.strip('[]')
err = None
for res in socket.getaddrinfo(host, port, 0, socket.SOCK_STREAM):
af, socktype, proto, canonname, sa = res
sock = None
try:
sock = socks.socksocket(af, socktype, proto)
# If provided, set socket level options before connecting.
# This is the only addition urllib3 makes to this function.
urllib3.util.connection._set_socket_options(sock, socket_options)
if timeout is not socket._GLOBAL_DEFAULT_TIMEOUT:
sock.settimeout(timeout)
if source_address:
sock.bind(source_address)
sock.connect(sa)
return sock
except socket.error as e:
err = e
if sock is not None:
sock.close()
sock = None
if err is not None:
raise err
raise socket.error("getaddrinfo returns an empty list")
# monkeypatch
urllib3.util.connection.create_connection = create_connection
Как только python requests
будет объединен с запросом pull SOCKS5
, он будет делать так же просто, как использование словаря proxies
:
#proxy
# SOCKS5 proxy for HTTP/HTTPS
proxies = {
'http' : "socks5://myproxy:9191",
'https' : "socks5://myproxy:9191"
}
#headers
headers = {
}
url='http://icanhazip.com/'
res = requests.get(url, headers=headers, proxies=proxies)
Смотрите Поддержка прокси-сервера SOCKS
Другие опции, если вы не можете ждать request
, чтобы быть готовым, когда вы не можете использовать requesocks
- как в GoogleAppEngine из-за отсутствия встроенного модуля pwd
, следует использовать PySocks, о котором говорилось выше:
socks.py
из репо и поместите копию в корневую папку;import socks
и import socket
В этот момент настройте и привяжите сокет перед использованием с помощью urllib2
- в следующем примере:
import urllib2
import socket
import socks
socks.set_default_proxy(socks.SOCKS5, "myprivateproxy.net",port=9050)
socket.socket = socks.socksocket
res=urllib2.urlopen(url).read()
Возможно, это может помочь:
# SOCKS5 proxy for HTTP/HTTPS
proxiesDict = {
'http' : "socks5://1.2.3.4:1080",
'https' : "socks5://1.2.3.4:1080"
}
# SOCKS4 proxy for HTTP/HTTPS
proxiesDict = {
'http' : "socks4://1.2.3.4:1080",
'https' : "socks4://1.2.3.4:1080"
}
# HTTP proxy for HTTP/HTTPS
proxiesDict = {
'http' : "1.2.3.4:1080",
'https' : "1.2.3.4:1080"
}