Я делаю несколько http-запросов к определенному хосту, используя библиотеку python urllib2. Каждый раз, когда выполняется запрос, создается новое соединение tcp и http, которое занимает заметное количество времени. Есть ли способ сохранить соединение tcp/http с помощью urllib2?
Как ускорить работу Python urllib2 при выполнении нескольких запросов
Ответ 1
Если вы переключитесь на httplib, у вас будет более тонкий контроль над базовым соединением.
Например:
import httplib
conn = httplib.HTTPConnection(url)
conn.request('GET', '/foo')
r1 = conn.getresponse()
r1.read()
conn.request('GET', '/bar')
r2 = conn.getresponse()
r2.read()
conn.close()
Это отправит 2 HTTP GET в одно и то же базовое TCP-соединение.
Ответ 2
Я использовал стороннюю urllib3
библиотеку, чтобы иметь хороший эффект в прошлом. Он предназначен для дополнения urllib2
путем объединения соединений для повторного использования.
Измененный пример из wiki:
>>> from urllib3 import HTTPConnectionPool
>>> # Create a connection pool for a specific host
... http_pool = HTTPConnectionPool('www.google.com')
>>> # simple GET request, for example
... r = http_pool.urlopen('GET', '/')
>>> print r.status, len(r.data)
200 28050
>>> r = http_pool.urlopen('GET', '/search?q=hello+world')
>>> print r.status, len(r.data)
200 79124
Ответ 3
Если вам нужно что-то более автоматическое, чем обычный httplib, это может помочь, хотя оно не является потоковым.
try:
from http.client import HTTPConnection, HTTPSConnection
except ImportError:
from httplib import HTTPConnection, HTTPSConnection
import select
connections = {}
def request(method, url, body=None, headers={}, **kwargs):
scheme, _, host, path = url.split('/', 3)
h = connections.get((scheme, host))
if h and select.select([h.sock], [], [], 0)[0]:
h.close()
h = None
if not h:
Connection = HTTPConnection if scheme == 'http:' else HTTPSConnection
h = connections[(scheme, host)] = Connection(host, **kwargs)
h.request(method, '/' + path, body, headers)
return h.getresponse()
def urlopen(url, data=None, *args, **kwargs):
resp = request('POST' if data else 'GET', url, data, *args, **kwargs)
assert resp.status < 400, (resp.status, resp.reason, resp.read())
return resp