Как читать заголовки ответов, возвращенные с помощью запроса PyCurl?
Как читать заголовок с помощью pycurl
Ответ 1
Существует несколько решений (по умолчанию они отбрасываются). Вот пример с использованием опции HEADERFUNCTION, которая позволяет указать для их обработки.
Другими решениями являются опции WRITEHEADER (несовместимые с WRITEFUNCTION) или установки HEADER в значение True, чтобы они были переданы с телом.
#!/usr/bin/python
import pycurl
import sys
class Storage:
def __init__(self):
self.contents = ''
self.line = 0
def store(self, buf):
self.line = self.line + 1
self.contents = "%s%i: %s" % (self.contents, self.line, buf)
def __str__(self):
return self.contents
retrieved_body = Storage()
retrieved_headers = Storage()
c = pycurl.Curl()
c.setopt(c.URL, 'http://www.demaziere.fr/eve/')
c.setopt(c.WRITEFUNCTION, retrieved_body.store)
c.setopt(c.HEADERFUNCTION, retrieved_headers.store)
c.perform()
c.close()
print retrieved_headers
print retrieved_body
Ответ 2
import pycurl
from StringIO import StringIO
headers = StringIO()
c = pycurl.Curl()
c.setopt(c.URL, url)
c.setopt(c.HEADER, 1)
c.setopt(c.NOBODY, 1) # header only, no body
c.setopt(c.HEADERFUNCTION, headers.write)
c.perform()
print headers.getvalue()
При необходимости добавьте любые другие завитки, например FOLLOWLOCATION.
Ответ 3
Anothr alternate, human_curl usage: pip human_curl
In [1]: import human_curl as hurl
In [2]: r = hurl.get("http://stackoverflow.com")
In [3]: r.headers
Out[3]:
{'cache-control': 'public, max-age=45',
'content-length': '198515',
'content-type': 'text/html; charset=utf-8',
'date': 'Thu, 01 Sep 2011 11:53:43 GMT',
'expires': 'Thu, 01 Sep 2011 11:54:28 GMT',
'last-modified': 'Thu, 01 Sep 2011 11:53:28 GMT',
'vary': '*'}
Ответ 4
Это может быть или не быть альтернативой для вас:
import urllib
headers = urllib.urlopen('http://www.pythonchallenge.com').headers.headers