Я пытаюсь написать веб-прокси в python. Цель состоит в том, чтобы посетить URL-адрес, например: http://proxyurl/http://anothersite.com/ и посмотреть содержимое http://anothersite.com, как обычно. Я получил прилично далеко, злоупотребляя библиотекой запросов, но на самом деле это не намеренное использование структуры запросов. Ранее я писал прокси с twisted, но я не уверен, как связать это с тем, что я пытаюсь сделать. Здесь, где я до сих пор...
import os
import urlparse
import requests
import tornado.ioloop
import tornado.web
from tornado import template
ROOT = os.path.dirname(os.path.abspath(__file__))
path = lambda *a: os.path.join(ROOT, *a)
loader = template.Loader(path(ROOT, 'templates'))
class ProxyHandler(tornado.web.RequestHandler):
def get(self, slug):
if slug.startswith("http://") or slug.startswith("https://"):
if self.get_argument("start", None) == "true":
parsed = urlparse.urlparse(slug)
self.set_cookie("scheme", value=parsed.scheme)
self.set_cookie("netloc", value=parsed.netloc)
self.set_cookie("urlpath", value=parsed.path)
#external resource
else:
response = requests.get(slug)
headers = response.headers
if 'content-type' in headers:
self.set_header('Content-type', headers['content-type'])
if 'length' in headers:
self.set_header('length', headers['length'])
for block in response.iter_content(1024):
self.write(block)
self.finish()
return
else:
#absolute
if slug.startswith('/'):
slug = "{scheme}://{netloc}{original_slug}".format(
scheme=self.get_cookie('scheme'),
netloc=self.get_cookie('netloc'),
original_slug=slug,
)
#relative
else:
slug = "{scheme}://{netloc}{path}{original_slug}".format(
scheme=self.get_cookie('scheme'),
netloc=self.get_cookie('netloc'),
path=self.get_cookie('urlpath'),
original_slug=slug,
)
response = requests.get(slug)
#get the headers
headers = response.headers
#get doctype
doctype = None
if '<!doctype' in response.content.lower()[:9]:
doctype = response.content[:response.content.find('>')+1]
if 'content-type' in headers:
self.set_header('Content-type', headers['content-type'])
if 'length' in headers:
self.set_header('length', headers['length'])
self.write(response.content)
application = tornado.web.Application([
(r"/(.+)", ProxyHandler),
])
if __name__ == "__main__":
application.listen(8888)
tornado.ioloop.IOLoop.instance().start()
Просто заметьте, я установил cookie для сохранения схемы, netloc и urlpath, если там start = true в querystring. Таким образом, любая относительная или абсолютная ссылка, которая затем попадает в прокси-сервер, использует этот файл cookie для разрешения полного URL-адреса.
С помощью этого кода, если вы перейдете к http://localhost:8888/http://espn.com/?start=true, вы увидите содержимое ESPN. Однако на следующем сайте он вообще не работает: http://www.bottegaveneta.com/us/shop/. Мой вопрос: какой лучший способ сделать это? Является ли текущий способ, которым я реализую эту уверенность, или есть какие-то ужасные подводные камни для этого? Если это правильно, почему некоторые сайты, как я указал, не работают вообще?
Спасибо за любую помощь.
