Я просматривал документацию Python Requests, но я не вижу никакой возможности для того, чего я пытаюсь достичь.
В моем script я устанавливаю allow_redirects=True.
Я хотел бы знать, была ли перенаправлена страница на что-то еще, что такое новый URL.
Например, если начальный URL был: www.google.com/redirect
И последний URL-адрес www.google.co.uk/redirected
Как мне получить этот URL?
Вы ищете историю запросов.
Атрибут response.history - это список ответов, которые привели к окончательному URL-адресу, который можно найти в response.url.
response = requests.get(someurl)
if response.history:
print "Request was redirected"
for resp in response.history:
print resp.status_code, resp.url
print "Final destination:"
print response.status_code, response.url
else:
print "Request was not redirected"
Демо:
>>> import requests
>>> response = requests.get('http://httpbin.org/redirect/3')
>>> response.history
(<Response [302]>, <Response [302]>, <Response [302]>)
>>> for resp in response.history:
... print resp.status_code, resp.url
...
302 http://httpbin.org/redirect/3
302 http://httpbin.org/redirect/2
302 http://httpbin.org/redirect/1
>>> print response.status_code, response.url
200 http://httpbin.org/get
Это ответ на несколько другой вопрос, но поскольку я сам застрял в этом, я надеюсь, что это может быть полезно для кого-то другого.
Если вы хотите использовать allow_redirects=False и перейти непосредственно к первому объекту перенаправления, а не следовать цепочке из них, и вы просто хотите получить место перенаправления непосредственно из объекта ответа 302, тогда r.url выиграл Не работай. Вместо этого он заголовок "Местоположение":
r = requests.get('http://github.com/', allow_redirects=False)
r.status_code # 302
r.url # http://github.com, not https.
r.headers['Location'] # https://github.com/ -- the redirect destination
В документации есть этот рекламный блок http://docs.python-requests.org/en/latest/user/quickstart/#redirection-and-history
r = requests.get('http://www.github.com')
r.url
#returns https://www.github.com instead of the http page you asked for
Я думаю, что request.head вместо request.get будет более безопасно звонить при обработке перенаправления URL-адресов, проверьте проблему github здесь:
r = requests.head(url, allow_redirects=True)
print(r.url)
Для python3.5 вы можете использовать следующий код:
import urllib.request
res = urllib.request.urlopen(starturl)
finalurl = res.geturl()
print(finalurl)