Scrapy: Как распечатать запрос

Ответ 1

HTTP Referer поле настраивается HTTP-клиентом в заголовках запроса, не в заголовках ответов, так как этот заголовок указывает сервер, на котором клиент пришел с текущей страницы.

Было бы довольно странно получать в ответ заголовок http Referer.

Но когда речь идет о scrapy, есть ссылка на объект Request, на котором был создан Response в ответном поле Request, поэтому следующий результат вызова:

response.request.headers.get('Referer', None)

может содержать заголовок Referer, если он был задан при выполнении запроса.