Запросы Python. 403 Запрещено

Мне нужно было разобрать сайт, но я получил ошибку 403 Forbidden. Вот код:

url = 'http://worldagnetwork.com/'
result = requests.get(url)
print(result.content.decode())

Его вывод:

<html>
<head><title>403 Forbidden</title></head>
<body bgcolor="white">
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx</center>
</body>
</html>

Пожалуйста, скажите, в чем проблема.

Ответ 1

Кажется, страница отклоняет GET запросы, которые не идентифицируют User-Agent. Я посетил страницу с браузером (Chrome) и скопировал заголовок User-Agent запроса GET (см. Вкладку "Сеть" инструментов разработчика):

import requests
url = 'http://worldagnetwork.com/'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
result = requests.get(url, headers=headers)
print(result.content.decode())

# <!doctype html>
# <!--[if lt IE 7 ]><html class="no-js ie ie6" lang="en"> <![endif]-->
# <!--[if IE 7 ]><html class="no-js ie ie7" lang="en"> <![endif]-->
# <!--[if IE 8 ]><html class="no-js ie ie8" lang="en"> <![endif]-->
# <!--[if (gte IE 9)|!(IE)]><!--><html class="no-js" lang="en"> <!--<![endif]-->
# ...

Ответ 2

Если Вы являетесь владельцем/администратором сервера, и принятое решение не сработало для Вас, попробуйте отключить защиту CSRF (ссылка на SO-ответ).

Я использую Spring (Java), поэтому для установки требуется, чтобы вы SecurityConfig.java файл SecurityConfig.java содержащий:

@Configuration
@EnableWebSecurity
public class SecurityConfig extends WebSecurityConfigurerAdapter {
    @Override
    protected void configure (HttpSecurity http) throws Exception {
        http.csrf().disable();
    }
    // ...
}

Ответ 3

Просто добавьте к ответу Альберто:

Если вы по-прежнему получаете 403 Forbidden после добавления user-agent, вам может потребоваться добавить дополнительные заголовки, такие как referer:

headers = {
    'User-Agent': '...',
    'referer': 'https://...'
}

Заголовки могут быть найдены в Network > Headers > Request Headers Инструментов разработчика. (Нажмите F12 чтобы включить его.)