Подтвердить что ты не робот

File_get_contents возвращает 403 запрещенных

Я пытаюсь создать sitecraper. Я сделал это на своей локальной машине, и там работает очень хорошо. Когда я выполняю то же самое на своем сервере, он показывает 403 запрещенную ошибку. Я использую PHP простой HTML DOM Parser. Ошибка, которую я получаю на сервере, такова:

Предупреждение: file_get_contents (http://example.com/viewProperty.html?id=7715888) [function.file-get-contents]: не удалось открыть поток: HTTP-запрос не удался! HTTP/1.1 403 Запрещено в /home/scraping/simple _html_dom.php on строка 40

Строка запуска кода:

$url="http://www.example.com/viewProperty.html?id=".$id;

$html=file_get_html($url);

Я проверил php.ini на сервере и allow_url_fopen включен. Возможное решение может быть связано с завихрением, но мне нужно знать, где я ошибаюсь.

4b9b3361

ОТВЕТЫ

Ответ 1

Это не проблема с вашим script, а с ресурсом, который вы запрашиваете. Веб-сервер возвращает "запрещенный" код состояния.

Возможно, он блокирует PHP-скрипты для предотвращения выскабливания или вашего IP-адреса, если вы сделали слишком много запросов.

Вероятно, вам следует поговорить с администратором удаленного сервера.

Ответ 2

Я знаю, что это довольно старая тема, но я поделился некоторыми идеями.

Скорее всего, если вы не получаете какой-либо контент при доступе к веб-странице, вероятно, он не хочет, чтобы вы могли получить контент. Так как же определить, что скрипт пытается получить доступ к веб-странице, а не человек? Обычно это заголовок User-Agent в HTTP-запросе, отправляемом на сервер.

Таким образом, чтобы заставить веб-сайт думать, что сценарий доступа к веб-странице также является человеком, вы должны изменить заголовок User-Agent во время запроса. Большинство веб-серверов, скорее всего, разрешат ваш запрос, если вы установите для заголовка User-Agent значение, которое используется некоторым распространенным веб-браузером.

Список общих пользовательских агентов, используемых браузерами, перечислены ниже:

  • Chrome: 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'

  • Firefox: 'Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:10.0) Gecko/20100101 Firefox/10.0'

  • так далее...

$context = stream_context_create(
    array(
        "http" => array(
            "header" => "User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36"
        )
    )
);

echo file_get_contents("www.google.com", false, $context);

Этот кусок кода подделывает пользовательский агент и отправляет запрос на https://google.com.

Рекомендации:

Ура!

Ответ 3

Вы можете изменить его таким образом в классе парсеров из строки 35 и далее.

function curl_get_contents($url)
{
  $ch = curl_init();
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
  $data = curl_exec($ch);
  curl_close($ch);
  return $data;
}

function file_get_html()
{
  $dom = new simple_html_dom;
  $args = func_get_args();
  $dom->load(call_user_func_array('curl_get_contents', $args), true);
  return $dom;
}

Вы пробовали другой сайт?

Ответ 4

Кажется, что на удаленном сервере есть некоторый тип блокировки. Это может быть пользовательский агент, если в этом случае вы можете попробовать использовать завиток для имитации пользовательского агента веб-браузера следующим образом:

$url="http://www.example.com/viewProperty.html?id=".$id;
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');
$html = curl_exec($ch);
curl_close($ch);

Ответ 5

Запишите это в simple_html_dom.php для меня это сработало

function curl_get_contents($url)
{
  $ch = curl_init();
  curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');
$html = curl_exec($ch);
  $data = curl_exec($ch);
  curl_close($ch);
  return $data;
}

function file_get_html($url, $use_include_path = false, $context=null, $offset = -1, $maxLen=-1, $lowercase = true, $forceTagsClosed=true, $target_charset = DEFAULT_TARGET_CHARSET, $stripRN=true, $defaultBRText=DEFAULT_BR_TEXT, $defaultSpanText=DEFAULT_SPAN_TEXT)
{
    $dom = new simple_html_dom;
  $args = func_get_args();
  $dom->load(call_user_func_array('curl_get_contents', $args), true);
  return $dom;
    //$dom = new simple_html_dom(null, $lowercase, $forceTagsClosed, $target_charset, $stripRN, $defaultBRText, $defaultSpanText);

}

Ответ 6

При работе с серверными вызовами это в основном вызов скрипта PHP. Из-за этого многие удаленные серверы блокируют вызовы с помощью php-скриптов, чтобы избежать копирования сайтов. Это можно легко преодолеть, сделав ваш скрипт таким, как будто он из основного. Вы можете использовать следующий код.

$context = stream_context_create(
    array(
        "http" => array(
            "header" => "User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36"
        )
    )
);

echo file_get_contents("https://www.google.co.in", false, $context);

Ответ 7

Я понимаю, что это старый вопрос, но...

Просто настройте мою локальную песочницу на linux с php7 и пробежав по ней. Используя сценарии запуска терминала, php вызывает php.ini для CLI. Я обнаружил, что опция user_agent была закомментирована. Я раскоментировал его и добавил пользовательский агент Mozilla, теперь он работает.

Ответ 8

Проверяли ли вы свои права на файл? Я установил 777 в свой файл (в localhost, очевидно), и я исправил проблему.

Ответ 9

У меня был тот же pb. Я просто активировал Youtube API от разработчиков Google консоли... и он работал (не более запрещен: -)

Я не знаю, обесценен ли предмет, я думал просто поделиться идеей С наилучшими пожеланиями

Ответ 10

В моем случае сервер отклонял протокол HTTP 1.0 через конфигурацию .htaccess. Кажется, file_get_contents использует версию HTTP 1.0.

Ответ 11

Используйте код ниже: если вы используете → file_get_contents

$context  = stream_context_create(
  array(
    "http" => array(
      "header" => "User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36"
    )
));

========= если вы используете curl,

curl_setopt($curl, CURLOPT_USERAGENT,'User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36');

Ответ 12

Вам также может потребоваться некоторая дополнительная информация в контексте, чтобы веб-сайт верил, что запрос исходит от человека. Что было сделано, так это зайти на веб-сайт из браузера и скопировать любую дополнительную информацию, отправленную в запросе http.

$context = stream_context_create(
        array(
            "http" => array(
                'method'=>"GET",
                "header" => "User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) 
                            AppleWebKit/537.36 (KHTML, like Gecko) 
                            Chrome/50.0.2661.102 Safari/537.36\r\n" .
                            "accept: text/html,application/xhtml+xml,application/xml;q=0.9,
                            image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3\r\n" .
                            "accept-language: es-ES,es;q=0.9,en;q=0.8,it;q=0.7\r\n" . 
                            "accept-encoding: gzip, deflate, br\r\n"
            )
        )
    );