У меня довольно большой музыкальный сайт с большой базой данных исполнителя. Я замечал другие музыкальные сайты, соскабливающие данные нашего сайта (я ввожу имена фиктивных художников здесь и там, а затем выполняю поиск в Google).
Как предотвратить экранирование экрана? Возможно ли это?
Я предполагаю, что вы установили robots.txt.
Как отмечали другие, скребки могут подделывать почти каждый аспект их деятельности, и, вероятно, очень сложно определить запросы, которые исходят от плохих парней.
Я бы подумал:
/jail.html.robots.txt (поэтому уважаемые пауки никогда не посещают).display: none)./jail.html.Это может помочь вам быстро определить запросы от скреперов, которые грубо игнорируют ваш robots.txt.
Вы также можете сделать свой /jail.html весь весь сайт, который имеет ту же самую точную разметку, что и обычные страницы, но с поддельными данными (/jail/album/63ajdka, /jail/track/3aads8 и т.д.). Таким образом, плохие скребки не будут предупреждены о "необычном вводе", пока у вас не будет возможности полностью их заблокировать.
Примечание.. Поскольку полная версия этого ответа превышает ограничение длины стека стека, вам нужно перейти к GitHub, чтобы прочитать расширенную версию, с дополнительными советами и подробностями.
Чтобы помешать очищению (также известному как Webscraping, Screencraping, веб-интеллектуальный анализ данных, сбор данных в Интернете или извлечение веб-данных), он помогает знать, как работают эти скребки, и , что, в свою очередь, мешает им хорошо работать.
Существуют различные типы скребок, и каждый работает по-разному:
Пауки, такие как Google bot или копиры веб-сайтов, такие как HTtrack, которые рекурсивно следуют ссылкам на другие страницы для получения данных. Они иногда используются для целевого скребли для получения конкретных данных, часто в сочетании с анализатором HTML для извлечения желаемых данных с каждой страницы.
Сценарии оболочки: иногда для очистки используются обычные инструменты Unix: Wget или Curl для загрузки страниц, а Grep (Regex) - для извлечения данных.
HTML-анализаторы, такие как те, которые основаны на Jsoup, Scrapy и другие. Подобно shell-script на основе регулярных выражений, они работают путем извлечения данных из страниц на основе шаблонов в HTML, обычно игнорируя все остальное.
Например: если на вашем веб-сайте есть функция поиска, такой скребок может отправить запрос на поиск, а затем получить все ссылки на результат и их заголовки на странице результатов HTML, чтобы специально получить только ссылки для результатов поиска и их названия. Они наиболее распространены.
Скриншоты, основанные на, например. Selenium или PhantomJS, которые открывают ваш сайт в реальном браузере, запустите JavaScript, AJAX и т.д., а затем получите желаемый текст с веб-страницы, обычно:
Получение HTML-кода из браузера после загрузки страницы и запуска JavaScript, а затем с помощью парсера HTML для извлечения желаемых данных. Они являются наиболее распространенными, и поэтому многие методы для разбора HTML-парсеров/скреперов также работают здесь.
Снимок экрана с отображенных страниц, а затем с помощью OCR для извлечения нужного текста из снимка экрана. Они редки, и только специальные скребки, которые действительно хотят, чтобы ваши данные установили это.
Службы Webscraping, такие как ScrapingHub или Kimono. Фактически, есть люди, чья работа заключается в том, чтобы выяснить, как очистить свой сайт и вытащить контент для других пользователей.
Неудивительно, что профессиональные услуги по очистке наиболее трудно сдерживать, но если вы усложняете и занимаете много времени, чтобы выяснить, как очистить свой сайт, эти (и люди, которые платят им за это) не могут быть обеспокоены царапинами ваш сайт.
Внедрение вашего сайта на другие страницы сайта с кадрами и встраивание вашего сайта в мобильные приложения.
В то время как не технические скребки, мобильные приложения (Android и iOS) могут внедрять веб-сайты и внедрять пользовательские CSS и JavaScript, тем самым полностью изменяя внешний вид ваших страниц.
Копия - вставка: люди будут копировать и вставлять ваш контент, чтобы использовать его в другом месте.
Существует много совпадений между этими различными видами скребков, и многие скребки будут вести себя одинаково, даже если они используют разные технологии и методы.
В основном это мои собственные идеи, различные трудности, с которыми я столкнулся при написании скребок, а также фрагменты информации и идей со всего мира.
Вы не можете полностью предотвратить это, так как все, что вы делаете, определило, что скребки все еще могут понять, как очистить. Тем не менее, вы можете остановить много царапин, сделав несколько вещей:
Регулярно проверяйте свои журналы, а в случае необычной активности, указывающей на автоматический доступ (скребки), например много подобных действий с одного и того же IP-адреса, вы можете заблокировать или ограничить доступ.
В частности, некоторые идеи:
Ограничение скорости:
Разрешить пользователям (и скреперам) выполнять ограниченное количество действий за определенное время - например, разрешить только несколько запросов в секунду от любого конкретного IP-адреса или пользователя. Это замедлит скребки и сделает их неэффективными. Вы также можете показать капчу, если действия будут выполнены слишком быстро или быстрее, чем реальный пользователь.
Обнаружение необычной активности:
Если вы видите необычную активность, такую как много похожих запросов с определенного IP-адреса, кто-то смотрит на чрезмерное количество страниц или выполняет необычное количество поисков, вы можете запретить доступ или показать код для последующих запросов.
Не просто контролировать и ограничивать скорость по IP-адресу - также используйте другие индикаторы:
Если вы блокируете или ограничиваете скорость, не просто делайте это на основе IP-адреса; вы можете использовать другие индикаторы и методы для определения конкретных пользователей или скребок. Некоторые индикаторы, которые могут помочь вам определить конкретных пользователей/скребок, включают:
Как быстро пользователи заполняют формы и где на кнопке они нажимают:
Вы можете собрать много информации с помощью JavaScript, например размер экрана/разрешение, часовой пояс, установленные шрифты и т.д.; вы можете использовать это для идентификации пользователей.
HTTP-заголовки и их порядок, особенно User-Agent.
В качестве примера, если вы получаете много запросов от одного IP-адреса, все с использованием одного и того же User Agent, размера экрана (определяется с помощью JavaScript), а пользователь (скребок в этом случае) всегда нажимает кнопку в том же и через равные промежутки времени он, вероятно, скребок экрана; и вы можете временно блокировать подобные запросы (например, блокировать все запросы с этим пользовательским агентом и размер экрана, исходящие от этого конкретного IP-адреса), и таким образом вы не будете неудобны для реальных пользователей на этом IP-адресе, например. в случае общего доступа к Интернету.
Вы также можете принять это, так как вы можете идентифицировать подобные запросы, даже если они поступают из разных IP-адресов, что указывает на распределенное очищение (скребок с использованием бот-сети или сети прокси). Если вы получаете много других идентичных запросов, но они исходят из разных IP-адресов, вы можете блокировать. Опять же, имейте в виду, что мы не будем непреднамеренно блокировать реальных пользователей.
Это может быть эффективно против скриншотов, которые запускают JavaScript, так как вы можете получить от них много информации.
Связанные вопросы по Exchange Stack Exchange:
Как уникально идентифицировать пользователей с тем же внешним IP-адресом? для более подробной информации и
Почему люди используют запреты IP-адресов, когда IP-адреса часто меняются? для информации о границах этих методов.
Вместо временного блокирования доступа используйте Captcha:
Простым способом реализации ограничения скорости будет временное блокирование доступа на определенный промежуток времени, однако использование Captcha может быть лучше, см. раздел о Captchas далее.
Требовать создание учетной записи для просмотра вашего контента, если это возможно для вашего сайта. Это хороший сдерживающий фактор для скреперов, но также является хорошим сдерживающим фактором для реальных пользователей.
Чтобы избежать создания сценариев создания нескольких учетных записей, вы должны:
Требовать адрес электронной почты для регистрации и подтвердить адрес электронной почты, отправив ссылку, которая должна быть открыта для активации учетной записи. Разрешить только одну учетную запись на адрес электронной почты.
Требовать, чтобы captcha решался во время регистрации/создания учетной записи.
Требование создания учетной записи для просмотра содержимого приведет к отключению пользователей и поисковых систем; если вам требуется создание учетной записи для просмотра статьи, пользователи отправятся в другое место.
Иногда скребки будут запускаться из услуг веб-хостинга, таких как веб-службы Amazon или GAE или VPSes. Ограничьте доступ к вашему сайту (или покажите captcha) для запросов, исходящих из IP-адресов, используемых такими облачными службами хостинга.
Аналогично, вы также можете ограничить доступ с IP-адресов, используемых прокси-серверами или провайдерами VPN, поскольку скребки могут использовать такие прокси-серверы, чтобы избежать обнаружения многих запросов.
Помните, что блокируя доступ с прокси-серверов и виртуальных частных сетей, вы негативно скажете на реальных пользователей.
Если вы блокируете/ограничиваете доступ, вы должны убедиться, что вы не укажете скребок, что вызвало блок, тем самым давая им подсказки относительно того, как исправить их скребок. Поэтому неплохо было бы показывать страницы ошибок с текстом вроде:
Слишком много запросов с вашего IP-адреса, повторите попытку позже.
Ошибка, заголовок User Agent отсутствует!
Вместо этого покажите дружественное сообщение об ошибке, которое не сообщает скребку, что вызвало его. Что-то вроде этого намного лучше:
[email protected], если проблема не исчезнет.Это также намного удобнее для реальных пользователей, если они когда-либо видят такую страницу с ошибкой. Вы также должны рассмотреть возможность отображения капчей для последующих запросов вместо жесткого блока, если реальный пользователь увидит сообщение об ошибке, чтобы вы не блокировали и, следовательно, вызывали у вас законных пользователей.
Captchas ( "Полностью автоматизированный тест, чтобы рассказать о компьютерах и людях" ) очень эффективны против остановки скребков. К сожалению, они также очень эффективны для раздражающих пользователей.
Как таковые, они полезны, когда вы подозреваете возможный скребок и хотите остановить скребок, а также не блокируете доступ, если он не скребок, а реальный пользователь. Возможно, вам стоит подумать о том, чтобы показать капчу, прежде чем разрешать доступ к контенту, если вы подозреваете скребок.
Что нужно знать при использовании Captchas:
Не сворачивайте себя, используйте что-то вроде Google reCaptcha: это намного проще, чем реализовать капчу, он более удобен для пользователя, чем какое-то размытое текстовое решение, которое вы могли бы придумать самим (пользователям часто нужно указывать только поле), а также гораздо сложнее решить скрипт, чем простое изображение, поданное с вашего сайта.
Не включайте решение для перекопа в HTML-разметке: на самом деле я видел один веб-сайт, на котором было решение для captcha на самой странице (хотя довольно хорошо скрыто), что делает его довольно бесполезным, Не делай ничего подобного. Опять же, используйте такую услугу, как reCaptcha, и у вас не будет такой проблемы (если вы ее правильно используете).
Captchas может быть решена навалом: есть услуги по перехвату подсказок, где фактические, низкооплачиваемые люди решат капчу навалом. Опять же, использование reCaptcha - хорошая идея здесь, так как у них есть защита (например, относительно короткое время, которое пользователь имеет для решения перехвата). Этот вид услуг вряд ли будет использоваться, если ваши данные действительно ценны.
Вы можете визуализировать текст на стороне сервера изображений и показывать его, что будет препятствовать простому скребущему, извлекающему текст.
Однако это плохо для чтения с экрана, поисковых систем, производительности и почти всего остального. Это также незаконно в некоторых местах (из-за доступности, например, Закона США об инвалидах), а также легко обойтись с некоторыми OCR, поэтому не делайте этого.
Вы можете сделать что-то подобное с CSS-спрайтами, но это страдает от тех же проблем.
Если это возможно, не предоставляйте способ script/bot получить весь ваш набор данных. В качестве примера: у вас есть новостной сайт с множеством отдельных статей. Вы можете сделать эти статьи доступными только путем поиска их с помощью поиска на сайте и, если у вас нет списка всех статей на сайте и их URL-адресов в любом месте, эти статьи будут доступны только с помощью поиска особенность. Это означает, что script, желающий получить все статьи с вашего сайта, должен будет выполнять поиск всех возможных фраз, которые могут появляться в ваших статьях, чтобы найти их все, что будет трудоемким, ужасно неэффективным и будет надеемся, что скребок сдастся.
Это будет неэффективно, если:
example.com/article.php?articleId=12345. Это (и подобные вещи), которые позволят скреперам просто перебирать все articleId и запрашивать все статьи таким образом.Убедитесь, что вы не раскрываете какие-либо API, даже непреднамеренно. Например, если вы используете AJAX или сетевые запросы из Adobe Flash или Java-апплетов (не дай бог!), Чтобы загрузить ваши данные, тривиально посмотреть на сетевые запросы со страницы и выяснить, куда идут эти запросы, и затем перепроектировать и использовать эти конечные точки в программе скребка. Убедитесь, что вы обфускаете конечные точки и затрудняете их использование другими, как описано.
Так как парсеры HTML работают путем извлечения содержимого из страниц на основе идентифицируемых шаблонов в HTML, мы можем намеренно изменить эти шаблоны в другом, чтобы сломать эти скребки или даже прикрутить их. Большинство этих советов также применимы и к другим скреперам, таким как пауки и скриншоты.
Скребки, обрабатывающие HTML, напрямую делают это, извлекая содержимое из определенных идентифицируемых частей вашей HTML-страницы. Например: если на всех страницах вашего сайта есть div с идентификатором article-content, который содержит текст статьи, тогда тривиально написать script, чтобы просмотреть все страницы статей на вашем сайте, и извлекать текст содержания article-content div на каждой странице статьи, а voilà, скребок содержит все статьи с вашего сайта в формате, который можно использовать повторно в другом месте.
Если вы часто меняете HTML и структуру своих страниц, такие скребки больше не будут работать.
Вы можете часто менять id и классы элементов в вашем HTML, возможно, даже автоматически. Итак, если ваш div.article-content становится чем-то вроде div.a4c36dda13eaf0 и меняется каждую неделю, скребок будет работать нормально, но будет разорваться через неделю. Не забудьте также изменить длину ваших идентификаторов/классов, иначе скребок будет использовать div.[any-14-characters], чтобы найти нужный div. Остерегайтесь других подобных отверстий тоже.
Если нет способа найти желаемый контент из разметки, скребок будет делать это по тому, как структурирован HTML. Итак, если все ваши страницы статей похожи друг на друга, каждый div внутри div, который появляется после того, как h1 является содержимым статьи, скребки будут получать контент статьи на основе этого. Опять же, чтобы разбить это, вы можете добавлять/удалять дополнительную разметку в свой HTML, периодически и случайным образом, например. добавляя дополнительные div или span s. С современной обработкой HTML на стороне сервера это не должно быть слишком сложно.
Что нужно знать:
Будет утомительно и сложно реализовать, поддерживать и отлаживать.
Вы будете препятствовать кешированию. Особенно, если вы измените идентификаторы или классы ваших HTML-элементов, для этого потребуются соответствующие изменения в ваших CSS файлах и файлах JavaScript, а это означает, что каждый раз, когда вы их изменяете, они должны быть повторно загружены браузером. Это приведет к увеличению времени загрузки страницы для повторных посетителей и увеличению загрузки сервера. Если вы меняете его только раз в неделю, это не будет большой проблемой.
Умные скребки все равно смогут получить ваш контент, указав, где находится фактический контент, например. зная, что большой единый блок текста на странице, вероятно, будет фактической статьей. Это позволяет находить и извлекать нужные данные со страницы. Boilerpipe делает именно это.
По существу, убедитесь, что для script нелегко найти фактический желаемый контент для каждой подобной страницы.
См. также Как запретить искателям в зависимости от XPath получать содержимое страницы для получения подробной информации о том, как это можно реализовать в PHP.
Это похоже на предыдущий совет. Если вы обслуживаете разные HTML файлы на основе вашего местоположения/страны вашего пользователя (определяется по IP-адресу), это может сломать скребки, которые доставляются пользователям. Например, если кто-то пишет мобильное приложение, которое сбрасывает данные с вашего сайта, оно будет работать нормально, но прерывается, когда оно действительно будет распространено среди пользователей, поскольку эти пользователи могут находиться в другой стране и, таким образом, получать разные HTML-коды, которые встроенный скребок не предназначен для потребления.
Пример. У вас есть функция поиска на вашем веб-сайте, расположенная в example.com/search?query=somesearchquery, которая возвращает следующий HTML:
<div class="search-result">
<h3 class="search-result-title">Qaru has become the world most popular programming Q & A website</h3>
<p class="search-result-excerpt">The website Qaru has now become the most popular programming Q & A website, with 10 million questions and many users, which...</p>
<a class"search-result-link" href="/stories/story-link">Read more</a>
</div>
(And so on, lots more identically structured divs with search results)
Как вы, возможно, догадались, это легко очистить: все, что нужно сделать скребком, - это нажать поисковый URL с запросом и извлечь нужные данные из возвращаемого HTML. В дополнение к периодическому изменению HTML, как описано выше, вы также можете оставить старую разметку со старыми идентификаторами и классами, скрыть ее с помощью CSS и заполнить ее поддельными данными, тем самым отравив скребок. Здесь можно изменить страницу результатов поиска:
<div class="the-real-search-result">
<h3 class="the-real-search-result-title">Qaru has become the world most popular programming Q & A website</h3>
<p class="the-real-search-result-excerpt">The website Qaru has now become the most popular programming Q & A website, with 10 million questions and many users, which...</p>
<a class"the-real-search-result-link" href="/stories/story-link">Read more</a>
</div>
<div class="search-result" style="display:none">
<h3 class="search-result-title">Visit Example.com now, for all the latest Qaru related news !</h3>
<p class="search-result-excerpt">Example.com is so awesome, visit now !</p>
<a class"search-result-link" href="http://example.com/">Visit Now !</a>
</div>
(More real search results follow)
Это будет означать, что скребки, написанные для извлечения данных из HTML на основе классов или идентификаторов, будут по-прежнему работать, но они получат поддельные данные или даже объявления, данные, которые реальные пользователи никогда не смогут увидеть, поскольку они скрыты CSS.
Добавляя к предыдущему примеру, вы можете добавить невидимые элементы honeypot в свой HTML, чтобы поймать скребки. Пример, который можно добавить к ранее описанной странице результатов поиска:
<div class="search-result" style="display:none">
<h3 class="search-result-title">This search result is here to prevent scraping</h3>
<p class="search-result-excerpt">If you're a human and see this, please ignore it. If you're a scraper, please click the link below :-)
Note that clicking the link below will block access to this site for 24 hours.</p>
<a class"search-result-link" href="/scrapertrap/scrapertrap.php">I'm a scraper !</a>
</div>
(The actual, real, search results follow.)
Скребок, написанный для получения всех результатов поиска, выберет это, как и любой другой, реальные результаты поиска на странице и перейдите по ссылке, ища желаемый контент. Настоящий человек никогда даже не увидит его в первую очередь (из-за того, что он скрыт с помощью CSS), и не будет посещать ссылку. Настоящий и желательный паук, такой как Google, не будет посещать ссылку либо потому, что вы запретили /scrapertrap/ в вашем файле robots.txt.
Вы можете сделать свой scrapertrap.php что-то вроде блокированного доступа для IP-адреса, который его посетил, или заставить captcha для всех последующих запросов с этого IP-адреса.
Не забудьте запретить ваш honeypot (/scrapertrap/) в файле robots.txt, чтобы роботы поисковых систем не попадали в него.
Вы можете/должны сочетать это с предыдущим советом частое изменение HTML.
Измените это часто, так как скребки в конечном итоге научатся его избегать. Измените URL-адрес и текст honeypot. Также хочу рассмотреть возможность изменения встроенного CSS, используемого для скрытия, и вместо этого использовать атрибут ID и внешний CSS, поскольку скребки будут учиться избегать всего, что имеет атрибут style с CSS, используемый для скрытия содержимого. Также попробуйте только включить его иногда, так что скребок работает изначально, но через некоторое время ломается. Это также относится к предыдущему совету.
Вредоносные пользователи могут запретить доступ для реальных пользователей, поделившись ссылкой на ваш honeypot или даже включив эту ссылку где-нибудь в качестве изображения (например, на форум). Часто меняйте URL-адрес и делайте время запрета относительно коротким.
Если вы обнаружите, что, очевидно, скребок, вы можете обслуживать поддельные и бесполезные данные; это испортит данные, которые скребок получает с вашего сайта. Вы также должны сделать невозможным отличать такие поддельные данные от реальных данных, чтобы скребки не знали, что их прикручивают.
В качестве примера: у вас есть новостной сайт; если вы обнаружите скребок, а не блокируете доступ, подавайте поддельные, случайно сгенерированныестатей, и это отравит данные, которые получает скребок. Если вы сделаете свои поддельные данные неотличимыми от реальной вещи, вам будет сложно скребки получить то, что они хотят, а именно реальные, реальные данные.
Часто лениво написанные скребки не отправляют заголовок User Agent с их запросом, тогда как все браузеры, а также пауки поисковых систем будут.
Если вы получите запрос, в котором отсутствует заголовок User Agent, вы можете показать капчу или просто заблокировать или ограничить доступ. (Или используйте поддельные данные, как описано выше, или что-то еще.)
Это тривиально для подмены, но в качестве меры против плохо написанных скребков это стоит реализовать.
В некоторых случаях скребки будут использовать User Agent, который не использует ни один браузер для браузера или поискового сервера, например:
Если вы обнаружите, что специальная строка User Agent используется скреперами на вашем сайте и не используется настоящими браузерами или законными пауками, вы также можете добавить их в свой черный список.
Реальный браузер (почти всегда) запрашивает и загружает такие активы, как изображения и CSS. Анализаторы и скребки HTML не будут, поскольку их интересуют только фактические страницы и их содержимое.
Вы можете записывать запросы в свои активы, и если вы видите много запросов только для HTML, это может быть скребок.
Помните, что боты поисковых систем, древние мобильные устройства, устройства чтения с экрана и неправильно сконфигурированные устройства могут также не запрашивать активы.
Для просмотра вашего веб-сайта вы можете потребовать, чтобы файлы cookie были включены. Это сдерживает неопытных и новичков-скребок, однако скребок легко отправлять куки. Если вы их используете и требуете, вы можете отслеживать действия пользователей и скребок с ними и, таким образом, выполнять ограничение скорости, блокирование или отображение captchas для каждого пользователя, а не для каждого IP-адреса.
Например: когда пользователь выполняет поиск, установите уникальный идентификатор cookie. Когда страницы результатов просматриваются, убедитесь, что файлы cookie. Если пользователь открывает все результаты поиска (вы можете указать из файла cookie), то это, вероятно, скребок.
Использование файлов cookie может быть неэффективным, так как скребки могут отправлять файлы cookie с их запросами и отбрасывать их по мере необходимости. Вы также запретите доступ для реальных пользователей, у которых отключены файлы cookie, если ваш сайт работает только с кукисами.
Обратите внимание: если вы используете JavaScript для установки и получения файла cookie, вы будете блокировать скребки, которые не запускают JavaScript, поскольку они не могут получить и отправить файл cookie с их запросом.
Вы можете использовать JavaScript + AJAX для загрузки контента после загрузки самой страницы. Это сделает контент недоступным для парсеров HTML, которые не запускают JavaScript. Это часто является эффективным сдерживающим фактором для новичков и неопытных программистов, создающих скребки.
Знать:
Использование JavaScript для загрузки фактического содержимого ухудшит работу и производительность пользователя
Поисковые системы могут не запускать JavaScript, тем самым предотвращая их индексирование вашего контента. Это может быть не проблема для страниц результатов поиска, но может быть и для других вещей, таких как страницы статей.
Если вы используете Ajax и JavaScript для загрузки ваших данных, обфускайте передаваемые данные. Например, вы можете кодировать свои данные на сервере (с чем-то простым, как base64 или более сложным), а затем декодировать и отображать его на клиенте после извлечения через Ajax. Это будет означать, что кто-то, кто проверяет сетевой трафик, не сразу увидит, как работает ваша страница и загружает данные, и для кого-то будет труднее напрямую запрашивать данные запроса с ваших конечных точек, так как им придется реконструировать алгоритм дескремблирования.
Если вы используете Ajax для загрузки данных, вам необходимо будет использовать конечные точки без первой загрузки страницы, например, если требуется какой-либо ключ сеанса в качестве параметра, который вы можете встроить в свой JavaScript или ваш HTML.
Вы также можете вставлять свои запутанные данные непосредственно на начальную HTML-страницу и использовать JavaScript для деобфускации и отображения, что позволит избежать дополнительных сетевых запросов. Выполнение этого значительно усложнит извлечение данных с помощью анализатора HTML, который не запускает JavaScript, поскольку тот, кто пишет скребок, должен будет перепроектировать ваш JavaScript (который вы также должны запутывать).
Вы можете регулярно менять методы обфускации, чтобы сломать скребки, которые это поняли.
Есть несколько недостатков в том, чтобы делать что-то вроде этого:
Будет утомительно и сложно реализовать, поддерживать и отлаживать.
Это будет неэффективно в отношении скребок и экранов, которые фактически запускают JavaScript, а затем извлекают данные. (Большинство простых парсеров HTML не запускают JavaScript, хотя)
Это сделает ваш сайт нефункциональным для реальных пользователей, если у них отключен JavaScript.
Производительность и время загрузки страницы будут страдать.
Скажите людям, чтобы они не царапались, а некоторые будут уважать его
Найдите адвоката
Сделайте ваши данные доступными, предоставите API:
Вы можете сделать ваши данные легко доступными и потребовать атрибуцию и ссылку на свой сайт. Возможно, за него стоит $$$.
Существуют также коммерческие службы защиты от скремблирования, такие как anti-scraping от Cloudflare или Distill Networks (Подробнее о том, как это работает здесь), которые делают эти вещи и больше для вас.
Найдите баланс между удобством использования для реальных пользователей и скреперами: все, что вы делаете, будет отрицательно влиять на пользовательский опыт так, чтобы найти компромиссы.
Не забудьте свой мобильный сайт и приложения. Если у вас есть мобильное приложение, которое также может быть экранировано, и сетевой трафик может быть проверен для определения конечных точек REST, которые он использует.
Скребки могут царапать другие скребки: если есть один веб-сайт, у которого есть содержимое, соскоблившееся от вашего, другие скребки могут царапаться с этого сайта скребка.
Статья в Википедии о веб-скребке. Многие детали касаются технологий и различных типов скребок.
Отключение скриптов от взлома вашего сайта сотни раз в секунду. Q и A по очень похожей проблеме - боты, проверяющие сайт и покупку вещей, как только они поступят в продажу. Много актуальной информации, особенно. на Captchas и ограничение скорости.
Сью.
Серьезно: если у вас есть деньги, поговорите с хорошим, милым, молодым адвокатом, который знает дорогу через Интернет. Вы действительно могли бы что-то сделать здесь. В зависимости от того, где основаны сайты, вы могли бы написать адвокату о прекращении и воздержании или о его эквиваленте в вашей стране. Возможно, вы сможете хотя бы напугать ублюдков.Документируйте вставку ваших фиктивных значений. Вставьте фиктивные значения, которые ясно (но неясно) указывают на вас. Я думаю, что это обычная практика с компаниями телефонной книги, и здесь, в Германии, я думаю, что было несколько случаев, когда подражатели попали под фальшивые записи, которые они скопировали 1:1.
Было бы обидно, если бы это привело вас к испортить ваш HTML-код, перетащив SEO, действительность и другие вещи (хотя система шаблонов, которая использует немного другую структуру HTML для каждого запроса на одинаковые страницы, может уже помочь много против скребок, которые всегда полагаются на структуры HTML и имена классов/идентификаторов, чтобы получить содержимое.)
Случаи, подобные этому, являются законами об авторском праве. Срывая с других людей честную работу, чтобы заработать деньги, с чем-то, с чем вы должны бороться.
На самом деле вы ничего не можете сделать, чтобы полностью предотвратить это. Скребки могут подделывать свой пользовательский агент, использовать несколько IP-адресов и т.д. И отображаться как обычный пользователь. Единственное, что вы можете сделать, это сделать текст недоступным в момент загрузки страницы - сделать его с изображением, вспышкой или загрузить его с помощью JavaScript. Однако первые два являются плохими идеями, и последний из них будет проблемой доступности, если JavaScript не включен для некоторых ваших обычных пользователей.
Если они абсолютно захлопывают ваш сайт и нажимают на все ваши страницы, вы можете сделать какое-то ограничение скорости.
Однако есть надежда. Скреперы полагаются на данные вашего сайта в согласованном формате. Если бы вы могли его рандомизировать, это могло бы сломать их скребок. Такие вещи, как изменение идентификаторов или имен классов элементов страницы при каждой загрузке и т.д. Но это большая работа, и я не уверен, стоит ли это. И даже тогда они могли бы обойти это с достаточной преданностью.
Предоставить XML-API для доступа к вашим данным; таким образом, который прост в использовании. Если люди хотят ваши данные, они получат это, вы можете также изо всех сил.
Таким образом вы можете обеспечить подмножество функциональных возможностей эффективным образом, гарантируя, что, по крайней мере, скребки не будут обрабатывать HTTP-запросы и массивные объемы полосы пропускания.
Затем все, что вам нужно сделать, - убедить людей, которые хотят, чтобы ваши данные использовали API.;)
Извините, это действительно довольно сложно сделать...
Я бы предположил, что вы вежливо попросите их не использовать ваш контент (если ваш контент защищен авторским правом).
Если это так, и они не снимают его, то вы можете предпринять действия furthur и отправить им прекратить и отказаться от письма.
Как правило, все, что вы делаете, чтобы предотвратить выскабливание, вероятно, окажет более отрицательное воздействие, например. доступность, боты/пауки и т.д.
Хорошо, как говорят все сообщения, если вы хотите сделать его удобным для поисковых систем, то боты могут скреститься наверняка.
Но вы все еще можете сделать несколько вещей, и это может быть аффективным для 60-70% ботов скремблирования.
Сделайте checker script, как показано ниже.
Если конкретный IP-адрес посещает очень быстро, то после нескольких посещений (5-10) поместите свой IP-адрес + информацию обозревателя в файл или базу данных.
(Это будет фоновый процесс и будет выполняться все время или по расписанию через несколько минут.) Сделайте еще один script, который будет проверять эти подозрительные IP-адреса.
Случай 1. Если пользовательский агент имеет известную поисковую систему, такую как Google, Bing, Yahoo (дополнительную информацию об агентах пользователей можно найти по ссылке в Google). Затем вы должны увидеть http://www.iplists.com/. Этот список и попробуйте сопоставить шаблоны. И если это похоже на фальшивый пользовательский агент, попросите заполнить CAPTCHA при следующем посещении. (Вам нужно исследовать немного больше на IP-адресах ботов. Я знаю, что это достижимо, а также попробуйте whois IP-адреса. Это может быть полезно.)
Случай 2. Нет агента пользователя поискового робота: просто попросите заполнить CAPTCHA при следующем посещении.
Ваш лучший вариант, к сожалению, довольно ручной: посмотрите на шаблоны трафика, которые, по вашему мнению, свидетельствуют о скремблировании и запрещении их IP-адресов.
Поскольку вы говорите об общедоступном сайте, то создание дружественной поисковой системы сайта также сделает сайт удобным для соскабливания. Если поисковая система может сканировать и очистить ваш сайт, тогда может быть и вредоносный скребок. Это тонкая линия для ходьбы.
Я сделал много веб-соскабливания и обобщил некоторые методы чтобы остановить веб-скребки в моем блоге, основываясь на том, что я нахожу раздражающим.
Это компромисс между вашими пользователями и скреперами. Если вы ограничиваете IP-адреса, используйте CAPTCHA, требуется логин и т.д., Вы делаете сложным для скребки. Но это также может отвлечь ваших настоящих пользователей.
С технической точки зрения: Просто смоделируйте то, что делает Google, когда вы нажимаете на них слишком много запросов одновременно. Это должно положить конец многим из них.
С юридической точки зрения: Похоже, что данные, которые вы публикуете, не являются собственностью. Это означает, что вы публикуете имена и статистику и другую информацию, которая не может быть защищена авторским правом.
Если это так, скребки не нарушают авторские права, перераспределяя вашу информацию о имени исполнителя и т.д. Однако они могут нарушать авторские права при загрузке вашего сайта в память, поскольку ваш сайт содержит элементы, которые защищены авторским правом (например, макет и т.д.).).
Я рекомендую прочитать о Facebook v. Power.com и увидеть аргументы, которые Facebook использовал, чтобы остановить очистку экрана. Есть много юридических способов, по которым вы можете попытаться помешать кому-либо соскоблить ваш сайт. Они могут быть далеко идущими и творческими. Иногда суды покупают аргументы. Иногда они этого не делают.
Но, предполагая, что вы публикуете информацию о общедоступном домене, которая не защищена авторскими правами, например, имена и базовая статистика... вы должны просто позволить ей перейти от имени свободной речи и открытых данных. То есть, что все в Сети.
Вещи, которые могут работать против начинающих скребок:
Вещи, которые помогут в целом:
Вещи, которые помогут, но заставят ваших пользователей ненавидеть вас:
Поздний ответ - и этот ответ, вероятно, не тот, который вы хотите услышать...
Я уже написал много (много десятков) разных специализированных скребок для обработки данных. (только потому, что мне нравится философия "открытых данных" ).
Вот уже много советов в других ответах - теперь я буду играть роль защитника дьявола, и будет расширять и/или корректировать их эффективность.
Во-первых:
Попытка использовать некоторые технические барьеры не стоит проблем, вызванных:
Обычный HMTL - самый простой способ - проанализировать простые HTML-страницы с четко определенной структурой и классами css. Например. достаточно проверить элемент с помощью Firebug и использовать правые Xpaths и/или CSS-путь в моем скрепе.
Вы можете динамически генерировать структуру HTML, а также динамически генерировать имена классов CSS (и сам CSS) (например, используя некоторые случайные имена классов) - но
Вы не можете изменить структуру для каждого ответа, потому что ваши обычные пользователи будут вас ненавидеть. Кроме того, это вызовет больше неприятностей для вас (обслуживание), а не для скребка. Путь XPath или CSS определяется с помощью scraping script автоматически из известного содержимого.
Ajax - немного сложнее в начале, но во многих случаях ускоряет процесс скремблирования:) - почему?
При анализе запросов и ответов я просто настраиваю свой собственный прокси-сервер (написанный на perl), и мой firefox использует его. Конечно, потому что это мой собственный прокси-сервер - он полностью скрыт - целевой сервер видит его как обычный браузер. (Итак, нет X-Forwarded-for и таких заголовков). Основываясь на протоколах прокси-сервера, в основном можно определить "логику" запросов ajax, например. я мог бы пропустить большую часть html-скрепок и просто использовать хорошо структурированные ответы ajax (в основном в формате JSON).
Итак, ajax не очень помогает...
Некоторые более сложные страницы, которые используют много упакованные функции javascript.
Здесь можно использовать два основных метода:
Такая очистка медленная (очистка выполняется как в обычном браузере), но она
Фильтрация User-Agent не помогает вообще. Любой серьезный шахматист данных установит его на какой-то правильный в своем скрепе.
Требовать Логин - не помогает. Самый простой способ избить его (без какого-либо анализа и/или написания протокола входа) - это просто войти в сайт как обычный пользователь, используя Mozilla и после запуска скребка на основе Mozrepl...
Помните, что запрос для входа в систему помогает анонимным ботам, но не помогает против кого-то, кто хочет очистить ваши данные. Он просто регистрируется на вашем сайте как обычный пользователь.
Использование фреймовтакже не очень эффективен. Это используется многими живыми фильмами, и это не очень сложно победить. Фреймы - это просто еще одна страница HTML/Javascript, что необходимо для анализа... Если данные, стоящие на проблемах, - данные-шахтер выполнит необходимый анализ.
Ограничение на основе IP неэффективно - здесь слишком много общедоступных прокси-серверов, а также здесь TOR...:) Это не замедляет выскабливание (для кого-то кто действительно хочет ваши данные).
Очень сложно скопировать данные, скрытые в изображениях. (например, просто преобразование данных в серверы изображений). Использование "tesseract" (OCR) помогает много раз, но, честно говоря, данные должны стоить проблем для скребка. (что много раз не стоит).
С другой стороны, ваши пользователи будут ненавидеть вас за это. Я сам (даже когда не соскабливаю) ненавижу веб-сайты, которые не позволяют скопировать содержимое страницы в буфер обмена (потому что информация находится в образах или (глупых), пытающихся связать правой кнопкой мыши какое-то пользовательское событие Javascript.: )
Наиболее сложными являются сайты, которые используют Java-апплеты или flash, и апплет использует внутренние запросы secure https. Но подумайте дважды - насколько счастливы ваши пользователи iPhone...;). Поэтому в настоящее время их очень мало сайтов. Я сам блокирую весь флэш-контент в своем браузере (в обычных сеансах просмотра) - и никогда не использую сайты, зависящие от Flash.
Ваши вехи могут быть..., поэтому вы можете попробовать этот метод - просто помните - вы, вероятно, потеряете некоторых своих пользователей. Также помните, что некоторые файлы SWF декомпилируются.;)
Captcha (хорошие - например, reCaptcha) очень помогает - но ваши пользователи будут вас ненавидеть... - представьте себе, как ваши пользователи будут любить вас, когда им нужно решить какие-то капли во всех страницы с информацией о музыкантах.
Вероятно, вам не нужно продолжать - вы уже попали в картину.
Теперь, что вы должны сделать:
Помните: почти невозможно скрыть свои данные, если вы с другой стороны хотите опубликовать их (по-дружески) своим обычным пользователям.
Итак,
Подумайте дважды, прежде чем пытаться использовать некоторые технические барьеры.
Скорее, как попытка блокировать данных-шахтеров, просто добавьте больше усилий для удобства использования вашего сайта. Ваш пользователь будет любить вас. Время (& энергия), инвестированное в технические барьеры, обычно не стоит - лучше потратить время, чтобы сделать еще лучший веб-сайт...
Кроме того, воры данных не похожи на обычных воров.
Если вы покупаете недорогую домашнюю тревогу и добавляете предупреждение "этот дом связан с полицией" - многие воры даже не попытаются проникнуть. Потому что он ошибается, и он садится в тюрьму...
Итак, вы инвестируете всего несколько долларов, но вор инвестирует и рискует много.
Но данные-воры не имеют таких рисков. как раз наоборот: если вы совершаете неправильный ход (например, если вы вводите некоторый BUG в результате технических барьеров), вы потеряете своих пользователей. Если очищающий бот не будет работать в первый раз, ничего не произойдет - шахтер данных просто попробует другой подход и/или отладит script.
В этом случае вам нужно инвестировать гораздо больше - и скребок инвестирует гораздо меньше.
Просто подумайте, где вы хотите инвестировать свое время и энергию...
Ps: английский не мой родной - так простите мой сломанный английский...
Конечно, это возможно. За 100% -ный успех заведите свой сайт в автономном режиме.
На самом деле вы можете сделать некоторые вещи, которые затрудняют соскабливание. Google делает проверку браузера, чтобы убедиться, что вы не робот, соскабливающий результаты поиска (хотя это, как и все остальное, может быть подделано).
Вы можете делать такие вещи, как несколько секунд между первым подключением к вашему сайту и последующими щелчками. Я не уверен, какое идеальное время было бы или как это сделать, но эта другая идея.
Я уверен, что есть несколько других людей, у которых гораздо больше опыта, но я надеюсь, что эти идеи, по крайней мере, будут несколько полезными.
Есть несколько вещей, которые вы можете сделать, чтобы попытаться предотвратить скрипинг экрана. Некоторые из них не очень эффективны, в то время как другие (CAPTCHA), но препятствуют удобству использования. Вы должны также помнить, что это может помешать законным скреперам сайтов, таким как индексы поисковых систем.
Однако, я предполагаю, что если вы не хотите, чтобы это очищало, это означает, что вы не хотите, чтобы поисковые системы также индексировали его.
Вот некоторые вещи, которые вы можете попробовать:
Если бы мне пришлось это сделать, я бы, вероятно, использовал комбинацию из трех последних, потому что они сводят к минимуму неудобства для законных пользователей. Тем не менее, вы должны согласиться с тем, что вы не сможете блокировать всех таким образом, и как только кто-то выяснит, как обойти его, они смогут наскрести его навсегда. Вы могли бы просто попытаться заблокировать свои IP-адреса, как вы их обнаружите, я думаю.
Это не тот ответ, который вы, вероятно, хотите, но зачем скрыть то, что вы пытаетесь сделать общедоступным?
Метод один (только для небольших сайтов):
Слушайте зашифрованные/закодированные данные.
Я просматриваю веб-страницы с помощью python (urllib, запросы, beautifulSoup и т.д.) И обнаружил множество веб-сайтов, которые обслуживают зашифрованные/закодированные данные, которые не дешифруются на любом языке программирования просто потому, что метод шифрования не существует.
Я достиг этого на веб-сайте PHP, зашифровав и минимизируя вывод (ПРЕДУПРЕЖДЕНИЕ: это не очень хорошая идея для больших сайтов), ответ всегда был беспорядочным.
Пример минимизации вывода в PHP (Как минимизировать вывод HTML-страницы php-страницы?):
<?php
function sanitize_output($buffer) {
$search = array(
'/\>[^\S ]+/s', // strip whitespaces after tags, except space
'/[^\S ]+\</s', // strip whitespaces before tags, except space
'/(\s)+/s' // shorten multiple whitespace sequences
);
$replace = array('>', '<', '\\1');
$buffer = preg_replace($search, $replace, $buffer);
return $buffer;
}
ob_start("sanitize_output");
?>
Метод второй:
Если вы не можете остановить их, закрутите их, чтобы они служили поддельными/бесполезными данными в качестве ответа.
Метод третий:
блокируйте общие пользовательские агенты очистки, вы увидите это на крупных/крупных веб-сайтах, так как невозможно очистить их с помощью "python3.4" в качестве пользователя-агента.
Метод четыре:
Убедитесь, что все заголовки пользователей действительны, я иногда предоставляю как можно больше заголовков, чтобы сделать мой скребок похожим на аутентичного пользователя, некоторые из них даже не верны или не верны, как en-FU:).
Вот список некоторых заголовков, которые я обычно предоставляю.
headers = {
"Requested-URI": "/example",
"Request-Method": "GET",
"Remote-IP-Address": "656.787.909.121",
"Remote-IP-Port": "69696",
"Protocol-version": "HTTP/1.1",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"Accept-Encoding": "gzip,deflate",
"Accept-Language": "en-FU,en;q=0.8",
"Cache-Control": "max-age=0",
"Connection": "keep-alive",
"Dnt": "1",
"Host": "http://example.com",
"Referer": "http://example.com",
"Upgrade-Insecure-Requests": "1",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.111 Safari/537.36"
}
Вместо черных списков ботов, возможно, вы должны их белыми списками. Если вы не хотите убивать результаты поиска для самых популярных движков, вы можете перечислить их строки-пользовательские агенты, которые, как правило, широко освещаются. Менее этические боты склонны подделывать строки пользовательских агентов популярных веб-браузеров. Лучшие поисковые системы должны превышать 95% трафика.
Идентификация самих ботов должна быть довольно простой, используя методы, предлагаемые другими плакатами.
Быстрый подход к этому будет заключаться в том, чтобы установить ловушку для мигания/бота.
Сделайте страницу, которая, если она откроется определенное количество раз или даже будет открыта вообще, соберет определенную информацию, такую как IP и еще что-то (вы также можете рассмотреть неровности или шаблоны, но эта страница не должна быть открыт вообще).
Сделайте ссылку на это на своей странице, которая скрыта с отображением CSS: none; или слева: -9999px; положение: абсолютное; попробуйте поместить его в места, которые вряд ли будут игнорироваться, например, когда ваш контент попадает под вас, а не в нижний колонтитул, поскольку иногда боты могут забыть о некоторых частях страницы.
В файле robots.txt задается целая последовательность правил запрета на страницы, на которых вы не хотите дружественных ботов (LOL, например, у них есть счастливые лица!), чтобы собирать информацию и задавать эту страницу как один из них,
Теперь, если приходит дружественный бот, он должен игнорировать эту страницу. Правильно, но это все еще недостаточно. Сделайте еще пару этих страниц или каким-то образом переадресовывайте страницу, чтобы принимать разные имена. а затем поместите больше запрещающих правил на эти страницы ловушек в файле robots.txt вместе с страницами, которые вы хотите игнорировать.
Соберите IP-адрес этих ботов или всех, кто входит на эти страницы, не запрещайте их, а создавайте функцию для отображения в вашем тексте лапшированного текста, например, случайных чисел, уведомлений об авторских правах, конкретных текстовых строк, отображения страшных изображений, в основном все, что мешает вашему хорошему контенту. Вы также можете установить ссылки, указывающие на страницу, которая будет навсегда загружаться, т.е. в php вы можете использовать функцию sleep(). Это будет бороться с искателем назад, если у него есть своего рода обнаружение, чтобы обойти страницы, которые слишком долго загружаются, так как некоторые хорошо написанные боты настроены на обработку X количества ссылок за раз.
Если вы сделали конкретные текстовые строки/предложения, почему бы не перейти в вашу любимую поисковую систему и не найти их, это может показать вам, где заканчивается ваш контент.
В любом случае, если вы думаете тактически и творчески, это может быть хорошей отправной точкой. Лучше всего было бы узнать, как работает бот.
Я также подумал бы о том, как обмануть какой-то идентификатор или указать атрибуты на элементе страницы:
<a class="someclass" href="../xyz/abc" rel="nofollow" title="sometitle">
который каждый раз меняет свою форму, поскольку некоторые боты могут быть настроены на поиск определенных шаблонов на ваших страницах или целевых элементах.
<a title="sometitle" href="../xyz/abc" rel="nofollow" class="someclass">
id="p-12802" > id="p-00392"
Я согласен с большинством вышеперечисленных сообщений, и я хотел бы добавить, что чем больше поисковая система, поддерживающая ваш сайт, тем более уступчивым оно будет. Вы можете попробовать сделать несколько вещей, которые очень там, что усложняет работу скребков, но это может также повлиять на вашу способность поиска... Это зависит от того, насколько хорошо вы хотите, чтобы ваш сайт оценивался в поисковых системах, конечно.
Вы не можете остановить обычное очищение экрана. К лучшему или худшему, это характер сети.
Вы можете сделать так, чтобы никто не мог получить доступ к определенным вещам (включая музыкальные файлы), если они не вошли в систему как зарегистрированный пользователь. Это не слишком сложно делать в Apache. Я предполагаю, что это не будет слишком сложно сделать и в IIS.
Один из способов заключается в том, чтобы обслуживать контент как атрибуты XML, строки с кодировкой URL, предварительно отформатированный текст с JSON с кодировкой HTML или URI данных, а затем преобразовывать его в HTML на клиенте. Вот несколько сайтов, которые делают это:
Skechers: XML
<document
filename=""
height=""
width=""
title="SKECHERS"
linkType=""
linkUrl=""
imageMap=""
href="http://www.bobsfromskechers.com"
alt="BOBS from Skechers"
title="BOBS from Skechers"
/>
Интернет-магазин Chrome: JSON
<script type="text/javascript" src="https://apis.google.com/js/plusone.js">{"lang": "en", "parsetags": "explicit"}</script>
Bing News: URL-адрес данных
<script type="text/javascript">
//<
Другие компании, вероятно, тоже это делают, CloudFlare - это единственное, что я знаю.
Я уверен, что это усложнит их работу. Я также однажды получил IP запретили автоматически в течение 4 месяцев, когда я попытался отказаться от данных сайта, защищенного CloudFlare из-за ограничения скорости (я использовал простой цикл запроса AJAX).