Рассмотрим случай, Я хочу часто обходить веб-сайты, но мой IP-адрес заблокирован через день/лимит.
Итак, как можно изменить мой IP-адрес динамически или какие-либо другие идеи?
Рассмотрим случай, Я хочу часто обходить веб-сайты, но мой IP-адрес заблокирован через день/лимит.
Итак, как можно изменить мой IP-адрес динамически или какие-либо другие идеи?
Подход с использованием Scrapy будет использовать два компонента, RandomProxy
и RotateUserAgentMiddleware
.
Измените DOWNLOADER_MIDDLEWARES
следующим образом. Вам нужно будет вставить новые компоненты в settings.py
:
DOWNLOADER_MIDDLEWARES = {
'scrapy.contrib.downloadermiddleware.retry.RetryMiddleware': 90,
'tutorial.randomproxy.RandomProxy': 100,
'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110,
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware' : None,
'tutorial.spiders.rotate_useragent.RotateUserAgentMiddleware' :400,
}
Вы можете использовать scrapy-proxies
. Этот компонент будет обрабатывать запросы Scrapy, используя случайный прокси-сервер из списка, чтобы избежать запрета IP-адресов и повысить скорость сканирования.
Вы можете создать свой список прокси из быстрого поиска в Интернете. Скопируйте ссылки в файл list.txt
соответствии с запрошенным форматом URL.
Для каждого запроса scrapy будет использоваться случайный пользовательский агент из списка, который вы определили заранее:
class RotateUserAgentMiddleware(UserAgentMiddleware):
def __init__(self, user_agent=''):
self.user_agent = user_agent
def process_request(self, request, spider):
ua = random.choice(self.user_agent_list)
if ua:
request.headers.setdefault('User-Agent', ua)
# Add desired logging message here.
spider.log(
u'User-Agent: {} {}'.format(request.headers.get('User-Agent'), request),
level=log.DEBUG
)
# the default user_agent_list composes chrome,I E,firefox,Mozilla,opera,netscape
# for more user agent strings,you can find it in http://www.useragentstring.com/pages/useragentstring.php
user_agent_list = [
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
"Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
]
Подробнее здесь.
Вы можете попробовать использовать прокси-серверы для предотвращения блокировки. Есть сервисы, предоставляющие рабочие прокси. Лучшее, что я попробовал, это https://gimmeproxy.com - они часто проверяют прокси на различные параметры.
Чтобы получить от них прокси, вам нужно просто сделать следующий запрос:
https://gimmeproxy.com/api/getProxy
Они предоставят JSON-ответ со всеми прокси-данными, которые вы сможете использовать позже при необходимости:
{
"supportsHttps": true,
"protocol": "socks5",
"ip": "179.162.22.82",
"port": "36915",
"get": true,
"post": true,
"cookies": true,
"referer": true,
"user-agent": true,
"anonymityLevel": 1,
"websites": {
"example": true,
"google": false,
"amazon": true
},
"country": "BR",
"tsChecked": 1517952910,
"curl": "socks5://179.162.22.82:36915",
"ipPort": "179.162.22.82:36915",
"type": "socks5",
"speed": 37.78,
"otherProtocols": {}
}
Вы можете использовать это как Curl:
curl -x socks5://179.162.22.82:36915 http://example.com
Если вы используете R, вы можете выполнять сканирование через TOR. Я думаю, что TOR автоматически сбрасывает свой IP-адрес каждые 10 минут (?). Я думаю, что есть способ заставить TOR изменить IP в короткие промежутки времени, но это не сработало для меня. Вместо этого вы можете настроить несколько экземпляров TOR и затем переключаться между независимыми экземплярами (здесь вы можете найти хорошее объяснение того, как настроить несколько экземпляров TOR: https://tor.stackexchange.com/questions/2006/how-to-run-multiple-tor-browsers-with-different-ips)
После этого вы можете сделать что-то вроде следующего в R (используйте порты ваших независимых браузеров TOR и список пользовательских атак. Каждый раз, когда вы вызываете цикл "getURL" через список портов /useragents )
library(RCurl)
port <- c(a list of your ports)
proxy <- paste("socks5h://127.0.0.1:",port,sep="")
ua <- c(a list of your useragents)
opt <- list(proxy=sample(proxy,1),
useragent=sample(ua,1),
followlocation=TRUE,
referer="",
timeout=timeout,
verbose=verbose,
ssl.verifypeer=ssl)
webpage <- getURL(url=url,.opts=opt)
Некоторые приложения VPN позволяют автоматически изменять свой IP-адрес на новый случайный IP-адрес с заданным интервалом, таким как: каждые 2 минуты. Оба HMA! Pro VPN и VPN4ALL поддерживают эту функцию.
Слово с предупреждением о VPN, внимательно изучите их Условия и положения, потому что их использование противоречит их политике пользователя (одним из таких примеров может быть Astrill). Я попробовал очистить инструмент и заблокировал мой аккаунт
Если у вас есть публичные IP-адреса. Добавьте их в свой интерфейс и, если вы используете Linux, используйте Iptables для переключения этих публичных IP-адресов.
Типовые правила Iptables для двух IP-адресов
iptables -t nat -A POSTROUTING -m statistic --mode random --probability 0.5 -j SNAT --to-source 192.168.0.2
iptables -t nat -A POSTROUTING -m statistic --mode random --probability 0.5 -j SNAT --to-source 192.168.0.3
Если у вас 4 IP-адреса, то вероятность станет 0,25.
Вы также можете создать свой собственный прокси с помощью простых шагов.
Эти правила позволят прокси-серверу переключать свой исходящий IPS.