Я хочу настроить scrapy cluster, следуя этой ссылке scrapy-cluster, все нормально, пока я не запустил эту команду:
pip install -r requirements.txt
. Требования .txt выглядит так:
cffi==1.2.1
characteristic==14.3.0
ConcurrentLogHandler>=0.9.1
cryptography==0.9.1
...
Я предполагаю, что указанная выше команда означает установку пакетов в require.txt. Но я не хочу, чтобы она указывала версию, поэтому я меняю ее на это:
cat requirements.txt | while read line; do pip install ${line%%[>=]*} --user;done
При установке криптографии это дает мне ошибку:
build/temp.linux-x86_64-2.7/_openssl.c:12:24:fatal error:pyconfig.h:No such file or directory
#include <pyconfig.h>
Я не знаю, как это решить, я пробовал много методов, но не смог. моя система - centos 7, а версия python - 2.7.5 (по умолчанию). Кроме того, есть ли какая-либо другая рамка для лечения, которая может использоваться для большого количества URL-адресов. Спасибо заранее
