Постоянный/keepalive HTTP с библиотекой PHP Curl?

Я использую простую библиотеку PHP для добавления документов в индекс SOLR через HTTP.

В нем задействовано 3 сервера:

Ящик PHP, в котором выполняется задание индексирования
Ящик базы данных, в котором индексируются данные.
Коробка solr.

В 80 документах/сек (из 1 миллиона документов) я замечаю необычно высокую скорость прерывания на сетевых интерфейсах на PHP и solr-боксах (2000/sec, что больше, графики почти идентичны) когда частота прерываний на ящике PHP увеличивается, она также накладывается на поле Solr), но гораздо меньше - на поле базы данных (300/sec). Я предполагаю, что это просто потому, что я открываю и повторно использую одно соединение с сервером базы данных, но каждый запрос Solr открывает новое HTTP-соединение через cURL, благодаря тому, как написана клиентская библиотека Solr.

Итак, мой вопрос:

Можно ли сделать cURL для открытия сеанса keepalive?
Что нужно для повторного использования соединения? - Это так же просто, как повторное использование ресурса дескриптора cURL?
Нужно ли устанавливать какие-либо специальные опции cURL? (например, сила HTTP 1.1?)
Есть ли какие-либо проблемы с подключением cURL keepalive? Этот script работает в течение нескольких часов; я смогу использовать одно соединение или мне нужно будет периодически подключаться?

Ответ 1

Документация cURL PHP (curl_setopt):

CURLOPT_FORBID_REUSE - TRUE, чтобы заставить соединение с явно закрытым когда он завершил обработку, и не объединяются для повторного использования.

Итак:

Да, на самом деле он должен повторно использовать соединения по умолчанию, если вы повторно используете дескриптор cURL.
по умолчанию, cURL обрабатывает постоянные соединения сам по себе; если вам нужны специальные заголовки, проверьте CURLOPT_HTTPHEADER
сервер может отправить тайм-аут keep-alive (с установкой Apache по умолчанию, это 15 секунд или 100 запросов, в зависимости от того, что наступит раньше) - но cURL просто откроет другое соединение, когда это произойдет.

Ответ 2

Curl отправляет заголовок keep-alive по умолчанию, но:

создайте контекст, используя curl_init() без каких-либо параметров.
сохранить контекст в области, где он выдержит (а не локальный var)
использовать параметр CURLOPT_URL для передачи URL-адреса в контекст
выполнить запрос с помощью curl_exec()
не закрывайте соединение с curl_close()

очень простой пример:

function get($url) {
    global $context;
    curl_setopt($context, CURLOPT_URL, $url);
    return curl_exec($context);
}

$context = curl_init();
//multiple calls to get() here
curl_close($context);

Ответ 3

На сервере, к которому вы обращаетесь, keep-alive должен быть включен и максимальные запросы keep-alive должны быть разумными. В случае Apache обратитесь к apache docs.
Вы должны повторно использовать один и тот же контекст cURL.
При настройке контекста cURL включите keep-alive с таймаутом в заголовке:
```
curl_setopt($curlHandle, CURLOPT_HTTPHEADER, array(
    'Connection: Keep-Alive',
    'Keep-Alive: 300'
));
```

Ответ 4

Если вам не нужен ответ от запроса, вы можете сделать это асинхронно, но вы рискуете перегрузить свой индекс SOLR. Я сомневаюсь, однако, SOLR довольно чертовски быстро.

Асинхронные вызовы PHP?