У меня есть проблема с использованием Gearman, которая медленно переносит задачи на работников, когда я отправляю ей большие полезные нагрузки через расширение PHP Gearman. На самом деле мы не находим полезную нагрузку такой большой (она 30 МБ). Все (PHP, Gearman, node) выполняется локально, поэтому доступ к сети не является узким местом.
PHP скрипт
Вот клиент PHP:
ini_set('memory_limit', '1G');
$client= new GearmanClient();
$client->addServer('127.0.0.1', '4730');
$schema = file_get_contents('schema.json');
$data = file_get_contents('data.json');
$gearmanData = [
'schema' => $schema,
'data' => $data
];
echo "Encoding in JSON the payload\n";
$gearmanDataString = json_encode($gearmanData, JSON_FORCE_OBJECT);
echo "Sending job to Gearman\n";
// This line takes long to execute...
$result = $client->doNormal("validateJsonSchema", $gearmanDataString);
echo "Job finished\n";
var_dump($result);
Это мой рабочий узел nodejs, который в конечном итоге что-то сделает, но пуст, чтобы продемонстрировать, что рабочий код не является проблемой:
var gearmanode = require('gearmanode');
var worker = gearmanode.worker({host: '127.0.0.1' port: 4730});
worker.addFunction('validateJsonSchema', function (job) {
console.log('I will do something');
job.workComplete('Toasty!');
});
Я запускаю своего работника в фоновом режиме, а затем запускаю свой клиент, и он зависает, пока он занимает 30 секунд или около того, делая $client->doNormal
(сразу после вывода задания отправки на Gearman) и заканчивает вывод string(7) "Toasty!"
через PHP var_dump. Так оно и работает, но его просто нужно обработать.
Кроме того, если я уменьшаю размер полезной нагрузки (data.json), это занимает меньше времени, поэтому размер полезной нагрузки, по-видимому, имеет значение.
Я попытался закодировать одного и того же работника в PHP с тем же результатом:
$worker= new GearmanWorker();
$worker->addServer('127.0.0.1', '4730');
$worker->addFunction("validateJsonSchema", "validateJsonSchema");
while ($worker->work());
function validateJsonSchema($job)
{
return 'ToastyPHP!';
}
UPDATE
Используя клиент node.js, делая почти то же самое, что и в PHP, он выполняется намного быстрее (~ 3,5 секунды). Я что-то не так с PHP-версией, или мне не хватает какой-то конфигурации, чтобы сделать это быстрее?
Мой node.js клиент:
var gearmanode = require('gearmanode');
var fs = require('fs');
var start = Date.now();
var client = gearmanode.client();
schema = fs.readFileSync('schema.json', 'utf8');
data = fs.readFileSync('data.json', 'utf8');
var submitData = JSON.stringify({ "data": data, "schema": schema });
// Runs much faster than PHP
var job = client.submitJob('validateJsonSchema', submitData, {background: false});
job.on('complete', function() {
console.log('RESULT >>> ' + job.response);
client.close();
var end = Date.now();
console.log(end-start + ' milliseconds'); // Always shows around 3500 milliseconds
});
Какая подсказка, почему это происходит? Является ли Gearman для обработки такого размера полезной нагрузки? 30MB не так уж и много в моей книге.