Я пытаюсь максимизировать вставки в секунду. В настоящее время я получаю около 20 тыс. Вставок в секунду. Моя производительность фактически снижает количество потоков и процессора, которые я использую (у меня есть 16 ядер). В настоящее время 2 потока потребляют больше, чем 16 потоков на 16-ядерном двухпроцессорном компьютере. Любые идеи о том, в чем проблема? Это потому, что я использую только один монгод? Это индексирование, которое может замедлить работу? Нужно ли использовать осколки? Интересно, есть ли способ очертить, но и сохранить базу данных...
Ограничения: должен обрабатывать около 300 тыс. вставок/сек, должен быть самоограничивающимся (ограниченным), должен быть доступен относительно быстро
Проблемное пространство: должно обрабатывать записи вызовов для крупной компании сотового телефона (около 300 тыс. вставок/сек) и делать эти записи вызовов максимально возможными (в течение недели, например)
#!/usr/bin/perl
use strict;
use warnings;
use threads;
use threads::shared;
use MongoDB;
use Time::HiRes;
my $conn = MongoDB::Connection->new;
my $db = $conn->tutorial;
my $users = $db->users;
my $cmd = Tie::IxHash->new(
"create" => "users",
"capped" => "boolean::true",
"max" => 10000000,
);
$db->run_command($cmd);
my $idx = Tie::IxHash->new(
"background"=> "boolean::true",
);
$users->ensure_index($idx);
my $myhash =
{
"name" => "James",
"age" => 31,
# "likes" => [qw/Danielle biking food games/]
};
my $j : shared = 0;
my $numthread = 2; # how many threads to run
my @array;
for (1..100000) {
push (@array, $myhash);
$j++;
}
sub thInsert {
#my @ids = $users->batch_insert(\@array);
#$users->bulk_insert(\@array);
$users->batch_insert(\@array);
}
my @threads;
my $timestart = Time::HiRes::time();
push @threads, threads->new(\&thInsert) for 1..$numthread;
$_->join foreach @threads; # wait for all threads to finish
print (($j*$numthread) . "\n");
my $timeend = Time::HiRes::time();
print( (($j*$numthread)/($timeend - $timestart)) . "\n");
$users->drop();
$db->drop();
