Существуют ли какие-либо ссылки/ресурсы для тестов производительности для Lucene/Solr на больших наборах данных. Наборы данных выше диапазона 500 ГБ ~ 5 ТБ
Спасибо
Где можно найти тесты производительности для Apache Lucene/Solr
Ответ 1
Lucene committer Майк МакКандлесс регулярно проводит тесты для отслеживания улучшений и регрессий. Они сделаны с экспортом Википедии, который может быть немного меньше того, что вы ищете.
Но производительность зависит не столько от размера ввода, сколько от количества документов и уникальных условий. Если у вас уже есть данные, похожие на то, что вам нужно будет индексировать, я бы рекомендовал вам проверить инструмент тестирования Майка, адаптировать его к вашим потребностям и запустить его с помощью собственный набор данных и аппаратное обеспечение, чтобы попытаться выяснить, какие показатели производительности вы можете ожидать.