Solr Обработчики импорта данных для MongoDB

Я работаю над проектом, в котором у нас есть миллионы записей, хранящихся в базе данных MongoDB, и я хочу индексировать все эти данные с помощью SOLR.

После обширного поиска я узнал, что для базы данных mongoDB нет надлежащих "Обработчиков импорта данных".

Может ли кто-нибудь сказать мне, какие правильные подходы к индексированию данных в MongoDB с помощью SOLR?

Я хочу использовать все возможности SOLR и хочу, чтобы он был масштабируемым в режиме реального времени. Я видел один или два подхода с разных постов, но не уверен, как они будут работать в режиме реального времени.

Большое спасибо

Ответ 1

10Gen вводит коннектор Mongodb. Вы можете интегрировать Mongodb с Solr с помощью этого инструмента.

Сообщение в блоге: Знакомство с Mongo Connector

Страница Github: mongo-connector

Ответ 2

Я написал ответ по аналогичному вопросу, за исключением того, что он импортировал данные из MySQL в SOLR. Код примера находится в PHP, но должен дать вам общую идею. Все, что вам нужно сделать, это настроить итератор, чтобы переходить через ваши ресурсы MongoDB, извлекать данные в типы данных SOLR и затем сохранять их в свой индекс SOLR.

Если вы хотите, чтобы он был в режиме реального времени, вы могли бы добавить какой-то пользовательский код в механизм сохранения (предполагая, что это можно сделать с помощью MongoDB) и сохранить непосредственно в индекс SOLR, а затем запустить commit script для фиксации данные каждые 15 минут (через cron).

Ответ 3

Я создал плагин, позволяющий вам загружать данные из MongoDb с помощью обработчика импорта данных Solr.

Проверьте это:

https://github.com/james75/SolrMongoImporter