Я планирую использовать ElasticSearch для индексации моей базы данных Cassandra. Мне интересно, видел ли кто-то практические пределы ElasticSearch. Что-то замедляется в диапазоне петабайт? Кроме того, есть ли у кого-нибудь проблемы с использованием ElasticSearch для индексации Cassandra?
Практические ограничения ElasticSearch + Cassandra
Ответ 1
См. этот поток от 2011 года, в котором упоминаются конфигурации ElasticSearch с 1700 осколками, каждая из которых составляет 200 ГБ, что будет в диапазоне 1/3 петабайт, Я ожидал бы, что архитектура ElasticSearch будет поддерживать почти неограниченную горизонтальную масштабируемость, потому что каждый индекс осколков работает отдельно от всех остальных осколков.
Практические ограничения (которые применимы и к любому другому решению) также включают время, необходимое для фактической загрузки большого количества данных. Управление кластером Cassandra (или любым другим распределенным хранилищем данных) такого размера также потребует значительной рабочей нагрузки только для обслуживания, балансировки нагрузки и т.д.
Ответ 2
Sonian - это компания, которую кимчжи ссылается на эту тему. Мы имеем над петабайтом на AWS через несколько ES-кластеров. Существует не техническое ограничение того, насколько далеко вы можете масштабировать ES по горизонтали, но, как упоминалось в ДНК, существуют практические проблемы. Самая большая на сегодняшний день сеть. Это относится ко всем распределенным хранилищам данных. Вы можете перемещаться только по кабелю за раз. Когда ES должен восстановиться после сбоя, ему необходимо переместить данные. Лучшим вариантом является использование меньших осколков для большего количества узлов (более параллельная передача), но вы рискуете увеличить скорость отказа и чрезмерную стоимость за каждый байт.
Ответ 3
AS DNA упоминается, 1700 осколков, но это не 1700 осколков, но есть 1700 индексов с 1 осколком и 1 копией. Поэтому вполне возможно, что эти индексы 1700 не присутствуют на одной машине, но разделены на несколько машин. Так что это никогда не проблема
Ответ 4
В настоящее время я начинаю работать с Elisandra (Elasticsearch + Cassandra)
Я также имею проблемы с индексом Cassandra с elasticsearch. Моя проблема в основном заключается в конфигурации node.
Выполняя $ nodetool status, вы можете увидеть Host ID, а затем разрушить:
curl -XGET http://localhost:9200/_cluster/state/?pretty=true
Вы можете проверить, что одно из node: - это то же имя, что и Host ID