Каковы некоторые варианты использования elasticsearch по сравнению с стандартными sql-запросами?

Я только начинаю работу с Elasticsearch, и один из основных случаев использования, который я видел, - это масштабируемость при поиске на больших наборах данных, но помимо этого, когда вы хотите использовать его только для создания SQL-запросов с традиционным RDMS?

Ответ 1

Существуют два основных случая использования Elasticsearch:

Текстовый поиск

Вы хотите, чтобы Elasticsearch, когда вы делаете много текстового поиска, где традиционные базы данных РСУБД работают не очень хорошо (плохая конфигурация, действует как черный ящик, низкая производительность). Elasticsearch очень настраиваемый, расширяемый через плагины. Вы можете быстро создавать надежный поиск без особых знаний.

Запись и анализ

Другой вопрос о том, что многие люди используют Elasticsearch для хранения журналов из разных источников (для их централизации), поэтому они могут анализировать их и делать из этого смысл. В этом случае Кибана становится удобной. Он позволяет подключаться к кластеру Elasticsearch и сразу создавать визуализацию. Например, Loggly создается с использованием Elasticsearch и Kibana.

Имейте в виду, что вы не хотите использовать Elasticsearch в качестве основного хранилища данных. Причины здесь: Насколько надежным является ElasticSearch в качестве основного хранилища данных против таких факторов, как потеря записи, наличие данных

Update

Мне показалось, что вторая часть больше не раздражает, на самом деле то, что Elastic, как компания, очень хорошо справляется в прошлом году. Благодаря текущему движению DevOps, конвейерам CI/CD, увеличению количества показателей из разных источников, ELK стал выбором дефакто для мониторинга инфраструктуры, это уже не просто распределенная текстовая поисковая система RESTful. У этого есть удивительный набор продуктов:

Logstash (тонны ввода данных)
Beats
- Filebeat
- Metricbeat
- Packetbeat
- Winlogbeat
Kibana
- Graph
- Timelion
X-Pack (премиум)
- Оповещения
- Отчеты
- Безопасность
- Машинное обучение
- Показатели кросс-центра обработки данных

Экосистема, построенная сообществом, растет вокруг стека ELK, который расширяет текущие функции, немногие из них заслуживают упоминания:

ElastAlert
Защитник щита

Ответ 2

Чтобы добавить другой ответ, ведение журнала по-прежнему является основным прецедентом, а также поиском, но теперь метрики и аналитика становятся все более важными.

Я считаю, что этот пост суммирует изменения на рынке, которые приводят новые случаи использования для больших данных. Все, что вам действительно нужно знать о базах данных с открытым исходным кодом

С появлением Web 2.0 статические веб-страницы стали динамичными и социальные медиа вокруг нас. Все чирикают, публикуют, ведение блога, ведение журнала, обмен фотографиями, общение в чате и комментирование. Появляется Internet of Things (IoT) - быстро растущая сеть которые собирают и обмениваются данными, такими как датчики и умные устройства. Здесь есть несколько отличных примеров.

В целом, это генерирует огромное количество новых данных, которые предприятия хотят поглощать и использовать, чтобы оставаться впереди, чтобы обеспечить такие функции, как рекомендации продукта и лучший опыт работы с клиентами. Данные могут быть проанализированы в поиске шаблонов для таких приложений, как обнаружение и поведение мошенничества аналитика. Большая часть новых данных неструктурирована, а это означает, что это не могут быть аккуратно сохранены в табличной базе данных.

Представьте, что вы пытаетесь спроектировать база данных для хранения данных по вашим продуктовым магазинам - что вам нравится, как часто покупаете его, предпочитаете ли вы молоко или сливки с кофе. Для хранения новых данных необходимы новые типы баз данных, и им необходимо быть нереляционными и идеально дешевыми. Кольцо колокольчиков? Не как в NoSQL, так и с низкой стоимостью, как в open source.

Один из архитекторов Elasticsearch, с которыми я говорил, сказал, что 80% данных Elasticsearch работают в компаниях, неструктурированы, а 20% структурировано. Это неструктурированные данные, которые компании ищут, чтобы обнаружить редкие или необычные шаблоны данных. Они также используют Elasticsearch для мониторинга шаблонов данных. Например, крупный розничный торговец проводит отслеживание в режиме реального времени с помощью Elasticsearch, чтобы обеспечить адекватные денежные запасы в магазинах для людей, чтобы наличные чеки в день выплаты зарплаты.

В моем собственном опыте с нашим поисковым случаем мы не только используем нечеткие поисковые запросы, но и превратились в автоматические и быстрые поиски. Из того, что я видел, как только вы начинаете работать с Elasticsearch, вы начинаете развиваться в другие варианты использования, которые дополняют то, что у вас уже есть. Теперь, когда мы создали Elasticsearch как нечеткую поисковую систему в нашей компании, теперь у нас есть другие команды, которые анализируют и метрику для ведения журнала.

Вот некоторые дополнительные ресурсы, которые более подробно рассматриваются в этой теме: