Я новичок в Кафке. Мы хотим отслеживать темы кафки и управлять ими. Мы пробовали разные инструменты мониторинга с открытым исходным кодом, такие как
Оба инструмента хороши. Но мы не можем принять решение, которое должно быть включено в наш стек развертывания. Какой из них лучше и почему, и в каком сценарии?
'Кафка менеджер' из Yahoo выглядит старше, а 'Кафка монитор' из LinkedIn является более новым
Кафка Monitor- 
линзы
Линзы (от Landoop) расширяют возможности Kafka благодаря пользовательскому интерфейсу, потоковому движку SQL и мониторингу кластера. Это позволяет быстрее контролировать конвейеры данных Kafka.
Они предоставляют бесплатную док-станцию "все в одном" (Lenses Box), которая может обслуживать одного брокера до 25 миллионов сообщений. Обратите внимание, что это рекомендуется для сред разработки.
сливающийся
Другим вариантом является Confluent Enterprise, который является дистрибутивом Kafka для производственных сред. Он также включает в себя Центр управления, который представляет собой систему управления для Apache Kafka, которая обеспечивает мониторинг и управление кластером из пользовательского интерфейса.
Yahoo Kafka Manager
Kafka Manager - это инструмент для мониторинга Kafka, предлагающий меньшую функциональность по сравнению с вышеупомянутыми инструментами.
KafDrop
KafDrop - это пользовательский интерфейс для мониторинга кластеров Apache Kafka. Инструмент отображает такую информацию, как брокеры, темы, разделы и даже позволяет просматривать сообщения. Это легкое приложение, которое работает на Spring Boot и требует очень небольшой настройки.
LinkedIn Нора
Burrow - это компаньон для мониторинга Apache Kafka, который обеспечивает проверку отставания потребителя в качестве службы без указания пороговых значений. Он отслеживает фиксированные смещения для всех потребителей и вычисляет статус этих потребителей по требованию. Конечная точка HTTP предоставляется для запроса статуса по требованию, а также для предоставления другой информации о кластере Kafka. Существуют также настраиваемые уведомители, которые могут отправлять сведения о состоянии по электронной почте или по HTTP-вызовам в другую службу.
Кафка Инструмент
Kafka Tool - это приложение с графическим интерфейсом для управления и использования кластеров Apache Kafka. Он предоставляет интуитивно понятный пользовательский интерфейс, который позволяет быстро просматривать объекты в кластере Kafka, а также сообщения, хранящиеся в темах кластера. Он содержит функции, предназначенные как для разработчиков, так и для администраторов.
Если вы не можете позволить себе лицензии, выберите Yahoo Kafka Manager, LinkedIn Burrow или KafDrop. Продукты Confluent и Landoop являются лучшими, но, к сожалению, они требуют лицензирования.
Более подробную информацию вы можете найти в моем блоге. Обзор инструментов мониторинга пользовательского интерфейса для кластеров Apache Kafka.
Если вы хотите заплатить за лицензирование и поддержку кластера Kafka, то вы можете использовать Confluent Control Center
В качестве альтернативы, бесплатным маршрутом будет использование JMX-экспортеров из Datadog и/или Prometheus/Influxdb (с панелями Grafana), чтобы просмотреть общие проверки работоспособности системы (ЦП, сеть, память и т.д.)... Значительная часть информации, чем вы получаете путем мониторинга процессов Кафки с помощью инструментов Kafka
В моей компании мы использовали продукт Yahoo, мы исследовали продукт LinkedIn и некоторые другие. Моя компания в конечном итоге решила использовать Prometheus + Grafana. Все любят его, и я очень рекомендую его.
Есть два больших преимущества для Prometheus + Grafana. Во-первых, это полный признак Kafka metrics ingestion + visualization + alerting, но он не ограничен Kafka. Хотя наши первоначальные потребности заключались в том, чтобы контролировать Kafka, нам также нужны показатели на серверах HTTP + трафик, загрузка сервера (cpu/ram/disk) и специальные показатели уровня приложения. Прометей обрабатывает все вышеперечисленное. Во-вторых, Prometheus + Grafana отличаются высоким качеством, хорошо спроектированы и просты в использовании. Многие другие продукты в этом пространстве являются старыми и сложными для работы. Prometheus + Grafana отлично подходят для работы, они очень настраиваемы, отполированы и просты в использовании. У Grafana есть очень яркий + функциональный интерфейс JavaScript, который позволяет вам точно настраивать информационные панели, которые вы хотите. Prometheus имеет очень полированный механизм сбора метрик, механизм хранения, язык запросов и систему оповещения. Что-то вроде Yahoo Kafka Manager имеет гораздо более ограниченную функциональность во всех этих категориях.
Если вы хотите попробовать Прометея, вам нужно сделать две вещи:
1) установите + сконфигурируйте экспортера JMX-> Prometheus на своих брокеров Kafka: https://github.com/prometheus/jmx_exporter
2) Настройте сервер Prometheus для сбора показателей + и настройте панель приборов Grafana для отображения графиков, которые вы хотите.
Я бы также сказал, что это только для мониторинга + панелей + предупреждений. Для функций управления вам все еще нужны другие инструменты.
Экосистема Кафки, хотя и превосходная во многих отношениях, страдает от явного недостатка инструментов. Мониторинг является одним из таких пробелов, но это также довольно широкая тема.
Kafka Manager и Monitor дают вам представление о состоянии работы брокеров и некоторых показателях (пропускная способность, задержка и т.д.), Но вам также может потребоваться следить за состоянием потребителей и содержимым тем (необходимым для отладки приложений или после вскрытия) - ни Manager, ни Manager или монитор сделает это. Я собираюсь предложить добавить еще несколько инструментов в ваш арсенал:
Запустив Kafka в течение некоторого времени в качестве основной опоры для обмена сообщениями/событиями для крупных развертываний микросервисов, мы не можем не подчеркнуть важность хороших инструментов мониторинга и вскрытия.
KaDeck
KaDeck полностью бесплатен и доступен в качестве настольного клиента для Mac, Linux и Win. В отличие от других решений, он не требует никаких дополнительных компонентов инфраструктуры, таких как KSQL, REST Proxy и т.д.
Если вам нужен веб-сервис и/или управление пользователями (и некоторые другие корпоративные функции), то версия для предприятий - это версия, которая может быть более интересной для вас. Это требует лицензии, хотя.
На работе мы используем Kafdrop 3 для просмотра информации о брокере, просмотра тем и отставаний потребителей. Основная причина Kafdrop 3 заключается в том, что мы блокируем нашу Kafka в производстве, и все производители и потребители находятся в кластере Kubernetes. У нас нет доступа к Kafka на наших машинах разработки (порты не доступны внешнему миру). Таким образом, мы запускаем Kafdrop внутри кластера K8s и используем прокси для него через kubectl proxy.
Функция отставания потребителя не так сложна, как в Burrow, но, вероятно, достаточно хороша, особенно если учесть, что она в одном инструменте.
Для разработки (запуск Kafka на локальном компьютере) мы могли бы использовать Kafka Tool, но, строго говоря, только для некоммерческого использования. И кроме того, он не очень полезен, если вы подключаетесь к производственной Kafka, которая была заблокирована.
Кафка-монитор (несмотря на название) представляет собой средство создания нагрузки и отчетности. Yahoo kafka-manager - это общий инструмент мониторинга.
Kakfa Tool - хорошая утилита для управления кластерами kafka. Это дает вам варианты, такие как управление брокерами, темами и потребителями.