Как просмотреть сообщение kafka

Ответ 1

Вы можете использовать консольный потребитель для просмотра сообщений, созданных по какой-либо теме:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

Ответ 2

Используйте потребителя Kafka, предоставленного Kafka:

bin/kafka-console-consumer.sh --bootstrap-server BROKERS --topic TOPIC_NAME

Он отобразит сообщения, когда он их получит. Добавьте --from-beginning, если вы хотите начать с самого начала.

Ответ 3

Если вы делаете из папки Windows, я имею в виду, если вы используете Кафку из машины Windows

kafka-console-consumer.bat --bootstrap-server localhost:9092 --<topic-name> test --from-beginning

Ответ 4

Прилично обсуждается инструментарий Kafka в следующих SO-потоках, которые достаточно полны по охвату:

• Кафка имеет какой-либо веб-интерфейс по умолчанию
• Кафка просмотрщик тем?

Если вам нужен веб-инструмент, попробуйте Kafdrop 3 (это воскресение оригинального Kafdrop, которое сейчас в основном неактивно). Он позволяет вам просматривать темы и настраивать кластер (но это не полный инструмент администратора). Это простое приложение с весенней загрузкой и поставляется со сборкой Docker. (Небольшой отказ от ответственности: я один из авторов, но я не оригинальный автор.)

Для инструмента командной строки попробуйте Kafkacat для просмотра тем и публикации сообщений. На момент написания он также поддерживает печать заголовков сообщений (в отличие от встроенных инструментов Kafka).

Ответ 5

Если вы хотите сделать это программно, вы можете написать приложение, обертывающее клиента Kafka (оно будет доступно практически для каждого языка), или сценарий bash, который использует либо один из встроенных инструментов kafka kafka-console-consumer или Kafkacat, который немного более гибок (но недостатком является то, что вам нужно скачать отдельный инструмент, в то время как kafka-console-consumer входит в комплект Kafka).

Если вам нужен графический интерфейс, отображающий несколько последних сообщений по теме, вы можете использовать Kafdrop 3 или Kafka Tool. Первый - это веб-приложение (приложение Springboot), а второй - настольное приложение на основе Swing.

Ответ 6

Вы можете попробовать Kafka Magic - это бесплатно, и вы можете написать сложные запросы в JavaScript, ссылаясь на свойства сообщения и метаданные. Также работает с сериализацией Avro

Ответ 7

Если вы ищете простой и интуитивно понятный способ просмотра и поиска сообщений Apache Kafka, вам следует попробовать KaDeck. Общественная версия полностью бесплатна и поддерживает Win, Mac OS и Linux.

Для использования в корпоративном контексте также доступна корпоративная версия, которая включает веб-сервис.