Потребитель не получает сообщения, консоль kafka, новый потребитель api, Kafka 0.9

Я делаю Kafka Quickstart для Kafka 0.9.0.0.

У меня прослушивание zookeeper в localhost:2181, потому что я бежал

bin/zookeeper-server-start.sh config/zookeeper.properties

У меня есть один брокер, слушающий в localhost:9092, потому что я побежал

bin/kafka-server-start.sh config/server.properties

У меня есть публикация производителя для темы "test", потому что я бежал

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
yello
is this thing on?
let try another
gimme more

Когда я запускаю старого пользователя API, он работает, запустив

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

Однако, когда я запускаю нового пользователя API, я ничего не получаю при запуске

bin/kafka-console-consumer.sh --new-consumer --topic test --from-beginning \
    --bootstrap-server localhost:9092

Можно ли подписаться на тему у потребителя консоли, используя новый api? Как я могу это исправить?

Ответ 1

Можете ли вы попробовать:

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic

Ответ 2

Я просто столкнулся с этой проблемой, и решение было удалить /brokers в zookeeper и перезапустить узлы kafka.

bin/zookeeper-shell <zk-host>:2181

а затем

rmr /brokers

Не знаю, почему это его решает.

Когда я включил ведение журнала отладки, я видел это сообщение об ошибке снова и снова у потребителя:

2017-07-07 01:20:12 DEBUG AbstractCoordinator:548 - Sending GroupCoordinator request for group test to broker xx.xx.xx.xx:9092 (id: 1007 rack: null) 2017-07-07 01:20:12 DEBUG AbstractCoordinator:559 - Received GroupCoordinator response ClientResponse(receivedTimeMs=1499390412231, latencyMs=84, disconnected=false, requestHeader={api_key=10,api_version=0,correlation_id=13,client_id=consumer-1}, responseBody={error_code=15,coordinator={node_id=-1,host=,port=-1}}) for group test 2017-07-07 01:20:12 DEBUG AbstractCoordinator:581 - Group coordinator lookup for group test failed: The group coordinator is not available. 2017-07-07 01:20:12 DEBUG AbstractCoordinator:215 - Coordinator discovery failed for group test, refreshing metadata

Ответ 3

Используйте это: bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092 --topic test --from-begin

Примечание. Удалите "-new-consumer" из вашей команды.

Для справки см. здесь: https://kafka.apache.org/quickstart

Ответ 4

У меня такая же проблема, теперь я понял.

При использовании --zookeeper в качестве параметра предполагается, что в качестве параметра должен быть указан адрес zookeeper.

При использовании --bootstrap-сервера в качестве параметра предполагается, что в качестве параметра должен быть указан адрес брокера.

Ответ 5

В kafka_2.11-0.11.0.0 сервер zookeeper устарел, и он использует bootstrap-сервер, и он будет принимать адрес и порт брокерского ip. Если вы дадите правильные параметры брокера, вы сможете потреблять сообщения.

например. $bin/kafka-console-consumer.sh --bootstrap-server: 9093 --topic test --from-begin

Я использую порт 9093, для вас он может меняться.

С уважением.