Я новый пользователь Kafka и сейчас с ним играю около 2-3 недель. Я считаю, что в настоящий момент я хорошо понимаю, как работает Kafka по большей части, но после попытки поиграть и спроектировать своего собственного потребителя Kafka (это неясно, но я следую рекомендациям для нового KafkaConsumer, который предполагается чтобы быть доступным для v 0.9, который отсутствует в репозитории "trunk" ). У меня были проблемы с задержкой, связанные с темой, если у меня несколько пользователей с одним и тем же идентификатором группы.
В этой настройке моя консоль последовательно регистрирует проблемы, связанные с "переключением балансировки". Имеются ли перебалансировки, когда я добавляю новых потребителей в группу потребителей и запускаются ли они, чтобы выяснить, какой экземпляр пользователя в том же идентификаторе группы будет получать, какие разделы или перебалансировки используются для чего-то еще целиком?
Я также наткнулся на этот отрывок из https://cwiki.apache.org/confluence/display/KAFKA/Kafka+0.9+Consumer+Rewrite+Design, и я просто не могу понять его, поэтому, если кто-то может помочь мне сделать смысл этого, который будет высоко оценен:
Ребалансирование - это процесс, когда группа экземпляров потребителей (принадлежащие к той же группе) координируют свою независимую набор разделов тем, на которые подписана группа. На завершение успешной операции ребалансировки для группы потребителей, каждая раздел для всех подписанных тем будет принадлежать одному потребителю экземпляр внутри группы. Способ ребалансировки заключается в следующем. Каждый брокер избирается в качестве координатора для подмножества групп потребителей. Брокер-координатор для группы несет ответственность для организации операции по балансировке по членству в группе потребителей изменения или изменения разделов для подписанных тем. Это также ответственный за передачу результирующего владельца раздела конфигурация всем потребителям группы, подвергающейся перебалансировке операции.
