Kafka 1.0 останавливается с ошибкой FATAL SHUTDOWN. Не удалось создать каталог журналов

Я только что обновился до Kafka 1.0 и zookeeper 3.4.10. Во-первых, все началось нормально. Автономный производитель и потребитель работали, как ожидалось. После того, как я запустил код около 10 минут, Kafka не справляется с этой ошибкой:

[2017-11-07 16: 48: 01,304] INFO Остановка обслуживающих журналов в каталоге C:\Kafka\kafka_2.12-1.0.0\kafka-logs (kafka.log.LogManager)

[2017-11-07 16: 48: 01,320] FATAL Shutdown broker, потому что все журналы журналов в C:\Kafka\kafka_2.12-1.0.0\kafka-logs потерпели неудачу (kafka.log.LogManager)

Я снова заново установил и переконфигурировал Kafka 1.0, то же самое произошло. Если я попытаюсь перезапустить, произойдет такая же ошибка.

Удаление файлов журналов помогает запустить Kafka, но после короткого прогона он снова не работает.

Я долгое время работал с версией 0.10.2 и никогда не встречал ничего подобного, он был очень стабильным в течение длительных периодов времени.

Я попытался найти решение и выполнил инструкции в документации.

Это еще не производственная среда, это довольно простая настройка, один производитель, один потребитель, читающий одну тему.

Я не уверен, что это может иметь какое-либо отношение к zookeeper.

** Обновление: ** проблема была опубликована на борту Apache JIRA. Консенсус пока кажется, что это проблема Windows.

Ответ 1

Столкнулся и с этой проблемой, и только очистка логов kafka не работала. Вам также придется очистить зоопарка.

Шаги для решения:

Обязательно остановите зоопарка.
Взгляните на ваш файл server.properties и найдите каталог журналов под следующей записью.
```
Example:
log.dirs=/tmp/kafka-logs/
```
Удалите каталог журнала и его содержимое. Kafka воссоздает каталог, как только он запустится снова.
Взгляните на файл zookeeper.properties и найдите каталог данных в следующей записи.
```
Example:
dataDir=/tmp/zookeeper
```
Удалить каталог данных и его содержимое. Zookeeper воссоздает каталог, как только он запустится снова.

Запустить зоопарка.

<KAFKA_HOME>bin/zookeeper-server-start.sh -daemon <KAFKA_HOME>config/zookeeper.properties

Запустите какфу брокера.

<KAFKA_HOME>bin/kafka-server-start.sh -daemon <KAFKA_HOME>config/server.properties

Убедитесь, что посредник запущен без проблем, просмотрев файл журнала logs/kafkaServer.out.

Ответ 2

Если вообще вы пытаетесь выполнить на машине Windows, попробуйте изменить путь в пути Windows для параметра log.dirs (например, log.dirs=C:\some_path\some_path_kafLogs) в server.properties в папке /config.

По умолчанию этот путь будет в unix-способе (например, /unix/path/).

Это работало для меня в Windows-машине.

Ответ 3

Просто почистите логи в C:\Kafka\kafka_2.12-1.0.0\kafka-logs и перезапустите kafka

Ответ 4

Удалить логи в директории zookeeper

Ответ 5

Я перепробовал все решения, такие как

Очистка журналов Kafka и данных Zookeeper (проблема возникла после создания новой темы)
Изменение пути log.dirs из прямой косой черты "/" в обратную косую черту "\" (например, log.dirs=C:\kafka_2.12-2.1.1\data\kafka) папка с именем C:\kafka_2.12-2.1.1\kafka_2.12-2.1.1datakafka была создана, и проблема прекратилась, и проблема была решена.

Наконец, я нашел эту ссылку, вы получите ее из Google gaf kafka log.dirs windows

Ответ 6

переустановить zookeeper может решить эту проблему.