Hadoop - namenode не запускается

Я пытаюсь запустить hadoop как пользователь root, я выполнил команду формата namenode hadoop namenode -format, когда запущена файловая система Hadoop.

После этого, когда я пытаюсь запустить сервер имен node, он показывает ошибку, как показано ниже

13/05/23 04:11:37 ERROR namenode.FSNamesystem: FSNamesystem initialization failed.
java.io.IOException: NameNode is not formatted.
        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:330)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:411)

Я попытался найти любое решение, но не могу найти четкое решение.

Может ли кто-нибудь предложить?

Спасибо.

Ответ 1

Прохладный, я нашел решение.

Остановить весь работающий сервер

1) stop-all.sh

Отредактируйте файл /usr/local/hadoop/conf/hdfs-site.xml и добавьте ниже конфигурацию, если отсутствует

<property>
    <name>dfs.data.dir</name>
    <value>/app/hadoop/tmp/dfs/name/data</value> 
    <final>true</final> 
    </property> 
    <property> 
    <name>dfs.name.dir</name>
    <value>/app/hadoop/tmp/dfs/name</value> 
    <final>true</final> 
</property>

Запустите оба HDFS и MapReduce Daemons

2) start-dfs.sh
3) start-mapred.sh

Затем выполните остальные шаги, чтобы запустить образец сокращения карты, указанный в этой ссылке

Примечание. Вы должны запустить команду bin/start-all.sh, если прямая команда не запущена.

Ответ 2

DFS необходимо отформатировать. Просто выполните следующую команду после остановки всех и затем перезапустите.

hadoop namenode -format

Ответ 3

формат hdfs при остановке namenode (точно так же, как верхний ответ).

Я добавлю несколько деталей.

Команда FORMAT будет проверять или создавать путь /dfs/name, а также инициализировать или повторно инициализировать его. то запуск start-dfs.sh будет запускать namenode, datanode, затем namesecondary. когда namenode check не существует path/dfs/name или не инициализируется, возникает фатальная ошибка, а затем завершается. что почему namenode не запускается.

более подробную информацию вы можете проверить HADOOP_COMMON/logs/XXX.namenode.log

Ответ 4

Убедитесь, что каталог, который вы указали для вашего namenode, полностью пуст. Что-то вроде папки "lost + found" в указанном каталоге вызовет эту ошибку.

Ответ 5

hdfs-site.xml Ваше значение неверно. Вы вводите неправильную папку, которая не запускает имя node.

Ответ 6

Сначала mkdir [папка], затем установите hdfs-site.xml, а затем отформатируйте

Ответ 7

убедитесь, что папка с именем (dfs.name.dir) и данными (dfs.data.dir) правильно указана в hdfs-site.xml