Где находится файл конфигурации для HDFS в Hadoop 2.2.0?

Я изучаю Hadoop, и в настоящее время я пытаюсь создать Hadoop 2.2.0 сингл node. Я загрузил последнюю версию, несжатый, теперь я пытаюсь настроить распределенную файловую систему Hadoop (HDFS).

Теперь я пытаюсь выполнить инструкции Hadoop, доступные здесь, но я совсем потерялся.

В левой панели вы видите ссылки на следующие файлы:

core-default.xml
hdfs-default.xml
mapred-default.xml
пряжи default.xml

Но как эти файлы?

Я нашел /etc/hadoop/hdfs -site.xml, но он пуст!

Я нашел /share/doc/hadoop/hadoop -project-dist/hadoop-common/core-default.xml, но это всего лишь кусок документа!

Итак, какие файлы мне нужно изменить для настройки HDFS? Где значения отказов считываются из?

Заранее благодарим за помощь.

Ответ 1

Все эти файлы находятся в каталоге hadoop/conf.

Для настройки HDFS вам необходимо настроить core-site.xml и hdfs-site.xml.

HDFS работает в двух режимах: распределенный (кластер с несколькими node) и псевдораспределенный (кластер одной отдельной машины).

Для псевдораспределенного режима вам необходимо настроить:

В файле core-site.xml:

<!-- namenode -->
<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:8020</value>
</property>

В hdfs-site.xml:

<-- storage directories for HDFS - the hadoop.tmp.dir property, whose default is /tmp/hadoop-${user.name} -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/your-dir/</value>
</property>

Каждое свойство имеет твердое значение по умолчанию.

Не забудьте установить пароль ssh без пароля для пользователя hadoop перед запуском HDFS.

P.S.

Вы загружаете Hadoop из Apache, вы можете рассмотреть возможность переключения на дистрибутив Hadoop:

Cloudera CDH, HortonWorks или MapR.

Если вы устанавливаете Cloudera CDH или Hortonworks HDP, вы найдете файлы в/etc/hadoop/conf/.

Ответ 2

Для установки Hadoop 2.2.0 Вы следуете этой ссылке. Это для "0.23.9", но он отлично работает для "2.2.0"

Ответ 3

Все файлы конфигурации будут расположены в извлеченном файле tar.gz в каталоге etc/hadoop/. Hdfs-site.xml может быть hdfs-site.xml.template. Вам нужно будет переименовать его в hdfs-site.xml.

Если вы хотите посмотреть, какие параметры для hdfs проверяют документ в tarball в share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

Ответ 4

Для местоположения Hortonworks будет

/etc/hadoop/conf/hdfs-site.xml

Ответ 5

эти файлы можно увидеть здесь /usr/lib/hadoop -2.2.0/etc/hadoop, в этом месте и вы можете найти все XML файлы.