Hadoop выпускает отсутствующий каталог/conf

Я пытаюсь установить одну установку node Hadoop на Ubuntu. Я начал следовать инструкциям в документах Hadoop 2.3.

Но мне, кажется, не хватает чего-то очень простого.

Во-первых, он говорит

Чтобы получить дистрибутив Hadoop, загрузите последний стабильный выпуск из одного из зеркал загрузки Apache.

Затем

Распакуйте загруженное распределение Hadoop. В дистрибутиве отредактируйте файл conf/hadoop-env.sh, чтобы определить, по крайней мере, JAVA_HOME, как корень вашей установки Java.

Однако я не могу найти каталог conf.

Я загрузил версию 2.3 на одно из зеркал. Затем распакуйте tarball, ls внутренних возвратов:

$ ls
bin  etc  include  lib  libexec  LICENSE.txt  NOTICE.txt  README.txt  sbin  share

Мне удалось найти файл, на который они ссылались, просто не в каталоге conf:

$ find . -name hadoop-env.sh
./etc/hadoop/hadoop-env.sh

Я что-то упускаю, или я хватаю неправильный пакет? Или документы только устарели?

Если да, то кто-нибудь знает, где еще находятся более современные документы?

Ответ 1

Я пытаюсь установить псевдораспределенный режим Hadoop, столкнувшись с той же проблемой.

Следуя книге Hadoop The Definitive Guide (Третье издание), на странице 618, говорится:

In Hadoop 2.0 and later, MapReduce runs on YARN and there is an additional con-
figuration file called yarn-site.xml. All the configuration files should go in the
etc/hadoop subdirectory

Надеюсь, это подтвердит, что etc/hadoop является правильным местом.

Ответ 2

Я думаю, что документы нужно обновить. Хотя структура каталогов изменилась, имена файлов для важных файлов, таких как hadoop-env.sh, core-ste.xml и hdfs-site.xml, не изменились. Вы можете найти следующую ссылку, полезную для начала работы.

http://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html

Ответ 3

В Hadoop1,

{$HADOOP_HOME}/conf/

В Hadoop2,

{$HADOOP_HOME}/etc/hadoop

Ответ 4

Просто добавив примечание к сообщению в блоге http://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html. Блогпост фантастический и очень полезный. Это как я начал. Один из аспектов, на который я потратил немного времени, состоит в том, что этот блог, похоже, использует упрощенный способ настройки конфигурации в файлах confo confo, таких как "conf/core-site.xml", hdfs-site.xml и т.д. следующим образом

<!--fs.default.name is the name node URI -->
<configuration>
    fs.default.name
    hdfs://localhost:9000
</configuration>

В соответствии с официальными документами существует более строгий способ - это было бы полезно, если у вас есть несколько свойств, чтобы добавить его следующим образом (обратите внимание - описание необязательно:-))

<configuration>
    <property>
    <name> fs.default.name </name>
    <value>hdfs://localhost:9000 </value>
    <description>the name node URI </description>
    </property>
    <!--Add more configuration properties here -->
</configuration>

Ответ 5

в Hadoop 2.7.3 файл находится в hasoop-common/src/main/conf/

$ sudo find . -name hadoop-env.sh
./hadoop-2.7.3-src/hadoop-common-project/hadoop-common/src/main/conf/hadoop-env.sh