YARN Resourcemanager не подключается к nodemanager

заблаговременно за любую помощь

Я запускаю следующие версии:

Hadoop 2.2 зоопарк 3.4.5 Hbase 0.96 Улей 0.12

Когда я перехожу к http://: 50070, я могу правильно видеть, что работают 2 узла.

Проблема в том, когда я перехожу к http://: 8088, он показывает 0 узлов.

Я понимаю, что: 8088 отражает диспетчер ресурсов и показывает количество запущенных узлов. Все демона начинаются, но, похоже, нодменеры не подключаются к диспетчеру ресурсов.

Это файл журнала:

2013-12-16 20:55:48,648 INFO org.apache.hadoop.yarn.client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8031
2013-12-16 20:55:49,755 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-12-16 20:55:50,756 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-12-16 20:55:51,757 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-12-16 20:55:52,758 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-12-16 20:55:53,759 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-12-16 20:55:54,760 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

Я проверил, и порт 8031 открыт.

EDIT:

Для людей, которые смотрят это в будущем, мне нужно было отредактировать файл yarn-site.xml, чтобы выглядеть следующим образом:

<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>master-1:8030</value>
</property>
<property>
   <name>yarn.resourcemanager.address</name>
   <value>master-1:8032</value>
</property>
<property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>master-1:8088</value>
</property>
<property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>master-1:8031</value>
</property>
<property>
   <name>yarn.resourcemanager.admin.address</name>
   <value>master-1:8033</value>
</property>

Ответ 1

Вам нужно указать

имя хоста: порт

Да, он должен быть установлен на всех узлах, а не только в ResourceManager node (вы будете просто копировать один и тот же атрибут hadoop для всех ваших узлов). Если вам нужно создать несколько минимальных рабочих конфигураций, посмотрите здесь: toster.ru/q/57046#answer_208326

Ответ 2

У меня была очень похожая проблема, и она была решена просто указав ResourceManager имя хоста, не нужно указывать точный адрес для службы.

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>master-1</value>
</property>

Ответ 3

Команда rsync или scp может использоваться для копирования файлов конфигурации из главного node в подчиненные узлы:

for host in $HADOOP_CONF_DIR/slaves; do 
    rsync -rv $HADOOP_CONF_DIR/* $host:$HADOOP_CONF_DIR/
done

Примечание, здесь я предполагаю, что все узлы имеют одинаковый макет каталога хаопов.

Ответ 4

У меня также была такая же проблема, но в моем случае только один node manage был указан в диспетчере ресурсов. Я разместил ниже свойство в файле yarn-site.xml, и я мог видеть узлы, перечисленные в RM.

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value><master-1></value>
</property>

Ответ 5

У меня возникла проблема с очень похожими симптомами, хотя это был nodemanager, не связанный с менеджером ресурсов. Проблема заключалась в том, что в файле yarn-site.xml есть (или может быть) свойство с именем "yarn.nodemanager.hostname". Этот параметр был случайно заполнен именем хоста HDFS "namenode", но он должен содержать имя хоста YARN per-w630 > "nodemanager". В зависимости от того, что было введено для других свойств, это вызывало различные ошибки, такие как "Повторное подключение", "Соединение отказалось" или ошибки распределения ресурсов. Установка этого параметра на "0.0.0.0" (по умолчанию) устранила проблему.

Ответ 6

проверить включен YARN HA или нет?
Если он включен, то для каждого менеджера ресурсов, упомянутого в Пряжа-site.xml yarn.resourcemanager.ha.rm-идентификаторы (например, rm1, rm2) запустите службу Resourcemanager.