Как перезапустить пряжу на AWS EMR

Я использую Hadoop 2.6.0 (emr-4.2.0 изображение). Я внес некоторые изменения в yarn-site.xml и хочу перезапустить пряжу, чтобы внести изменения в силу.

Есть ли команда, с помощью которой я могу это сделать?

Ответ 1

Изменить (26.10.2017): более подробная статья о том, как это сделать, была официально опубликована AWS здесь - https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/,

Вы можете подключиться к главному узлу кластера EMR и запустить ssh:

"sudo /sbin/stop hadoop-yarn-resourcemanager"
"sudo /sbin/start hadoop-yarn-resourcemanager"

команды для перезапуска менеджера ресурсов Yarn. EMR AMI 4.xx использует upstart -/sbin/{start, stop, restart} - все символические ссылки на /sbin/initctl, который является частью upstart. Смотрите man-страницу initctl для получения дополнительной информации.

Кроме того, вы можете следовать приведенным здесь инструкциям, чтобы распространять свои изменения в yarn-site.xml - yarn -change-configuration-on-yarn-site-xml

Ответ 2

Для тех, кто собирается приехать из Google

Чтобы перезапустить сервис в EMR, выполните следующие действия:

Найдите имя службы, выполнив следующую команду:
```
initctl list
```

Например, служба менеджера ресурсов YARN называется hadoop-yarn-resourcemanager.

Остановите службу, выполнив следующую команду:
```
sudo stop hadoop-yarn-resourcemanager
```
Подождите несколько секунд, затем запустите службу, выполнив следующую команду:
```
sudo start hadoop-yarn-resourcemanager
```

Примечание: требуется остановка/запуск; не используйте команду перезагрузки.

Убедитесь, что процесс запущен, выполнив следующую команду:
```
sudo status hadoop-yarn-resourcemanager
```

Проверьте процесс, используя ps, а затем проверьте файл журнала на наличие ошибок в каталоге журналов /var/log/.

Источник: https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/

Ответ 3

Если вы хотите включить агрегацию журналов, на самом деле проще создать кластер с включенной агрегацией журналов, как описано в документации:

http://docs.aws.amazon.com/ElasticMapReduce/latest/ManagementGuide/emr-plan-debugging.html

(Фактически он включен по умолчанию, если вы используете emr-4.3.0).

Ответ 4

Попробуйте перезапустить этот сервис:

Hadoop-пряжа-nodemanager