Зачем нам нужен Hadoop без пароля ssh?

AFAIK, без пароля ssh необходимо, чтобы мастер node мог запускать процессы демона на каждом подчиненном устройстве node. Кроме того, есть ли использование без пароля ssh для работы Hadoop?
Как блоки и коды данных пользователя передаются через подчиненные узлы? Я хочу знать механизм и используемый протокол.
SSH без пароля необходимо ТОЛЬКО настраивать для пар master-slave или даже для ведомых устройств

Ответ 1

Вы правы. Если ssh не является безлицензионным, вам необходимо перейти на каждую отдельную машину и запустить все процессы там вручную. Для вашего второго вопроса все сообщения в HDFS происходят через TCP/IP, а для передачи данных используется HTTP. Механизм выглядит следующим образом:

Клиент устанавливает соединение с настраиваемым TCP-портом на Машина NameNode. Он говорит ClientProtocol с NameNode. DataNodes разговаривают с NameNode, используя протокол DataNode. Удаленный Абзакция процедуры вызова (RPC) обертывает как клиентский протокол, так и протокол DataNode.

И для третьего вопроса, нет необходимости иметь безсчетную ssh среди подчиненных узлов.

Ответ 2

Ответ на первый вопрос:

Ядро Hadoop использует Shell (SSH) для запуска серверных процессов на подчиненных узлах. Он требует подключения без пароля SSH между ведущим и всеми подчиненными устройствами и дополнительными машинами.

Мы нуждаемся в SSH без пароля в полностью распределенной среде, потому что, когда кластер LIVE и работает в Fully Распределенная среда, связь слишком частая. Менеджер заданий должен иметь возможность быстро отправить задачу в диспетчер задач.