Как проверить, запущены ли демоны Hadoop?

Ответ 1

Я не нашел отличного решения, поэтому использовал

ps -ef | grep hadoop | grep -P  'namenode|datanode|tasktracker|jobtracker'

чтобы проверить, работает ли файл

и

./hadoop dfsadmin -report

но последнее не помогло, пока сервер не запустился.

Ответ 2

В оболочке типа "jps" (вам может понадобиться jdk для запуска jps). В нем перечислены все запущенные java-процессы и будут перечислены демоны hadoop, которые запущены.

Ответ 3

Если вы видите, что процесс hasoop не работает на ps -ef|grep hadoop, запустите sbin/start-dfs.sh. Монитор с hdfs dfsadmin -report:

[[email protected] bin]$ hadoop dfsadmin -report
Configured Capacity: 105689374720 (98.43 GB)
Present Capacity: 96537456640 (89.91 GB)
DFS Remaining: 96448180224 (89.82 GB)
DFS Used: 89276416 (85.14 MB)
DFS Used%: 0.09%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 2 (2 total, 0 dead)

Name: 192.168.1.16:50010
Decommission Status : Normal
Configured Capacity: 52844687360 (49.22 GB)
DFS Used: 44638208 (42.57 MB)
Non DFS Used: 4986138624 (4.64 GB)
DFS Remaining: 47813910528(44.53 GB)
DFS Used%: 0.08%
DFS Remaining%: 90.48%
Last contact: Tue Aug 20 13:23:32 EDT 2013


Name: 192.168.1.17:50010
Decommission Status : Normal
Configured Capacity: 52844687360 (49.22 GB)
DFS Used: 44638208 (42.57 MB)
Non DFS Used: 4165779456 (3.88 GB)
DFS Remaining: 48634269696(45.29 GB)
DFS Used%: 0.08%
DFS Remaining%: 92.03%
Last contact: Tue Aug 20 13:23:34 EDT 2013

Ответ 4

Попробуйте выполнить команду jps. Он указывает java-процессы, которые запущены и запущены.

Ответ 5

кроме jps, еще одна хорошая идея - использовать веб-интерфейсы для NameNode и JobTracker, предоставляемые Hadoop. Он не только показывает вам процессы, но и предоставляет вам много другой полезной информации, такой как сводка кластера, текущие задания и т.д. Atc. чтобы перейти к пользовательскому интерфейсу NN, сделайте свой веб-браузер "YOUR_NAMENODE_HOST: 9000" и для JT UI "YOUR_JOBTRACKER_HOST: 9001".

Ответ 6

вы можете использовать Jps-команду, поскольку vipin сказал, как эта команда:

/usr/lib/java/jdk1.8.0_25/bin/jps  

конечно, вы измените путь java с тем, у кого есть "путь, которым вы установили java"

Jps - отличный инструмент для проверки того, запущены ли ожидаемые процессы Hadoop (часть Suns Java с версии 1.5.0).
результат будет примерно таким:

2287 TaskTracker  
2149 JobTracker  
1938 DataNode  
2085 SecondaryNameNode  
2349 Jps  
1788 NameNode  

Получаю ответ из этого урока: http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

Ответ 7

Чтобы проверить, работают узлы Hadoop или нет:

sudo -u hdfs hdfs dfsadmin -report

Сконфигурированная емкость: 28799380685 (26,82 ГБ)
Текущая емкость: 25104842752 (23,38 ГБ)
Осталось DFS: 25012056064 (23,29 ГБ)
Используемая DFS: 92786688 (88,49 МБ)
Используется DFS%: 0,37%
Под реплицированными блоками: 436
Блоки с поврежденными репликами: 0
Недостающие блоки: 0

---

Доступные датододы: 1 (всего 1, 0 погибших)

Живые датододы:
Имя: 127.0.0.1:50010 (localhost.localdomain)
Имя хоста: localhost.localdomain
Стойка:/по умолчанию
Статус вывода из эксплуатации: Нормальный
Сконфигурированная емкость: 28799380685 (26,82 ГБ)
Используемая DFS: 92786688 (88,49 МБ)
Используется не DFS: 3694537933 (3,44 ГБ)
Осталось DFS: 25012056064 (23,29 ГБ)
Использовано DFS%: 0,32%
DFS Осталось%: 86,85%
Последний контакт: чт. 01 марта 22:01:38 IST 2018

Ответ 8

Чтобы проверить, работают ли демоны?

Вы можете проверить с помощью команды jps

используйте команды ниже использовать также

ps -ef | grep -w namenode

ps -ef | grep -w datanode

ps -ef | grep -w tasktracker 

-w: - поможет получить точную строку

Если у вас есть привилегия Superuser, вы также можете использовать ниже одну для того же:

./hadoop dfsadmin -report

Надеюсь, это поможет!

Ответ 9

Попробуйте выполнить следующее:

for service in /etc/init.d/hadoop-hdfs-*; do $service status; done;