Если реплицируется блок данных, в котором данные node будут реплицироваться на? Есть ли какой-либо инструмент для показа, где присутствуют реплицированные блоки?
Как отслеживать, какой блок данных содержит данные node в hadoop?
Ответ 1
Если вы знаете имя файла, вы можете просмотреть его через браузер DFS.
Перейдите к веб-интерфейсу namenode, скажите "просмотрите файловую систему" и перейдите к интересующему вас файлу. В нижней части страницы будет список всех блоков в файле и где каждый из них эти блоки расположены.
ПРИМЕЧАНИЕ. Это выглядит так, когда вы нажимаете на фактический файл в файловой системе HDFS.
В качестве альтернативы вы можете запустить:
hadoop fsck / -files -blocks -locations
Что будет сообщать обо всех блоках и обо всех их местоположениях.