Где HDFS хранит файлы локально по умолчанию?

Я запускаю hasoop с конфигурацией по умолчанию с одним кластером node и хотел бы найти, где HDFS хранит файлы локально.

Любые идеи?

Спасибо.

Ответ 1

Вам нужно посмотреть в конфигурационном файле hdfs-default.xml для параметра dfs.data.dir. Значение по умолчанию: ${hadoop.tmp.dir}/dfs/datastrong > и обратите внимание, что ${hadoop.tmp.dir} на самом деле в core-default.xml описан здесь.

Параметры конфигурации описаны здесь. Описание этого параметра:

Определяет, где на локальном файловой системы данные DFS node должны хранить его блоки. Если это список каталогов, разделенных запятыми, то данные будут сохранены во всех каталогов, как правило, на разных устройства. Каталоги, которые не существуют игнорируются.

Ответ 2

В качестве "более позднего ответа" и для уточнения номеров версий хаопов:

Если вы используете Hadoop 1.2.1 (или что-то подобное), ответ @Binary Nerd по-прежнему верен.

Но если вы используете Hadoop 2.1.0-betastrong > (или что-то подобное), вы должны прочитать конфигурационную документацию здесь и вариант вы хотите установить: dfs.datanode.data.dir

Ответ 3

Похоже, что для текущей версии (2.7.1) dir

/tmp/hadoop-${user.name}/dfs/data

На основе dfs.datanode.data.dir, hadoop.tmp.dir настройка: http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/core-default.xml

Ответ 4

Запустите это в приглашении cmd, и вы получите местоположение DHFS:

bin/hadoop fs -ls