Hasoop fs -ls приводит к "нет такого файла или каталога"

Ответ 1

Ожидается поведение, которое вы видите, позвольте мне объяснить, что происходит, когда вы работаете с командами hadoop fs.

Синтаксис команды таков: hadoop fs -ls [path]

По умолчанию, если вы не укажете [path] для указанной выше команды, hasoop расширяет путь до /home/[username] в hdfs; где [username] заменяется на имя пользователя linux, выполняющего команду.

Итак, когда вы выполните эту команду:

[email protected]:~$ hadoop fs -ls

причина, по которой вы видите ошибку, ls: '.': No such file or directory, потому что hasoop ищет этот путь /home/ubuntu, похоже, что этот путь не существует в hdfs.

Причина, по которой эта команда:

[email protected]:~$ hadoop fs -ls hdfs://101-master:50000/

работает, потому что вы явно указали [path] и являетесь корнем hdf. Вы также можете сделать это, используя это:

[email protected]:~$ hadoop fs -ls /

который автоматически оценивается в корневом каталоге hdfs.

Надеюсь, это очистит поведение, которое вы видите при выполнении команды hadoop fs -ls.

Следовательно, если вы хотите указать путь к локальной файловой системе, используйте схему file:/// url.

Ответ 2

это связано с отсутствующим домашним каталогом для пользователя. Как только я создал домашний каталог под hdfs для зарегистрированного пользователя, он работал как шарм.

hdfs dfs -mkdir /user

hdfs dfs -mkdir /user/{loggedin user}

hdfs dfs -ls

этот метод исправил мою проблему.

Ответ 3

Здесь есть пара вещей; основанный на "jarlib ссылается на местоположение файла HDFS", похоже, что у вас действительно есть путь HDFS, как ваш fs.default.name, который действительно является типичной настройкой. Итак, когда вы вводите hadoop fs -ls, это действительно пытается заглянуть внутрь HDFS, за исключением того, что он ищет в вашем рабочем каталоге , который должен быть чем-то вроде hdfs://101-master:50000/user/ubuntu. Сообщение об ошибке, к сожалению, несколько запутанно, поскольку он не говорит вам, что . интерпретировался как полный путь. Если вы hadoop fs -mkdir /user/ubuntu, тогда hadoop fs -ls должен начать работать.

Эта проблема не связана с вашей проблемой "jarlib"; когда вы хотите ссылаться на файлы, явно хранящиеся в локальной файловой системе, но где путь проходит через разрешение Hadoop Path, вам просто нужно добавить file:///, чтобы заставить Hadoop ссылаться на локальную файловую систему. Например:

hadoop fs -ls file:///tmp

Попробуйте передать свои пути в jar файле как fille file:///path/to/your/jarfile, и он должен работать.

Ответ 4

Пользовательский каталог в Hadoop (в HDFS)

/user/<your operational system user>

Если вы получите это сообщение об ошибке, возможно, это потому, что вы еще не создали свой пользовательский каталог в HDFS.

Использование

hadoop fs -mkdir -p /user/<current o.p. user directory>

Чтобы узнать, каков ваш текущий пользователь операционной системы, используйте:

id -un

hadoop fs -ls он должен начать работать...

Ответ 5

WARN util.NativeCodeLoader: невозможно загрузить библиотеку native-hadoop для вашего платформа... с использованием встроенных классов Java, где это применимо

Эта ошибка будет удалена с помощью этой команды в файле .bashrc:

export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/usr/local/hadoop/lib/native"

------------------------------------------------------
/usr/local/hadoop is location where hadoop is install
-------------------------------------------------------