无法将文件从本地文件系统复制到 cloudera 上的 hadoop/hdfs

Question

在 fedora25 上安装 cloudera HDC 后，我可以创建文件夹，但不能创建文件，也不能将数据从本地文件系统复制到 HDFS。

这是我使用的命令：

sudo -u hdfs hadoop fs -copyFromLocal /home/mohammed/Documents/bbc.txt /kareem/corpora/

这是我从终端得到的：

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
copyFromLocal: '/home/mohammed/Documents/bbc.txt': No such file or directory

如何克服这个问题？

非常感谢您的帮助！

Answer 1

问题是您 /home/mohammed 的本地路径无法作为用户 hdfs 访问，您正在对运行整个命令进行 sudo。由于 hdfs 的本地 linux 用户无法输入 /home/mohammed，该命令抛出 No such file or directory 错误并由于无法定位或读取提供的文件而退出。

在大多数打包的 HDFS 安装中，hdfs 用户通常是分布式文件系统的超级用户，管理命令通常是作为该用户的运行。但是，在使用 hdfs 用户为普通用户提供权限和所有权后，可以而且应该以普通用户的身份处理数据。

对于您的情况，如果此帐户也具有 sudo 权限，您可以作为 mohammed 用户执行以下操作：

# Superuser-provisioning part (do once)

# Ensure the HDFS directory exists by creating it as a superuser
~> sudo -u hdfs hadoop fs -mkdir -p /kareem/corpora
# Ensure also the HDFS-home path exists by creating it as a superuser
~> sudo -u hdfs hadoop fs -mkdir -p /user/mohammed
# Grant ownership entirely to user mohammed for both paths
~> sudo -u hdfs hadoop fs -chown -R mohammed:mohammed /kareem /user/mohammed

# Final usage part (continue or repeat as many times) without superuser

# Upload the local file (note the absence of sudo)
~> hadoop fs -copyFromLocal -f /home/mohammed/Documents/bbc.txt /kareem/corpora/
# Now read it, etc., all done as the regular non-'hdfs' user
~> hadoop fs -text /home/mohammed/Documents/bbc.txt

无法将文件从本地文件系统复制到 cloudera 上的 hadoop/hdfs

Cannot copy files from local file system to hadoop/hdfs on cloudera

hadoop

hdfs

cloudera-cdh

fedora-25