hdfs 目录位于 linux 中的什么位置？

Question

运行我的第一个 map-reduce 程序。我使用

在 hdfs 中创建了一个目录

hdfs dfs -mkdir input

以这种方式创建的目录驻留在 hdfs 主目录中，即 /usr/hdfs (..?) 但我无法在 linux 中的任何地方找到上面创建的目录 'input' OS。有什么想法吗？

Answer 1

定义在hdfs-default.xml:

dfs.datanode.data.dir

Determines where on the local filesystem an DFS data node should store its blocks. If this is a comma-delimited list of directories, then data will be stored in all named directories, typically on different devices. Directories that do not exist are ignored.

默认值为：

file://${hadoop.tmp.dir}/dfs/data

关于 hadoop.tmp.dir 的详细信息可以在 core-default.xml.

中找到

Answer 2

实际上我们无法直接看到 hdfs 目录，所以有两种方法可以在 hdfs 文件系统位置查看文件

第一种方法来自终端

hdfs dfs -ls /user/cloudera

以便您可以在 'cloudera' 命名目录

中查看 hdfs 文件系统中的文件

第二种方法是使用浏览器。

http://localhost:50070 在这里你必须去浏览文件系统并查看存储在 hdfs 文件系统中的所有文件。

Answer 3

另一种更直接映射目录的方法是使用块设备驱动程序，例如 hadoop-fuse：

  yum install hadoop-hdfs-fuse
  mkdir -p <mount_point>
  hadoop-fuse-dfs dfs://<name_node_hostname>:<namenode_port(def:8082)> <mount_point>

hdfs 目录位于 linux 中的什么位置？

Where do hdfs directories reside in linux?

hadoop

bigdata

hdfs

hadoop2