u0X目录在Hadoop集群中的作用是什么?
What is the role of u0X directory in Hadoop clusters?
我是 Hadoop 的新手并且 Linux。我正在按照教程构建一个简单的 3 节点集群,在成功安装伪分布式集群后,我现在需要将其重新配置为完全分布式。
我已经到了需要为 fsimage 文件提供冗余的地步。所以根据教程,我需要以这种方式编辑 hdfs-site.xml
:
当前设置(伪分布式)
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/hdfs/namenode</value>
</property>
更改为(完全分布式)
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///u01/dfs/namenode,file:///u02/dfs/namenode</value>
</property>
这看起来很简单,但对于新的 linux 用户来说,它提出了一个问号。
u01
和u02
是什么意思?这些只是我需要创建的新目录吗?是否有任何与它们相关的隐式配置?该教程没有提供更多信息,所以我猜我缺少一些常识。我应该只创建目录,修改 xml 文件然后继续吗?
如能解释什么是 uXX
目录以及它与 Hadoop 集群的关系,我们将不胜感激。
属性 dfs.namenode.name.dir
确定在本地文件系统中,HDFS 名称节点必须存储持久性 HDFS 元数据(fsimage 和编辑)的位置。至少需要一个目录路径作为此 属性 的值。
如果您提供逗号分隔的目录路径列表,namenode 将尝试在所有这些路径中复制相同的元数据。它仅用于冗余。
目录路径可以是任何结构,前提是用户 运行 namenode 进程可以访问它们。这里uXX
纯粹是为了区分它们是不同的目录路径。
除了本地 FS 之外,属性 还接受远程(如 NFS)文件系统目录路径。
我是 Hadoop 的新手并且 Linux。我正在按照教程构建一个简单的 3 节点集群,在成功安装伪分布式集群后,我现在需要将其重新配置为完全分布式。
我已经到了需要为 fsimage 文件提供冗余的地步。所以根据教程,我需要以这种方式编辑 hdfs-site.xml
:
当前设置(伪分布式)
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/hdfs/namenode</value>
</property>
更改为(完全分布式)
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///u01/dfs/namenode,file:///u02/dfs/namenode</value>
</property>
这看起来很简单,但对于新的 linux 用户来说,它提出了一个问号。
u01
和u02
是什么意思?这些只是我需要创建的新目录吗?是否有任何与它们相关的隐式配置?该教程没有提供更多信息,所以我猜我缺少一些常识。我应该只创建目录,修改 xml 文件然后继续吗?
如能解释什么是 uXX
目录以及它与 Hadoop 集群的关系,我们将不胜感激。
属性 dfs.namenode.name.dir
确定在本地文件系统中,HDFS 名称节点必须存储持久性 HDFS 元数据(fsimage 和编辑)的位置。至少需要一个目录路径作为此 属性 的值。
如果您提供逗号分隔的目录路径列表,namenode 将尝试在所有这些路径中复制相同的元数据。它仅用于冗余。
目录路径可以是任何结构,前提是用户 运行 namenode 进程可以访问它们。这里uXX
纯粹是为了区分它们是不同的目录路径。
除了本地 FS 之外,属性 还接受远程(如 NFS)文件系统目录路径。