hadoop federation 的同步问题

Question

我有一些关于 hadoop 联邦的问题。据我所知，它同时有多个masters(namenode) 运行.

所以我的问题是，如果客户端有请求，如何确定哪个master来处理客户端的请求。

另外一个问题就是每个master中存储的元数据是否是并发的

如果masters中的数据是并发的，而两个client同时向两个不同的master请求，如何处理同步问题。

希望我把我的问题说清楚。我只在 apache hadoop 上阅读网页。任何material和教程非常感谢。非常感谢评论和指正。

Answer 1

使用客户端挂载表，我们可以将文件路径映射到名称节点（下面的核心-site.xml配置）

  <property>
        <name>fs.viewfs.mounttable.default.link./namenode1</name>
        <value>hdfs://namenode1:9001/home</value>
    </property>
    <property>
        <name>fs.viewfs.mounttable.default.link./namenode2</name>
        <value>hdfs://namenode2:9001/home</value>
    </property>}

示例在 put 操作期间我们可以指定路径，请求将转到 namenode1

bin/hadoop fs -put file.txt /namenode1/input

在 HDFS Federation 中，每个名称节点管理自己的元数据。

hadoop federation 的同步问题

synchronization issues about hadoop federation

hadoop

federation

multi-master-replication