复制文件时 HDFS namenote 失败
HDFS namenote fails while copying files
如果我正在 HDFS 中复制文件,并且在复制文件时 NameNode 出现故障。
接下来会发生什么,我们是否无法进一步复制文件并且进程正在回滚。
或者文件被复制,如果发生这种情况,那么 Hadoop 如何管理这个过程??
复制时,每个文件被复制为一组独立的块,如果所有文件块都被复制,则只通知客户端,否则过程失败
假设你正在复制abc.txt,它是 100mb,所以它是根据块(默认 64 mb)复制的,对于每个块,客户端连接 namenode 并获取 datanode 的地址以实际存储块所以假设正在复制 1 个块并且名称节点关闭然后在第二个块当客户端再次连接到数据节点以获取地址时它将收到错误
连接异常失败:java.net.ConnectException:连接被拒绝
如果我正在 HDFS 中复制文件,并且在复制文件时 NameNode 出现故障。
接下来会发生什么,我们是否无法进一步复制文件并且进程正在回滚。
或者文件被复制,如果发生这种情况,那么 Hadoop 如何管理这个过程??
复制时,每个文件被复制为一组独立的块,如果所有文件块都被复制,则只通知客户端,否则过程失败
假设你正在复制abc.txt,它是 100mb,所以它是根据块(默认 64 mb)复制的,对于每个块,客户端连接 namenode 并获取 datanode 的地址以实际存储块所以假设正在复制 1 个块并且名称节点关闭然后在第二个块当客户端再次连接到数据节点以获取地址时它将收到错误
连接异常失败:java.net.ConnectException:连接被拒绝