区块链与 HDFS 有何不同,比特币挖掘与 Map reduce 或 spark 有何不同?

How Blockchain is different from HDFS and how bitcoin mining is different from Map reduce or spark?

我正在研究区块链技术,我发现它在多个不同的 server.Now 上保存文件,根据 Hadoop 文档,它还在多个服务器上存储文件,并在 1 个主节点上保留 1 个主副本. 它还具有动物园管理员,负责维护主节点和所有辅助节点之间的数据。

现在我的问题是,是否还有用于维护主副本的区块链动物园管理员,或者我的理解方式有误?

这些是完全不同的动物。大多数区块链全节点完全独立运行,并花时间验证交易。事实上,比特币协议或以太坊中的每个完整节点都有整个链的完整副本——也就是说,自区块零以来发生的每笔交易。他们在共识的基础上运行和验证,所以它是真正的无头,而不是分布式集群。

HDFS 在节点上组织(通常)为 "just a bunch of disks" (JBOD),这意味着它们甚至通常不会为 RAID 而烦恼。复制是跨节点完成的,但它不是完全复制,这意味着在中型或大型集群中可能有 5 个文件副本,并且有可能(随着集群的大小而增加)磁盘故障导致实际数据丢失.

HDFS 可大规模扩展,但本质上存在风险并且需要备份策略。另一方面,区块链要紧凑得多,但由于分类账有成千上万个完整副本,事后修改每个副本都非常困难,因此几乎不可能丢失数据。

区块链基于不同于HDFS的IPFS。 IPFS 是去中心化文件系统,而 HDFS 是分布式文件系统。 在 HDFS 中,复制因子是恒定的,但在 IPFS 中,您感兴趣的对等方可以复制数据。

有趣的论文,其中描述了如何在 HDFS 之上使用 IPFS 提高 hadoop 作业的性能 Link - https://www.cse.unsw.edu.au/~hpaik/thesis/showcases/16s2/scott_brisbane.pdf