设置20TB存储：使用普通文件系统或hadoop

Question

我是一名年轻的研究员，打算购买一台计算服务器用于（也许"big"）数据分析。服务器将有一个 20TB 的硬盘space。我目前的问题是我应该使用普通的 linux 文件系统还是 hadoop hdfs 作为系统。谁能解释一下这两种选择的优缺点？

Answer 1

在单个节点（一台服务器）上安装 HDFS 确实没有意义。 HDFS 是关于 分布 数据，以便计算任务 运行 接近数据，并拥有数据的冗余副本以能够容忍硬件故障。单个节点不会提供单一的 HDFS 优势。如果您有 集群 机器（例如 10 台服务器），那么是的，您可以问这个问题。照原样，HDFS 不是一个选项。