具有 MongoDB 存储的 Hadoop
Hadoop with MongoDB storage
我有一个将 NoSQL DB 与 Hadoop 结合使用并对其进行基准测试的项目。
我选择了 MongoDB 作为数据库,但我一直对某些事情感到困惑,并且有一些问题需要澄清:
MongoDB 会取代 HDFS 还是它们会一起工作?如何工作?
单独进行基准测试 MongoDB 与使用 Hadoop 进行基准测试有何不同?因为我觉得他们是一回事。
我找到了 YCSB 基准测试工具。它可以将它们放在一起进行基准测试吗?
我知道 MongoDB 可以在集群上工作,当 monogo 在 Hadoop 之上时,数据将由 MongoDB 或 Hadoop 在节点之间共享吗?
希望你能弄清楚这些概念,先谢谢你了。
Will MongoDB be replacing HDFS
绝对不是。 HDFS 不打算用作数据库,并且 Mongo 不是能够存储 PB 级任何数据的分布式文件系统
will they be working together and how?
HIVe 和 Spark 可以直接从 Mongo 读取数据。我确信还有其他工具可以将 Mongo 备份到 HDFS。
Is benchmarking MongoDB alone different from doing it with Hadoop
是的,读取和写入的调优参数与 HDFS 大不相同,因为 HDFS 不是数据库
YCSB tool for benchmarking
不清楚您在 Hadoop 中进行基准测试的内容。编写和读取一堆文件(使用和不使用 mapreduce)?查看给定时间 YARN 中有多少作业 运行? Hadoop 又不是一个旨在存储简单 JSON blob 的数据库。
when monogo on top of Hadoop , will the data be shared among nodes by MongoDB or by Hadoop?
我从没听说过这个,但也许索引由 Mongo 存储,而原始数据由 HDFS 提供?
我有一个将 NoSQL DB 与 Hadoop 结合使用并对其进行基准测试的项目。 我选择了 MongoDB 作为数据库,但我一直对某些事情感到困惑,并且有一些问题需要澄清:
MongoDB 会取代 HDFS 还是它们会一起工作?如何工作?
单独进行基准测试 MongoDB 与使用 Hadoop 进行基准测试有何不同?因为我觉得他们是一回事。
我找到了 YCSB 基准测试工具。它可以将它们放在一起进行基准测试吗?
我知道 MongoDB 可以在集群上工作,当 monogo 在 Hadoop 之上时,数据将由 MongoDB 或 Hadoop 在节点之间共享吗?
希望你能弄清楚这些概念,先谢谢你了。
Will MongoDB be replacing HDFS
绝对不是。 HDFS 不打算用作数据库,并且 Mongo 不是能够存储 PB 级任何数据的分布式文件系统
will they be working together and how?
HIVe 和 Spark 可以直接从 Mongo 读取数据。我确信还有其他工具可以将 Mongo 备份到 HDFS。
Is benchmarking MongoDB alone different from doing it with Hadoop
是的,读取和写入的调优参数与 HDFS 大不相同,因为 HDFS 不是数据库
YCSB tool for benchmarking
不清楚您在 Hadoop 中进行基准测试的内容。编写和读取一堆文件(使用和不使用 mapreduce)?查看给定时间 YARN 中有多少作业 运行? Hadoop 又不是一个旨在存储简单 JSON blob 的数据库。
when monogo on top of Hadoop , will the data be shared among nodes by MongoDB or by Hadoop?
我从没听说过这个,但也许索引由 Mongo 存储,而原始数据由 HDFS 提供?