map-reduce和nosql有什么关系？

Question

我想在我的申请中使用 nosql。 nosql的目的是存储用户日志数据，使用和分析数据，并为用户提供定制数据。在这里我们了解了map-reduce，寻找快速处理大量日志数据的算法和方法。

我有几个问题：

1. Is map-reduce an algorithm?

2. Is map-reduce suitable for fast processing of large amounts of data?

3. How can I use nosql in addition to map-reduce for faster speed?

4. I know that mongodb supports map-reduce, is that correct?

我不是很明白nosql和map-reduce的关系

谢谢。

Answer 1

1. 否SQL = [不仅SQL]数据库是可以的数据库类型 有结构，semi-structural(XML, json) 或 non-structural data(文本数据).

2. 是的，它可以帮助处理大型数据集。

3. 其中 Map-reduce 是一种算法。请阅读此 article 了解 map reduce 如何在 NoSQL 或大数据中工作 应用程序。

编辑

Here is some good resource for learning mapReduce & Big Data technologies. 顺便说一句，这些教程是印地语的。

Answer 2

Is map-reduce an algorithm?

MapReduce 不完全是一种算法，而是一种可以与许多算法一起使用的工具，这使 "fit" 变得很好。 Mapreduce 利用 hadoop 分布式数据存储和处理的特性。您可能已经注意到，并非所有算法都可以 "efficiently" 使用 mapreduce 实现。因此，应根据数据量、处理限制等各种因素做出设计决策。

Is map-reduce suitable for fast processing of large amounts of data?

mapreduce 在处理过程中会占用大量磁盘 I/O，因此不适合执行时间受限的情况。您可能需要切换到 spark 以加快处理速度。使用 tez 引擎和 mapreduce 是另一种选择。但是，不要将 mapreduce 性能与 hbase 之类的 nosql 数据库进行比较。 mapreduce和nosql属于两个完全不同的技术栈。

How can I use nosql in addition to map-reduce for faster speed?

这取决于您的用例。将 hbase 数据处理成 mapreduce 程序以产生分析结果是很常见的。

I know that mongodb supports map-reduce, is that correct?

让我re-phrase吧。 mapreduce 是一个工具，mongodb 可能是其数据源。