人们在谈论 Hadoop、Spark 和大数据时所说的 "intermediate results" 是什么意思?

What do people mean by "intermediate results" when talking about Hadoop, Spark, and Big Data?

我正在努力学习更多关于大数据的知识,尤其是关于利用 Hadoop 和 Spark 的知识。但是,我一直看到 "intermediate results" 这个词,但我不太确定它指的是什么。

例如,我读到 "Hadoop writes intermediate results to a computer's storage disk, while Spark keeps those same results in memory whenever possible." 我假设这是指 Map Reduce 之后的结果,但我不太确定。

有人可以更详细地介绍一下 "intermediate results" 是什么以及它们在 Spark 和 Hadoop 之间有何不同吗?

在map阶段和reduce阶段之间,对正在处理的数据进行shuffle和sort操作,是整个操作的中间环节