为数据带来功能——这怎么称呼?
Bringing functionality to data - how is this called?
在许多情况下,我们从数据库中获取数据并将其带到我们的应用程序(数据到功能)。然而,在某些设计中,我们采用相反的方式,这在大数据设置中是有利的。例如 Hadoop MapReduce 或 Apache Spark。
我们如何称呼为数据带来功能性而不是相反的方法?我记得像 "data location sensitive" 或 "data location awareness" 之类的东西,但在互联网上找不到正确的词了。
是叫data locality
吗。
因此,假设您有一个大小为 1 GB 的文本文件,并且您编写了一个 map reduce 代码将该文件中的所有文本转换为大写,那么首先该文件将被分成块,然后将文本覆盖为大写的逻辑将对每个数据节点可用。现在,每个节点上的 tasktracker 只会 运行 映射减少本地节点上存在的数据 block/s 的代码。这称为数据局部性。
在许多情况下,我们从数据库中获取数据并将其带到我们的应用程序(数据到功能)。然而,在某些设计中,我们采用相反的方式,这在大数据设置中是有利的。例如 Hadoop MapReduce 或 Apache Spark。
我们如何称呼为数据带来功能性而不是相反的方法?我记得像 "data location sensitive" 或 "data location awareness" 之类的东西,但在互联网上找不到正确的词了。
是叫data locality
吗。
因此,假设您有一个大小为 1 GB 的文本文件,并且您编写了一个 map reduce 代码将该文件中的所有文本转换为大写,那么首先该文件将被分成块,然后将文本覆盖为大写的逻辑将对每个数据节点可用。现在,每个节点上的 tasktracker 只会 运行 映射减少本地节点上存在的数据 block/s 的代码。这称为数据局部性。