Bigtable 是否通过网络将数据发送到 Dataproc 以执行映射阶段？

Question

我正在使用 Google Dataproc 集群针对 Bigtable 运行 Spark M/R 作业。 数据是通过网络从 Bigtable 发送到 Dataproc 集群以执行 map 阶段还是 map 阶段 运行s 物理地在 Bigtable 集群上？

Answer 1

所有计算都将 运行 在 Dataproc 上进行，进行该计算所需的任何数据都需要通过网络传输到 Dataproc 才能进行。

需要注意的是，如果您在扫描中设置过滤器，那么 Bigtable 服务将执行该过滤，然后再将数据发送回您在 Dataproc 上的作业 运行ning。