Google Cloud Dataproc 迁移到 Spark 1.6.0

Google Cloud Dataproc migration to Spark 1.6.0

Google Dataproc 会很快开始使用 Spark 1.6.0 吗?我正在使用此命令创建集群:

gcloud beta dataproc clusters create <cluster-name>

默认使用 Spark 1.5.2。

谢谢。

https://cloud.google.com/dataproc/dataproc-versions 列出可用版本。目前您可以选择 Spark 1.5.0 或 Spark 1.5.2(默认)。

您可以期待在接下来的几周内看到包含 Spark 1 的 Google Cloud Dataproc 的新映像版本。6.x。