Google Cloud Dataproc - Spark 和 Hadoop 版本

Google Cloud Dataproc - Spark and Hadoop Version

在 Google Cloud Dataproc 测试版中,Spark 和 Hadoop 的版本是什么?

Spark 是为哪个版本的 Scala 编译的?

根据 official announcement:

Today, we are launching with clusters that have Spark 1.5 and Hadoop 2.7.1.

Current Spark version info is listed in the docs。 Spark 2.1.0 使用 Scala 2.11.

Spark 的版本取决于正在使用的 version of DataProc,目前它使用 Data Proc v1.2 并且它有

星火:2.2.1 斯卡拉:2.11.8

许多框架的 DataProc 预定义 initialization scripts,包括具有以下版本的 Kafka:

卡夫卡:2.11.0.10.1 卡夫卡客户端:0.10.1