Spark中使用textFile创建RDD时,结果显示的索引是什么?

When using textFile to create an RDD in Spark, what is the index that is displayed in the result?

当我在 Spark 中使用 sc.textFile 创建 RDD 时,我得到如下结果:

org.apache.spark.rdd.RDD[String] = file:///home/cloudera/data MapPartitionsRDD[133] at textFile at <console>:23

[133]代表什么?我看到它增加了,所以感觉像是某种 ID。

是的,查看 RDD 的实现,它是 RDD 的 ID,将用于在 SparkContext 中唯一标识 RDD,

请参阅下面的 RDD 的 toString() 方法,其中 id 与创建站点一起包含在内。

override def toString: String = "%s%s[%d] at %s".format(
    Option(name).map(_ + " ").getOrElse(""), getClass.getSimpleName, id, getCreationSite)