Spark中使用textFile创建RDD时,结果显示的索引是什么?
When using textFile to create an RDD in Spark, what is the index that is displayed in the result?
当我在 Spark 中使用 sc.textFile
创建 RDD 时,我得到如下结果:
org.apache.spark.rdd.RDD[String] = file:///home/cloudera/data MapPartitionsRDD[133] at textFile at <console>:23
[133]
代表什么?我看到它增加了,所以感觉像是某种 ID。
是的,查看 RDD 的实现,它是 RDD 的 ID,将用于在 SparkContext 中唯一标识 RDD,
请参阅下面的 RDD 的 toString() 方法,其中 id 与创建站点一起包含在内。
override def toString: String = "%s%s[%d] at %s".format(
Option(name).map(_ + " ").getOrElse(""), getClass.getSimpleName, id, getCreationSite)
当我在 Spark 中使用 sc.textFile
创建 RDD 时,我得到如下结果:
org.apache.spark.rdd.RDD[String] = file:///home/cloudera/data MapPartitionsRDD[133] at textFile at <console>:23
[133]
代表什么?我看到它增加了,所以感觉像是某种 ID。
是的,查看 RDD 的实现,它是 RDD 的 ID,将用于在 SparkContext 中唯一标识 RDD,
请参阅下面的 RDD 的 toString() 方法,其中 id 与创建站点一起包含在内。
override def toString: String = "%s%s[%d] at %s".format(
Option(name).map(_ + " ").getOrElse(""), getClass.getSimpleName, id, getCreationSite)