Spark Dataframe 显示未生成 DAG
Spark Dataframe show not generating a DAG
我正在尝试使用这样的 toDF 函数生成数据帧
当我看到 Spark UI 时，在 运行 df.show 操作之后，我没有看到任何 DAG，为什么会这样？
因为它在内存中 没有调用并行化；有一个 Spark 优化可以立即执行，其中 Seq 用于创建 dataframe.
同理：
val df = sc.parallelize(1 until 5).toDF("a")
作为worker产生Job/DAG，涉及分配。
我正在尝试使用这样的 toDF 函数生成数据帧
当我看到 Spark UI 时，在 运行 df.show 操作之后，我没有看到任何 DAG，为什么会这样？
因为它在内存中 没有调用并行化；有一个 Spark 优化可以立即执行，其中 Seq 用于创建 dataframe.
同理：
val df = sc.parallelize(1 until 5).toDF("a")
作为worker产生Job/DAG，涉及分配。