如何在控制台中写入数据帧？ （Scala Spark 流媒体）

Question

我想调试我的笔记本，因此我需要在笔记本控制台模式下打印出流数据。我有两个问题： 1- 是否可以这样做：

df.writeStream.format("console").start().awaitTermination()

2- 如果是，我在哪里可以看到输出？

这是 10 分钟后...没有错误或结果

谢谢！

Answer 1

我想通了我的问题是什么。我必须在我的方法中添加 ".outputMode("append")"。外观如下：

def writeStreamData(dataFrame: DataFrame): Unit = {
        /**
         * write the given dataframe into a file or console
         :params: dataframe
         */
        dataFrame.writeStream
            .format("console")
            .outputMode("append")
            .start()
            .awaitTermination()
    }