只显示前 20 行

Question

我有一个流数据集。它从 Kafka 流中读取并写入控制台。

 val outputStream = inputStream.writeStream.format("console")
                    .option("truncate", value = false)
                    .option("checkpointLocation", "checkpoint")

 outputStream.start()

 spark.streams.awaitAnyTermination()

然而，当有多个记录时，我在控制台上收到一条消息： only showing top 20 rows

而且只显示了20条记录。有没有办法检索所有记录？？

Spark 版本：3.1.2

Answer 1

有一个选项numRows，例如：10000。

val outputStream = inputStream.writeStream.format("console")
                    .option("truncate", value = false)
                    .option("numRows",10000)
                    .option("checkpointLocation", "checkpoint")

只显示前 20 行

only showing top 20 rows

scala

apache-spark

apache-kafka-streams