将 Spark SQL 数据帧转换为结构化流数据帧
Convert Spark SQL DataFrames to Structured Streaming DataFrames
我想将 Java Spark SQL DataFrames 转换为结构化流数据帧，这样每个批次都将合并到结构化流数据帧。因此，我可以在从批处理源获得的 DataFrames 上使用 Spark Structured Streaming 功能（例如连续作业）。
与Java无关，标题有点off-beam。
您所说的标准操作不受支持。
查看 foreachBatch 实现的文档。请参阅 https://spark.apache.org/docs/3.1.2/structured-streaming-programming-guide.html#foreachbatch 并在其中读取静态 DF 执行 UNION。
我想将 Java Spark SQL DataFrames 转换为结构化流数据帧，这样每个批次都将合并到结构化流数据帧。因此，我可以在从批处理源获得的 DataFrames 上使用 Spark Structured Streaming 功能（例如连续作业）。
与Java无关，标题有点off-beam。
您所说的标准操作不受支持。
查看 foreachBatch 实现的文档。请参阅 https://spark.apache.org/docs/3.1.2/structured-streaming-programming-guide.html#foreachbatch 并在其中读取静态 DF 执行 UNION。