如何在 Spark 结构化流上连接两个流? - Java 8

How do I make the join between two streams on Spark structured streaming? - Java 8

我知道,目前还不支持两个流之间的连接。但是有办法做到吗? 或者我需要等待 Spark 2.2.0? 谢谢

Spark 2.2.0 仍然不支持流-流连接。你可以看这张票:https://issues.apache.org/jira/browse/SPARK-18791

如果您想加入流,我建议您使用 Kafka Streams 而不是 Structured Spark Streaming。check this link to see how this can be done

从 Spark 2.3 的生产版本开始,stream-stream joins 现在支持结构化流。