如何使用flink进行2个kafka topic之间的数据比较

Question

我陷入了需要使用来自 2 个或更多 kafka 主题的数据流（应用过滤器后）并比较数据的场景。由于数据量很大，请建议可用的最佳选项.. flink 可以吗？

Answer 1

为什么不试试 Spark Streaming？ Spark 具有连接器，可以从 kafka 主题中读取并将它们视为 table（也称为数据框），您可以 运行 sql 在数据框之上查询并比较结果

Answer 2

Flink 可以通过多种不同的方式来解决这个问题。更直接的选择可能是使用

• an interval join
• 或某种 Table or SQL 加入。

在 Table/SQL APi 中使用 Kafka 已涵盖 here。