spark 结构化流 PostgreSQL updatestatebykey
sSpark structured streaming PostgreSQL updatestatebykey
如何通过 INPUT PostgreSQL [=20] 中的更改触发的 Spark 结构化流计算来更新 OUTPUT TABLE 的状态=]?
作为现实生活场景，USERS table 已被 user_id = 0002 更新，如何仅为该用户触发 Spark 计算并将结果写入/更新到另一个 table？
虽然没有开箱即用的解决方案，但您可以通过以下方式实施。
您可以使用 Linkedin 的 Databus 或其他类似工具来挖掘数据库日志并向 kafka 生成相应的事件。该工具跟踪数据库 bin 日志中的更改。您可以编写一个 kafka 连接器来转换和过滤数据。然后，您可以使用来自 kafka 的事件并将它们处理为您想要的任何接收器格式。
如何通过 INPUT PostgreSQL [=20] 中的更改触发的 Spark 结构化流计算来更新 OUTPUT TABLE 的状态=]?
作为现实生活场景，USERS table 已被 user_id = 0002 更新，如何仅为该用户触发 Spark 计算并将结果写入/更新到另一个 table？
虽然没有开箱即用的解决方案，但您可以通过以下方式实施。
您可以使用 Linkedin 的 Databus 或其他类似工具来挖掘数据库日志并向 kafka 生成相应的事件。该工具跟踪数据库 bin 日志中的更改。您可以编写一个 kafka 连接器来转换和过滤数据。然后，您可以使用来自 kafka 的事件并将它们处理为您想要的任何接收器格式。