Spark Couchbase 连接器 DCP
Spark Couchbase connector DCP
我想知道基于 DCP 的流在 Spark Couchbase Official Connector 中是否稳定？文档声明它们尚未准备好用于生产。我们有 Java 的例子吗？
此外，如果有人可以阐明我正在尝试解决的用例以及 spark 连接器在这里是否有意义：
我们每天从 couchbase lite 数据库到同步网关获取一些徽章的更新。现在，在 window 的 10 天内，如果有人获得 5 个或更多徽章，那么我们需要推送一个祝贺徽章。这需要每 10 天完成一次。
所以，我的计划是使用 DCP，我每天检查更改，运行 一项工作，然后将其推送到同步网关。如果在 10 天的间隔内，获得了 5 个或更多徽章，那么我将其推送到同步网关..
这是解决这个问题的正确方法还是有更好的方法？
还有一件事可以使用：
那么这里哪种方法更好？
支持来自 Spark 连接器的 DCP 流式传输，因为该产品是 GA 并且该功能未标记为实验性。 Couchbase 确实很早就引入了功能，如果不支持该功能，则通过注释将其标记为实验性。
也就是说，我知道在撰写本文时，JVM 核心 DCP 实现存在一些已知问题，预计将在接下来的几周内解决，如果不是更早的话。我肯定知道的那个被跟踪在这里：https://issues.couchbase.com/browse/JVMCBC-312
已添加新的测试场景，Couchbase 正在努力确保它在下一个版本之前在不同的 failure/rebalance 模式下通过这些测试。
我想知道基于 DCP 的流在 Spark Couchbase Official Connector 中是否稳定？文档声明它们尚未准备好用于生产。我们有 Java 的例子吗？
此外，如果有人可以阐明我正在尝试解决的用例以及 spark 连接器在这里是否有意义：
我们每天从 couchbase lite 数据库到同步网关获取一些徽章的更新。现在，在 window 的 10 天内，如果有人获得 5 个或更多徽章，那么我们需要推送一个祝贺徽章。这需要每 10 天完成一次。
所以，我的计划是使用 DCP，我每天检查更改，运行 一项工作，然后将其推送到同步网关。如果在 10 天的间隔内，获得了 5 个或更多徽章，那么我将其推送到同步网关..
这是解决这个问题的正确方法还是有更好的方法？
还有一件事可以使用：
那么这里哪种方法更好？
支持来自 Spark 连接器的 DCP 流式传输，因为该产品是 GA 并且该功能未标记为实验性。 Couchbase 确实很早就引入了功能，如果不支持该功能，则通过注释将其标记为实验性。
也就是说，我知道在撰写本文时，JVM 核心 DCP 实现存在一些已知问题，预计将在接下来的几周内解决，如果不是更早的话。我肯定知道的那个被跟踪在这里：https://issues.couchbase.com/browse/JVMCBC-312
已添加新的测试场景，Couchbase 正在努力确保它在下一个版本之前在不同的 failure/rebalance 模式下通过这些测试。