Apache Kafka 与 Oracle Goldengate 的远程数据流

Apache Kafka vs Oracle Goldengate for remote data streaming

关于数据整合场景，有没有Apache Kafka和Oracle Goldengate在远程数据流方面的对比分析？

在该场景中，我们必须通过互联网将来自多个（~100）个来源的感官结构化数据集成到一个目的地。

注意：如果我的问题是笼统的，你在评论中的问题可能会帮助我更准确地描述情况。

提前致谢。

假设这 100 个源都是 Oracle 数据库，那么如果您想配置 vs 代码，Oracle Goldengate 将是最佳选择。您可以使用 Oracle Goldengate "replicate" 将 100 个源集中到一个位置进行处理。

还要记住，Oracle Goldengate 和 Kafka 两者都不是，或者，Oracle Goldengate 可以将更改传递到 Kafka 主题。

Striim 实际上具有与 GoldenGolden 相同的更改数据捕获功能，可以从 oracle 捕获数据...并且使用 Kafka 作为底层消息总线。您可以在此处阅读有关如何从数据库执行 CDC 并将数据流式传输到 kafka 的教程：

免责声明：我确实在 striim 工作

您可以将 Oracle GG for Big Data (Oracle GG) 与 Kafka 客户端结合使用，将消息传递到 Kafka 主题或任何最终目的地。使用 Oracle GG for Big Data 的一个优势是您可以使用上述 link 下载完整版本用于原型设计和 POC。

这适用于您正在研究的任何 GoldenGate 风格的 RDBMS 或基于 java 的解决方案。 Oracle GG 可以从许多异构源收集数据并将数据泵送到整合点。

您可以通过互联网通过加密路径将数据传送到目标并移交给 Kafka 客户端。这实际上取决于您选择将数据从源传输到目标的拓扑。

另一个考虑因素是 Oracle 可能能够为您的企业提供基于云的复制服务，以将数据传送到目的地。