如何构建一个管道，从 Odoo 等 ERP 收集数据并使用 Kafka 存储在外部数据库中
How to build a pipeline that will collect data from ERPs like Odoo and store in an external database using Kafka
我们正在做一个从 ERP 收集数据并存储在我们的数据库中的项目，我们研究了很多关于大数据的技术，并得出结论使用 Apache Kafka 来执行任务，因为 Kafka 在中摄取数据即时的。
问题是经过研究，我们还不知道如何解决。我们能够创建一个管道来从 file.txt 收集数据，但是当涉及到 ERP 时，使用他们的 API。
有人可以指导我们吗？或任何人都可以为我们提供可以帮助我们购买或观看的课程吗？谢谢
主要是为了记录...（因为我想您已经找到了解决方案）。一种值得探索的途径是使用 Kafka Connect。毕竟，这就是创建 API 的原因。
我会尝试 create/write 自定义连接器以从所需的 ERP 中提取数据并将其输入 Kafka 集群：
- 直接来自 ERP 的数据库，如果可以授予此类访问权限
- 或者通过尝试调用各种 REST services/endpoints ERP 可能暴露
- 或者 ERP 可能已经发布了事件来暴露状态变化等
我们正在做一个从 ERP 收集数据并存储在我们的数据库中的项目，我们研究了很多关于大数据的技术，并得出结论使用 Apache Kafka 来执行任务，因为 Kafka 在中摄取数据即时的。
问题是经过研究，我们还不知道如何解决。我们能够创建一个管道来从 file.txt 收集数据，但是当涉及到 ERP 时，使用他们的 API。
有人可以指导我们吗？或任何人都可以为我们提供可以帮助我们购买或观看的课程吗？谢谢
主要是为了记录...（因为我想您已经找到了解决方案）。一种值得探索的途径是使用 Kafka Connect。毕竟，这就是创建 API 的原因。
我会尝试 create/write 自定义连接器以从所需的 ERP 中提取数据并将其输入 Kafka 集群：
- 直接来自 ERP 的数据库，如果可以授予此类访问权限
- 或者通过尝试调用各种 REST services/endpoints ERP 可能暴露
- 或者 ERP 可能已经发布了事件来暴露状态变化等