如何从 Azure SQL 服务器批量读取并批量插入到 Camel 中的 Cassandra

Question

我想从 Azure SQL 数据库 table 中读取 5+ 百万个事件，然后对 Cassandra 执行批量插入。 table 有 2 列。 我看到 SQL 组件可用于从 Azure SQL 数据库中读取。 https://camel.apache.org/components/3.7.x/sql-component.html

问题：从 Azure SQL 数据库中使用

1. 考虑到 500 万条记录，是否有更好的方法来读取所有行并存储在地图中？
2. 是否可以批量读取消息？

有一个可用于 Cassandra 的 cql 组件 https://camel.apache.org/components/3.7.x/cql-component.html

问题：生产到 Cassandra

1. 我们可以批量插入吗？

我可以在这个用例中使用 camel 吗？

Answer 1

对于 Azure 数据库中的每个 table，我们建议您将数据导出到 CSV 文件中。有许多可用的工具和方法可以让您做到这一点。例如，看看 Import and export data from Azure SQL Database.

将数据导出到 CSV 后，您可以使用 DataStax Bulk Loader 工具 (DSBulk) 将其批量加载到 Cassandra table。

以下是一些参考资料和示例，可帮助您快速入门：

• 博客 - DSBulk Intro + Loading data
• 博客 - More DSBulk Loading examples
• 博客 - Counting records with DSBulk
• 文档 - Loading data examples
• 已回答问题 - DS Community

DSBulk 是开源的，因此可以免费使用。干杯！