提高卡桑德拉的性能批量加载
improve performance Bulk load in cassandra
我们每秒生成 240,000 条记录并保存在 csv 文件中。现在我们要将它们加载到 Cassandra 中。
我使用了 3 种方法：
sstableloader : 我们生成sstable并使用sstableloader命令加载它们，但是这种方法需要很长时间才能完成，每秒行数为：15,000
JmxBulkLoader：这个方法比sstableloader好。 rows/s 的数量是 17,000
副本：不适合批量使用，使用时会崩溃
系统配置：
CPU: Intel(R) Xeon(R) CPU E5-2697 v3 @ 2.60GHz. 56 Cores
RAM: 64 G
Hard Disk:
1TB local for cassandra nodes and
10TB in a network drive (data files stored in this hard)
我们在这台机器上有 2 个节点。
谢谢。
您可以从 csv 文件或直接从源中获取记录，然后使用 Java 的 ExecuteAsync 方法将其加载到 Cassandra 中。
看看博客：-
https://blog.knoldus.com/2017/01/31/cassandra-tips-and-techniques/
我们每秒生成 240,000 条记录并保存在 csv 文件中。现在我们要将它们加载到 Cassandra 中。
我使用了 3 种方法：
sstableloader : 我们生成sstable并使用sstableloader命令加载它们，但是这种方法需要很长时间才能完成，每秒行数为：15,000
JmxBulkLoader：这个方法比sstableloader好。 rows/s 的数量是 17,000
副本：不适合批量使用，使用时会崩溃
系统配置：
CPU: Intel(R) Xeon(R) CPU E5-2697 v3 @ 2.60GHz. 56 Cores
RAM: 64 G
Hard Disk:1TB local for cassandra nodes and 10TB in a network drive (data files stored in this hard)
我们在这台机器上有 2 个节点。
谢谢。
您可以从 csv 文件或直接从源中获取记录，然后使用 Java 的 ExecuteAsync 方法将其加载到 Cassandra 中。
看看博客：- https://blog.knoldus.com/2017/01/31/cassandra-tips-and-techniques/