Cassandra 的 sstableloader 导入数据太慢
Cassandra's sstableloader too slow in import data
我正在使用命令行 sstableloader
在 cassandra 版本 3.11 中复制数据。该过程的持续时间为 3 小时 8 分钟,可处理 356kb 的数据量。这个持续时间是否正常独立于数据量?
sstableload 应该不会花费更长的时间。但您可能会默认限制数据传输
--throttle 1
(以 MB 为单位)。您可以通过控制每个主机的连接数来加快速度。
sstableloader --node node_ip --connection-per-host 100
另一个原因是如果您使用的是默认设置并且看起来很慢。也许 sstable 文件在读取时被压缩了。您需要将加载的文件放在远离 Cassandra 数据目录的目录中。
我正在使用命令行 sstableloader
在 cassandra 版本 3.11 中复制数据。该过程的持续时间为 3 小时 8 分钟,可处理 356kb 的数据量。这个持续时间是否正常独立于数据量?
sstableload 应该不会花费更长的时间。但您可能会默认限制数据传输
--throttle 1
(以 MB 为单位)。您可以通过控制每个主机的连接数来加快速度。
sstableloader --node node_ip --connection-per-host 100
另一个原因是如果您使用的是默认设置并且看起来很慢。也许 sstable 文件在读取时被压缩了。您需要将加载的文件放在远离 Cassandra 数据目录的目录中。