运行 DSBULK 加载时出现堆内存问题

Question

我在一个文件夹中卸载了 100 多个 CSV 文件。当我尝试使用 DSBULK load 将这些文件加载​​到 cassandra 并指定所有这些文件的文件夹位置时，出现以下错误

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "unVocity-parsers input reading thread"

我想看看有没有人遇到过它，是如何解决的。

Answer 1

以下是您可以尝试的一些方法：

1. 您可以使用 DSBULK_JAVA_OPTS env var 将任何 JVM 选项或系统 属性 传递给 dsbulk 可执行文件。有关更多信息，请参阅 this page。如果可能，将分配的内存设置为更高的值。
2. 您可以使用 -maxConcurrentQueries 选项限制 dsbulk。从 -maxConcurrentQueries 1 开始；然后提高该值以获得最佳吞吐量，而不会遇到 OOM 错误。关于此的更多信息 here.