Flink Cassandra 超时错误
Flink Cassandra Time out Error
我正在研究 Kafka Flink Cassandra Sink。 Flink 代码可以正常运行近 4 个小时。在那之后,我得到了一个例外。
Caused by: com.datastax.driver.core.exceptions.WriteTimeoutException: Cassandra timeout during write query at consistency LOCAL_ONE (1 replica were required but only 0 acknowledged the write)
有人能帮忙吗?
这与 Flink 无关,而是与 Cassandra 相关:您在 Cassandra 中可能写得太快了。检查分配给 Cassandra 的 RAM 数量,CPU,....
的数量
C* 没有响应客户端可能是因为
- C* 正在进行 GC;如果启用它,您可以检查 gc.log。 C* 在执行 GC
时也可能有高 CPU
- 如果磁盘写入吞吐量跟不上传入数据。您可能会看到提交日志堆积如山。在正常情况下,一旦数据刷新到磁盘,commit log 应该被回收。
此外,我建议检查您的 RF# 设置和写入/读取查询的一致性级别。如果有另一个副本可用(RF = 2+),您可能有机会从空闲节点检索数据副本。
我正在研究 Kafka Flink Cassandra Sink。 Flink 代码可以正常运行近 4 个小时。在那之后,我得到了一个例外。
Caused by: com.datastax.driver.core.exceptions.WriteTimeoutException: Cassandra timeout during write query at consistency LOCAL_ONE (1 replica were required but only 0 acknowledged the write)
有人能帮忙吗?
这与 Flink 无关,而是与 Cassandra 相关:您在 Cassandra 中可能写得太快了。检查分配给 Cassandra 的 RAM 数量,CPU,....
的数量C* 没有响应客户端可能是因为
- C* 正在进行 GC;如果启用它,您可以检查 gc.log。 C* 在执行 GC 时也可能有高 CPU
- 如果磁盘写入吞吐量跟不上传入数据。您可能会看到提交日志堆积如山。在正常情况下,一旦数据刷新到磁盘,commit log 应该被回收。
此外,我建议检查您的 RF# 设置和写入/读取查询的一致性级别。如果有另一个副本可用(RF = 2+),您可能有机会从空闲节点检索数据副本。