卡桑德拉异常

Question

对于我当前的项目，我使用 Cassandra Db 来频繁获取数据。每秒至少会命中 30 个 Db 请求。对于每个请求，至少需要从 Db 获取 40000 行。以下是我当前的代码，此方法将 return 哈希映射。

 public Map<String,String> loadObject(ArrayList<Integer> tradigAccountList){

        com.datastax.driver.core.Session session;
        Map<String,String> orderListMap = new HashMap<>();
        List<ResultSetFuture> futures = new ArrayList<>();
        List<ListenableFuture<ResultSet>> Future;

        try {
            session =jdbcUtils.getCassandraSession();
            PreparedStatement statement = jdbcUtils.getCassandraPS(CassandraPS.LOAD_ORDER_LIST);

            for (Integer tradingAccount:tradigAccountList){
                futures.add(session.executeAsync(statement.bind(tradingAccount).setFetchSize(3000)));
            }
            Future = Futures.inCompletionOrder(futures);

            for (ListenableFuture<ResultSet> future : Future){
                for (Row row: future.get()){
                    orderListMap.put(row.getString("cliordid"), row.getString("ordermsg"));
                }
            }

        }catch (Exception e){
        }finally {
        }
        return orderListMap;
    }

我的数据请求查询是这样的， "SELECT cliordid,ordermsg FROM omsks_v1.ordersStringV1 WHERE tradacntid = ?"。我的 Cassandra 集群有 2 个节点，每个节点有 32 个并发读写线程，我的 Db 模式如下

CREATE TABLE omsks_v1.ordersstringv1_copy1 (
    tradacntid int,
    cliordid text,
    ordermsg text,
    PRIMARY KEY (tradacntid, cliordid)
) WITH bloom_filter_fp_chance = 0.01
AND comment = ''
AND dclocal_read_repair_chance = 0.1
AND default_time_to_live = 0
AND gc_grace_seconds = 864000
AND max_index_interval = 2048
AND memtable_flush_period_in_ms = 0
AND min_index_interval = 128
AND read_repair_chance = 0.0
AND speculative_retry = '99.0PERCENTILE'
AND caching = {
    'keys' : 'ALL',
    'rows_per_partition' : 'NONE'
}
AND compression = {
    'sstable_compression' : 'LZ4Compressor'
}
AND compaction = {
    'class' : 'SizeTieredCompactionStrategy'
};

我的问题是 Cassandra 超时异常，如何优化我的代码来处理所有这些请求

Answer 1

如果附上该异常（Read/write 异常）的 snnipet 会更好。我假设您正在阅读超时。您正在尝试根据单个请求获取大型数据集。

For each request at least 40000 rows needed to fetch from Db

如果您有一个大记录并且结果集太大，如果无法在 Cassandra.yaml 中提到的时间限制内 return 编辑结果，它会抛出异常。

read_request_timeout_in_ms

您可以增加超时时间，但这不是一个好的选择。它可能会解决问题（可能不会抛出异常，但需要更多时间才能得到 return 结果）。

解决方案：对于大数据集，可以使用带限制的手动分页（范围查询）获得结果。

SELECT cliordid,ordermsg FROM omsks_v1.ordersStringV1 WHERE tradacntid > = ? and cliordid > ? limit ?;

或使用范围查询

SELECT cliordid,ordermsg FROM omsks_v1.ordersStringV1 WHERE tradacntid = ? and cliordid >= ? and cliordid <= ?;

这比获取整个结果集要快得多。

您也可以尝试减小提取大小。尽管它将 return 整个结果集。

public Statement setFetchSize(int fetchSize) 检查是否抛出异常。

setFetchSize controls the page size, but it doesn't control the maximum rows returned in a ResultSet.

还有一点需要注意：

tradigAccountList 的大小是多少？

一次请求太多也可能导致超时。 tradigAccountList 的大小和一次完成的大量读取请求（请求的负载平衡由 Cassandra 处理，可以处理多少请求取决于集群大小和其他一些因素）可能会导致此异常。

一些相关链接：

Cassandra read timeout

NoHostAvailableException With Cassandra & DataStax Java Driver If Large ResultSet

卡桑德拉异常

Cassandra Exception

java

cassandra-2.0