如何在 spark 编码器中映射 cassandra 日期类型？

Question

我正在尝试在 cassandra table 上实现简单的聚合。但无法在 spark 中映射 cassandra 日期类型。尝试映射 String、java.sql.Date、java.util.Date、java.time.LocalDate、org.joda.time.LocalDate。 None 的工作人员。你能告诉我 cassandra 日期类型的 java 类型是正确的吗？

// table definition
CREATE TABLE data (
    day date,
    value bigint,
    // ommited
);

// result model
@Data
class Item {
    String day;
    Long count;
}

// spark query
sparkSession
    .read()
        .format("org.apache.spark.sql.cassandra")
        .option("keyspace", "keyspace")
        .option("table", "data")
        .load()
    .groupBy("day")
        .agg(functions.sum("value").as("sum"))
        .as(Encoders.bean(Item.class))
        .collectAsList();

Answer 1

java.sql.Date工作，除了白班问题。