Cassandra cqlsh - 如何为时间戳列显示 microseconds/milliseconds？

Question

我正在插入带有时间戳列的 Cassandra table。我拥有的数据具有微秒精度，因此时间数据字符串如下所示：

2015-02-16T18:00:03.234+00:00

然而，在 cqlsh 中，当我运行查询 select 时，微秒数据没有显示，我只能看到精确到秒的时间。 234 微秒数据未显示。

我想我有两个问题：

1) Cassandra 是否捕获时间戳数据类型的微秒？我猜是吗？

2) 怎么才能看到用cqlsh验证呢？

Table定义：

create table data (
  datetime timestamp,
  id text,
  type text,
  data text,
  primary key (id, type, datetime)
) 
with compaction = {'class' : 'DateTieredCompactionStrategy'};

使用 Java PreparedStatment:

插入查询运行

insert into data (datetime, id, type, data) values(?, ?, ?, ?);

Select 查询很简单：

select * from data;

Answer 1

为了回答您的问题，我对这个问题进行了一些挖掘。

Cassandra 是否捕获时间戳数据类型的微秒？

微秒不，毫秒是。如果我创建你的 table，插入一行，并尝试按截断时间查询它，它不起作用：

aploetz@cqlsh:Whosebug> INSERT INTO data (datetime, id, type, data) 
VALUES ('2015-02-16T18:00:03.234+00:00','B26354','Blade Runner','Deckard- Filed and monitored.');
aploetz@cqlsh:Whosebug> SELECT * FROM data 
WHERE id='B26354' AND type='Blade Runner' AND datetime='2015-02-16 12:00:03-0600';

 id | type | datetime | data
----+------+----------+------

(0 rows)

但是当我在指定毫秒的同时查询相同的 id 和 type 值时：

aploetz@cqlsh:Whosebug> SELECT * FROM data 
WHERE id='B26354' AND type='Blade Runner' AND datetime='2015-02-16 12:00:03.234-0600';

 id     | type         | datetime                 | data
--------+--------------+--------------------------+-------------------------------
 B26354 | Blade Runner | 2015-02-16 12:00:03-0600 | Deckard- Filed and monitored.

(1 rows)

所以毫秒肯定是有的。为此问题创建了一个 JIRA 票证 (CASSANDRA-5870)，但它被解决为 "Won't Fix."

如何用cqlsh查看验证？

实际验证毫秒确实存在的一种可能方法是将 timestampAsBlob() 函数嵌套在 blobAsBigint() 中，如下所示：

aploetz@cqlsh:Whosebug> SELECT id, type, blobAsBigint(timestampAsBlob(datetime)), 
data FROM data;

 id     | type         | blobAsBigint(timestampAsBlob(datetime)) | data
--------+--------------+-----------------------------------------+-------------------------------
 B26354 | Blade Runner |                           1424109603234 | Deckard- Filed and monitored.

(1 rows)

虽然不是最优的，但在这里你可以清楚地看到最后的“234”的毫秒值。如果我为相同的时间戳添加一行但没有毫秒，这将变得更加明显：

aploetz@cqlsh:Whosebug> INSERT INTO data (id, type, datetime, data)
VALUES ('B25881','Blade Runner','2015-02-16T18:00:03+00:00','Holden- Fine as long as nobody unplugs him.');
aploetz@cqlsh:Whosebug> SELECT id, type, blobAsBigint(timestampAsBlob(datetime)), 
                 ...     data FROM data;

 id     | type         | blobAsBigint(timestampAsBlob(datetime)) | data
--------+--------------+-----------------------------------------+---------------------------------------------
 B25881 | Blade Runner |                           1424109603000 | Holden- Fine as long as nobody unplugs him.
 B26354 | Blade Runner |                           1424109603234 |               Deckard- Filed and monitored.

(2 rows)

Answer 2

您可以 configure the output format 文件中的日期时间对象，使用 python 的 'strftime' 语法。

不幸的是，%f 微秒指令（似乎没有毫秒指令）does not work 用于较早的 python 版本，这意味着您必须回退到blobAsBigint(timestampAsBlob(date)) 解决方案。

Answer 3

使用 Cassandra 数据类型 'timestamp' 无法显示微秒（百万分之一秒），因为该数据类型可用的最大精度是毫秒（千分之一秒）。

http://docs.datastax.com/en/cql/3.1/cql/cql_reference/timestamp_type_r.html

Values for the timestamp type are encoded as 64-bit signed integers representing a number of milliseconds since the standard base time known as the epoch

Answer 4

我认为 "microseconds"（例如 03.234567）是指 "milliseconds"（例如 (03.234).

这里的问题是一个 cqlsh 错误，在处理时间戳时无法支持小数秒。

因此，虽然您的毫秒值保留在实际的持久层 (cassandra) 中，但 shell (cqlsh) 无法显示它们。

即使您要将 .cqlshrc 中的 time_format 更改为使用 %f 指令（例如 %Y-%m-%d %H:%M:%S.%f%z）显示小数秒，也是如此。在此配置中，cqlsh 将为我们的 3.234 值呈现 3.000000，因为问题在于 cqlsh 如何在不加载部分秒的情况下加载日期时间对象。

综上所述，此问题已在 CASSANDRA-10428, and released in Cassandra 3.4 中修复。

Answer 5

一些相关代码：

cqlsh> CREATE KEYSPACE udf
  WITH replication = {'class': 'SimpleStrategy', 'replication_factor' : 3};

cqlsh> USE udf;

cqlsh:udf> CREATE OR REPLACE FUNCTION udf.timeuuid_as_us ( t timeuuid ) 
RETURNS NULL ON NULL INPUT
RETURNS bigint LANGUAGE JAVA AS '
  long msb = t.getMostSignificantBits();
  return
    ( ((msb >> 32) & 0x00000000FFFFFFFFL)
    | ((msb & 0x00000000FFFF0000L) << 16)
    | ((msb & 0x0000000000000FFFL) << 48)
    ) / 10
    - 12219292800000000L;
';

cqlsh:udf> SELECT
  toUnixTimestamp(now())    AS now_ms
, udf.timeuuid_as_us(now()) AS now_us
FROM system.local;

 now_ms        | now_us
---------------+------------------
 1525995892841 | 1525995892841000

Cassandra cqlsh - 如何为时间戳列显示 microseconds/milliseconds？

Cassandra cqlsh - how to show microseconds/milliseconds for timestamp columns?

cassandra

timestamp

cql

cqlsh