AWS Athena 使用填充了错误数据的 create table 从 Epoch 到时间戳的转换

Question

我已使用单个镶木地板文件加载 S3 以测试 Athena 查询。

将文件上传到 S3 后，我使用 S3 select 查询来检查数据。

样本：

Status
 Successfully returned 5 records in 460 ms
Bytes returned: 3278 B
{
"test_date":1467936000
}

我使用这个镶木地板文件创建了 table 使用以下查询

CREATE EXTERNAL TABLE `test_table`(
  `test_date` timestamp)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  's3://xxxxxxxxx/'
TBLPROPERTIES (
  'has_encrypted_data'='false')

当我查询table时，它给了我

    test_date
1   1970-01-17 23:45:36.000
2   1970-01-17 23:45:36.000
3   1970-01-17 23:45:36.000
etc.

但是使用 python 转换 parquet 文件中的原始整数，即 1467936000 给了我正确的日期时间。

>datetime.datetime.fromtimestamp(1467936000)
datetime.datetime(2016, 7, 8, 5, 30)

如何让 Athena 将 Epoch 正确解释为时间戳？

Answer 1

显然 Athena 要求 Epoch 格式为 milliseconds。我在 seconds.

在数据文件中乘以 1000 解决了我的问题。

示例：

1467936000000 正确转换为 2016-07-08 00:00:00.000

AWS Athena 使用填充了错误数据的 create table 从 Epoch 到时间戳的转换

AWS Athena's conversion from Epoch to timestamp using create table populated with wrong data

python

amazon-s3

epoch

parquet

amazon-athena