使用 Amazon Athena 和 Open JSONx Serde 复制密钥

Question

由于错误，我有以下数据：

{
  "eventType": "something",
  "details": {
    "userName": "NotSet",
    "username": "test@email.com"
  },
  "createdAt": 3
}

创建 table 作品：

CREATE EXTERNAL TABLE tbl (
         eventType string,
         `createdAt` string,
         details string 
) 
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
 LOCATION 's3://xx/yy'

然而，当我查询（尝试了字符串、结构、映射的详细信息，始终相同）时，我得到了重复键错误：

HIVE_CURSOR_ERROR: Row is not a valid JSON Object - JSONException: Duplicate key "username"

如果将它们用作行列而不是映射键甚至字符串，它们是重复的，为什么会失败？ org.apache.hive.hcatalog.data.JsonSerDe 可以跳过，但我不喜欢它，因为 %99.5 数据是这样的。 org.apache.hive.hcatalog.data.JsonSerDe 总是失败。

Answer 1

Presto 不支持区分大小写的列名称（它们总是被转换为小写），因此不可能存在仅大小写不同的多个列。

Answer 2

现在可以设置一个参数来满足仅大小写不同的键。名称是 case.insensitive，应设置为 FALSE

示例：

ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES ("case.insensitive" = "FALSE")

https://docs.aws.amazon.com/athena/latest/ug/json-serde.html#openx-json-serde

使用 Amazon Athena 和 Open JSONx Serde 复制密钥

Duplicate keys with Amazon Athena and Open JSONx Serde

hive

amazon-athena

presto