AWS Athena JSON 多维数组结构
AWS Athena JSON Multidimentional Array Structure
JSON 文件的结构如下:
"otherstuff" : "stuff",
"ArrayofArrays" : {
"Array-1" : {
"type" : "sometype",
"is_enabled" : false,
"is_active" : false,
"version" : "version 1.1"
},
"Array-2" : {
"type" : "sometype",
"is_enabled" : false,
"is_active" : false,
"version" : "version 1.2"
}
...
}
查询 运行s 时有以下
CREATE EXTERNAL TABLE IF NOT EXISTS test2.table14 (
`otherstuff` string,
`ArrayofArrays` array<array<struct<version:string>>>
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES (
'serialization.format' = '1' ) LOCATION 's3://bucket/folder/' TBLPROPERTIES ('has_encrypted_data'='false')
然而,当我 运行 基本预览 table 查询时,我收到以下错误。
HIVE_BAD_DATA: Error parsing field value for field #: org.openx.data.jsonserde.json.JSONObject cannot be cast to org.openx.data.jsonserde.json.JSONArray
数组的数组显然有问题。我无法弄清楚结构应该是什么。你知道如何声明这个结构的多维数组吗?
您的 JSON 不包含任何数组元素。因此,您必须使用映射列类型而不是数组来访问此结构。
CREATE EXTERNAL TABLE test14 (
otherstuff string,
ArrayofArrays map<string,struct<
is_enabled:boolean,
is_active:boolean,
type:string,
version:string
>>
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES ('serialization.format' = '1' )
LOCATION 's3://bucket/'
您可以通过以下查询语法访问地图:
select t.ArrayofArrays['array-1'] from test14 t
JSON 文件的结构如下:
"otherstuff" : "stuff",
"ArrayofArrays" : {
"Array-1" : {
"type" : "sometype",
"is_enabled" : false,
"is_active" : false,
"version" : "version 1.1"
},
"Array-2" : {
"type" : "sometype",
"is_enabled" : false,
"is_active" : false,
"version" : "version 1.2"
}
...
}
查询 运行s 时有以下
CREATE EXTERNAL TABLE IF NOT EXISTS test2.table14 (
`otherstuff` string,
`ArrayofArrays` array<array<struct<version:string>>>
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES (
'serialization.format' = '1' ) LOCATION 's3://bucket/folder/' TBLPROPERTIES ('has_encrypted_data'='false')
然而,当我 运行 基本预览 table 查询时,我收到以下错误。
HIVE_BAD_DATA: Error parsing field value for field #: org.openx.data.jsonserde.json.JSONObject cannot be cast to org.openx.data.jsonserde.json.JSONArray
数组的数组显然有问题。我无法弄清楚结构应该是什么。你知道如何声明这个结构的多维数组吗?
您的 JSON 不包含任何数组元素。因此,您必须使用映射列类型而不是数组来访问此结构。
CREATE EXTERNAL TABLE test14 (
otherstuff string,
ArrayofArrays map<string,struct<
is_enabled:boolean,
is_active:boolean,
type:string,
version:string
>>
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES ('serialization.format' = '1' )
LOCATION 's3://bucket/'
您可以通过以下查询语法访问地图:
select t.ArrayofArrays['array-1'] from test14 t