查询 'S3 source' 路径的 Athena 表和输出列
Query Athena tables & output column for 'S3 source' path
目前正在使用 information_schema.tables 列出我目录中的所有 table。
我缺少的是一列,告诉我每个 table(外部)指向哪个 S3 路径。
查看了所有 information_schema table,但看不到此信息。
我通过 'sql' 看到的唯一地方是 'SHOW CREATE TABLE' 命令,它没有在正确的记录集中给出结果。
否则...是否有另一种方法可以密切关注您的所有 table 及其来源?
非常感谢。
所以如上所述,从数据库中找不到这样做的方法。
感兴趣的下面的实际解决方案(以防万一有人找到更好的方法)
来自 CLI:
调用 AWS glue get-tables & 输出 json 到文件
同步文件到 S3
将 multi-line json 转换为 single-line json 并放入新存储桶的 ETL 作业
抓取新桶
现在query/unnest在雅典娜
'convoluted'是一个浮现在脑海中的词!
至少它在我需要的地方得到了我需要的数据
同样,如果有人找到更简单的方法...?
目前正在使用 information_schema.tables 列出我目录中的所有 table。 我缺少的是一列,告诉我每个 table(外部)指向哪个 S3 路径。
查看了所有 information_schema table,但看不到此信息。 我通过 'sql' 看到的唯一地方是 'SHOW CREATE TABLE' 命令,它没有在正确的记录集中给出结果。
否则...是否有另一种方法可以密切关注您的所有 table 及其来源?
非常感谢。
所以如上所述,从数据库中找不到这样做的方法。
感兴趣的下面的实际解决方案(以防万一有人找到更好的方法)
来自 CLI: 调用 AWS glue get-tables & 输出 json 到文件 同步文件到 S3 将 multi-line json 转换为 single-line json 并放入新存储桶的 ETL 作业 抓取新桶 现在query/unnest在雅典娜
'convoluted'是一个浮现在脑海中的词! 至少它在我需要的地方得到了我需要的数据 同样,如果有人找到更简单的方法...?