Cloudera Hadoop Impala - 提取上次刷新日期
Cloudera Hadoop Impala - Extracting last refresh date
有没有办法从 Cloudera Hadoop [=] 中的数据库中获取具有 上次刷新日期 的所有 table 的列表24=]?
我正在尝试编写一个可以执行此操作的自定义 SQL 查询,以便我可以使用它来构建一个仪表板(在 Tableau 中),我们可以在其中跟踪 table 是否刷新或不是。所以我们可以采取相应的行动。我尝试使用连接,但 table 太多了,我相信有更好的方法来做到这一点。 (数据库名Core_research还有500多个tables)
我曾经 运行 一个脚本,该脚本每周日 table 刷新列统计信息。我们不能 运行 所有 table,但我们在时间允许的情况下做了尽可能多的。您可以执行相同的操作,但实际上是在 database/table 中的脚本 运行 时进行记录。这将为您提供所需的功能。
另一个选择是从 Impala 日志中创建一个 table 并以这种方式跟踪事情。 (用一些花哨的正则表达式来跟踪刷新)
有没有办法从 Cloudera Hadoop [=] 中的数据库中获取具有 上次刷新日期 的所有 table 的列表24=]?
我正在尝试编写一个可以执行此操作的自定义 SQL 查询,以便我可以使用它来构建一个仪表板(在 Tableau 中),我们可以在其中跟踪 table 是否刷新或不是。所以我们可以采取相应的行动。我尝试使用连接,但 table 太多了,我相信有更好的方法来做到这一点。 (数据库名Core_research还有500多个tables)
我曾经 运行 一个脚本,该脚本每周日 table 刷新列统计信息。我们不能 运行 所有 table,但我们在时间允许的情况下做了尽可能多的。您可以执行相同的操作,但实际上是在 database/table 中的脚本 运行 时进行记录。这将为您提供所需的功能。
另一个选择是从 Impala 日志中创建一个 table 并以这种方式跟踪事情。 (用一些花哨的正则表达式来跟踪刷新)