BigQuery 在（看似）一个非常简单的查询上非常慢
BigQuery very slow on (seemingly) a very simple query
我们使用 GCP 日志，这些日志通过日志接收器导出到 BigQuery。
我们没有大量的日志，但每条记录似乎都相当大。
运行 使用 BigQuery 进行简单的查询似乎会花费很多时间。我们想知道这是正常的还是我们做错了什么……我们能做些什么来让它更实用一点来分析……
例如查询
SELECT
FORMAT_DATETIME("%Y-%m-%d %H:%M:%S", DATETIME(timestamp, "Australia/Melbourne")) as Melb_time,
jsonPayload.lg.a,
jsonPayload.lg.p
FROM `XXX.webapp_usg_logs.webapp_*`
ORDER BY timestamp DESC
LIMIT 100
需要
Query complete (44.2 sec elapsed, 35.2 MB processed)
谢谢！
尝试将此添加到您的查询中：
WHERE _TABLE_SUFFIX > FORMAT_DATE('%Y%m%d', DATE_SUB(CURRENT_DATE(), INTERVAL 3 DAY))
它将过滤以仅从过去 3 天内获取带有 TABLE_SUFFIX 的 tables - 而不是让 BigQuery 查看可能多年历史中的每个 table。
我们使用 GCP 日志，这些日志通过日志接收器导出到 BigQuery。 我们没有大量的日志，但每条记录似乎都相当大。
运行 使用 BigQuery 进行简单的查询似乎会花费很多时间。我们想知道这是正常的还是我们做错了什么……我们能做些什么来让它更实用一点来分析……
例如查询
SELECT
FORMAT_DATETIME("%Y-%m-%d %H:%M:%S", DATETIME(timestamp, "Australia/Melbourne")) as Melb_time,
jsonPayload.lg.a,
jsonPayload.lg.p
FROM `XXX.webapp_usg_logs.webapp_*`
ORDER BY timestamp DESC
LIMIT 100
需要
Query complete (44.2 sec elapsed, 35.2 MB processed)
谢谢！
尝试将此添加到您的查询中：
WHERE _TABLE_SUFFIX > FORMAT_DATE('%Y%m%d', DATE_SUB(CURRENT_DATE(), INTERVAL 3 DAY))
它将过滤以仅从过去 3 天内获取带有 TABLE_SUFFIX 的 tables - 而不是让 BigQuery 查看可能多年历史中的每个 table。