BigTable聚合数据

Question

我一直在尝试将 BigTable 与 BigQuery 连接器一起使用。当我尝试从 100 万行测试查询性能时，我得到了 ~ 50 秒的查询速度结果。我的 SQL:

    SELECT
            DATE(geo_table_cell.timestamp) AS day,
            geo_table_cell.value,
            COUNT(*) AS countNumber
        FROM
            `project-dev.project_dev_bt_eu.dev-project`,
            UNNEST(geo.COLUMN) AS geo_table,
            UNNEST(geo_table.cell) AS geo_table_cell
        WHERE
            geo_table.name = 'cc'
            AND rowkey LIKE 'profile%'
        GROUP BY
            geo_table_cell.value,
            DATE(geo_table_cell.timestamp)

我的问题是：

从 BigTable 聚合数据的最佳解决方案是什么？（来自 ElasticSearch 的相同聚合花费不到 ~2 秒）
为什么 BigQuery 使用 BigTable 连接器会变慢？
如果我理解正确，BigTable 不是向仪表板显示数据的好选择（过滤器工作非常慢）；

Answer 1

1.- 如果查询速度是必须的，loading the data 到 BigQuery 而不是设置外部数据源将是最有效的方法。尽管如此，您还是可以采取一些措施来提高 BigQuery, or BigTable 性能。

2.- 此连接器仍处于 Beta 阶段，并且有一些 performance considerations。我们还应该考虑到 BigTable 是一个 noSQL（非关系）数据库，不适用于 SQL 查询。如果您正在探索要在应用程序中使用的数据模型，我建议您考虑 all these options 并选择更适合您需求的模型。

3.- 如果您想使用 SQL 查询数据，我会说这不是一个好的选择。了解 BigTable 的非关系架构，最有效的读取数据的方法是发送 read requests. You can find some code samples about this, in different languages in the official documentation.

BigTable聚合数据

BigTable aggregation data

database

google-bigquery

google-cloud-bigtable