仪表板后端的 BigQuery vs Cloud SQL

BigQuery vs Cloud SQL for dashboards backend

我对 BQ 与 Cloud SQL 用例有点困惑。我在 BQ 中有几 Gb 的行数据,需要在该数据上构建 Web 仪表板(SQL 在多个表上使用 JOIN)。

直接从 BQ 查询数据是否有很大的缺点(例如延迟或并发),我应该将数据移动到云 SQL(pSQL) 并查询吗?

数据不是实时的。我预计最多只有几百个并发请求。

我不希望这方面的成本很高,因此查询速度和可靠性是主要目标。

谢谢!

BigQuery 非常适合快速存储和查询大型数据集。

Google 另一方面,云 SQL 主要基于关系数据库管理系统 (RDBMS) 概念。它提供对 MySQL 和 PostgreSQL.

的支持

然而,Big Query 最适合分析,但也可以处理交易数据。 BigQuery 非常快,肯定比 Querying in CloudSQL 快,因为 BigQuery 是一个数据仓库,能够立即查询大得离谱的数据集并获得 return 结果。当你必须处理非常大的数据集时,BigQuery 将是更便宜的数据库。 Cloud SQL MySQL 或 PostgreSQL 只能处理 up to 30,720 GB depending on the machine type for MySQL or depending on whether the instance has dedicated or shared vCPUs for PostgreSQL while BigQuery doesn’t have this kind of storage limitation. Please also refer to other quotas and limitation of BigQuery.

话虽如此,如果您没有正确构建查询,BigQuery 的费用可能会很快增加,因为它会过于频繁地遍历太多数据。

Cloud SQL 和 BigQuery 的定价不同,请参阅 pricing page of Cloud SQL and BigQuery 了解更多详情。

我看到 this link 将 BigQuery 的一些功能与 CloudSQL 进行了比较。我认为文章中分享的详细信息可能会有所帮助。

一般来说,Cloud SQL is a relational database 更适用于交易目的,而另一方面,BigQuery 是分析数据仓库,适用于分析、数据可视化、商业智能 and/or 机器学习等。因此,如果您的目的是为了交易目的存储数据,那么云 SQL 将是一个选择,但是,如果您为了分析目的存储数据,那么 BigQuery 是最佳选择。

The data isn't realtime. I expect at most few hundred concurrent requests.

值得注意的是BQ quota limits, in this case the number of concurrent queries and number of API requests。 如果有几百个并发请求,您可能会达到极限。