BIgQuery 的用例作为网站思想的数据库后端
Usecase for BIgQuery as a database backend for website thoughts
成员,
目前我们将销售数据同步到 BigQuery,它使我们能够快速、详细、几乎实时地报告各种统计数据,否则我们将无法获得这些报告。我们希望拥有一个能够使用这些报告并将这些信息呈现给网站用户的网站。
一些规格:
- 用户正在使用数据作为 'readonly'
- 我们要进行分析 'on request',因此只要用户打开页面,我们就会查询 BigQuery,用户会根据查询看到他们的统计信息
- 外部来源的统计数据可能会发生变化,但结果通常是相同的,我认为 BigQuery 会缓存查询
- 平均查询处理大约 100Mb 的数据,整个后端响应需要 >2 秒(因此用户请求、查询、return 结果集)所以性能是我们想要的
我怀疑的原因:
- 不建议使用 BigQuery
- 可以吗运行'out of hand'
- 数据集会越来越大,但无论如何我们都需要继续使用所有历史数据
我可以选择将聚合数据导入另一个数据库以进行主要调用,但这不会给我带来 'realtime' 体验。
我很想听听你的想法。
根据您的要求,您可以考虑将 Bigquery 作为一个选项,因为 Bigquery 是完全托管的并且支持对 petabyte-scale 数据的分析,它将能够处理大量数据。 Bigquery 专为执行 OLAP 事务而设计,因此可以对请求执行分析。 Bigquery 使用缓存的查询结果,您可以通过它缓存查询并快速获取结果。
如果您的数据集非常大且不断增长,那么您可以根据需要创建partitioned tables to store and manage your data and easily query the tables. Since your data can go out of hand, Bigquery being a fully managed service will automatically handle that load. Historical data can be stored and accessed but for that you can set the expiration time of the table and also check the optimized storage。
成员,
目前我们将销售数据同步到 BigQuery,它使我们能够快速、详细、几乎实时地报告各种统计数据,否则我们将无法获得这些报告。我们希望拥有一个能够使用这些报告并将这些信息呈现给网站用户的网站。 一些规格:
- 用户正在使用数据作为 'readonly'
- 我们要进行分析 'on request',因此只要用户打开页面,我们就会查询 BigQuery,用户会根据查询看到他们的统计信息
- 外部来源的统计数据可能会发生变化,但结果通常是相同的,我认为 BigQuery 会缓存查询
- 平均查询处理大约 100Mb 的数据,整个后端响应需要 >2 秒(因此用户请求、查询、return 结果集)所以性能是我们想要的
我怀疑的原因:
- 不建议使用 BigQuery
- 可以吗运行'out of hand'
- 数据集会越来越大,但无论如何我们都需要继续使用所有历史数据
我可以选择将聚合数据导入另一个数据库以进行主要调用,但这不会给我带来 'realtime' 体验。
我很想听听你的想法。
根据您的要求,您可以考虑将 Bigquery 作为一个选项,因为 Bigquery 是完全托管的并且支持对 petabyte-scale 数据的分析,它将能够处理大量数据。 Bigquery 专为执行 OLAP 事务而设计,因此可以对请求执行分析。 Bigquery 使用缓存的查询结果,您可以通过它缓存查询并快速获取结果。
如果您的数据集非常大且不断增长,那么您可以根据需要创建partitioned tables to store and manage your data and easily query the tables. Since your data can go out of hand, Bigquery being a fully managed service will automatically handle that load. Historical data can be stored and accessed but for that you can set the expiration time of the table and also check the optimized storage。