BigQuery 数据存储成本
Big query data storage cost
如果数据存储在 Google 的 BigQuery 中,我可以在 calculator 中看到每月收费多少。假设我每个月保存 1 TB 的数据,如果我将数据保留 2 年,那么将有 24 TB 的存储数据。这是否意味着我要为价值 24TB 的存储付费?我猜是这样 - 但计算器并没有说得很清楚。有人可以从 Google 的 BigQuery 团队确认这一点吗?
这是题外话,但无论如何:
您为存储的所有内容付费,因此如果您每月存储 1 TB,那么您最终将在 2 年内支付 24 TB。
您可以(也许应该)在创建 table 时使用“expiration time”,这样您的 table 会在足够的时间后自动清除。
您还可以在 App Engine 上运行一个 cron 作业来运行您的 TB 数据和 "compresses it"(我想一个月后,您不需要每一行数据,而是需要统计数据它,您可以在删除带有数据的 table 之前创建)。
还可以考虑备份您的数据,压缩它们,然后将它们存储在 Google 云存储中,并根据需要恢复它们(实际上,您需要支付 TB/months。所以如果您加载 24一天的 TB,您甚至不需要支付整个 TB 月的费用)。请注意,存储在 GCS 中需要付费,因此您必须研究完整的用法以确保这是值得的。
如果数据存储在 Google 的 BigQuery 中,我可以在 calculator 中看到每月收费多少。假设我每个月保存 1 TB 的数据,如果我将数据保留 2 年,那么将有 24 TB 的存储数据。这是否意味着我要为价值 24TB 的存储付费?我猜是这样 - 但计算器并没有说得很清楚。有人可以从 Google 的 BigQuery 团队确认这一点吗?
这是题外话,但无论如何:
您为存储的所有内容付费,因此如果您每月存储 1 TB,那么您最终将在 2 年内支付 24 TB。
您可以(也许应该)在创建 table 时使用“expiration time”,这样您的 table 会在足够的时间后自动清除。
您还可以在 App Engine 上运行一个 cron 作业来运行您的 TB 数据和 "compresses it"(我想一个月后,您不需要每一行数据,而是需要统计数据它,您可以在删除带有数据的 table 之前创建)。
还可以考虑备份您的数据,压缩它们,然后将它们存储在 Google 云存储中,并根据需要恢复它们(实际上,您需要支付 TB/months。所以如果您加载 24一天的 TB,您甚至不需要支付整个 TB 月的费用)。请注意,存储在 GCS 中需要付费,因此您必须研究完整的用法以确保这是值得的。