使用 BigQuery 更好地了解流式插入
Getting A Better Understanding Of Streaming Inserts With BigQuery
我知道有一个与 BigQuery 流相关的 material 变化 API。正如我在 5 月 14 日星期四从 Google 云团队收到的消息：
"In 2013, we launched Google BigQuery streaming API, making it easy to analyze large amounts of data quickly. This product was free until January 1, 2015, when we began charging for streaming data into Google BigQuery, based on the number of rows inserted into a BigQuery table. Since then, we’ve learned more about how customers are using Google BigQuery and effective August 12, 2015, we will stop charging for Google BigQuery streaming by the number of rows inserted and instead charge by the number of bytes inserted. New pricing will be [=35=].01 per 200 MB, with a minimum billing size of 1 KB per row. We've increased the default insert-rate limit from 10,000 rows per second, per table, to 100,000 rows per second, per table. In addition, the row-size limit has increased from 20 KB to 1 MB. These changes will allow customers more flexibility when designing insert strategy, and more accurately reflect the value provided by the streaming insert feature. Additional information on pricing can be found on our pricing page."
基于此，我有几个重要的问题：
- 有没有一种方法可以轻松查看 Cloud Console 中当前流式传输到客户帐户的数据量。另外，我是否应该期望帐单中包含单独的一行 table？在这里问，因为我在别处看过但没有找到答案。我在当前账单 table 中也看不到任何帮助（见下文）。对于目前每周通过 BigQuery 推送大量 TB 数据的用户来说，问题是 material。
我想澄清注释 "minimum billing size of 1 KB per row." 的那一行如果您将每行少于 1KB 的数据传递到 tables，这是否意味着您不是是否收取该行的任何数据费用？
最后，有没有一种快速的方法来计算变更的潜在财务影响，或者关于以编程方式优化流插入调用以最小化成本的最佳方法的任何指导？
在此先感谢您的帮助！
我对规则的解读，我要跟团队确认一下：
- 如果您的每行小于 1KB，这将使价格从每 100,000 行 0.01 美元降低到每 200,000 行 0.01 美元 - 比之前的价格有效降低 50%。
- 如果您的每行刚好为 2KB，您将看不到任何价格变化。
- 如果您的行大于 2KB，您只会看到价格上涨。
更多好消息：系统不再将每行限制为 20KB，现在每行最多可以流式传输 1MB。
我知道有一个与 BigQuery 流相关的 material 变化 API。正如我在 5 月 14 日星期四从 Google 云团队收到的消息：
"In 2013, we launched Google BigQuery streaming API, making it easy to analyze large amounts of data quickly. This product was free until January 1, 2015, when we began charging for streaming data into Google BigQuery, based on the number of rows inserted into a BigQuery table. Since then, we’ve learned more about how customers are using Google BigQuery and effective August 12, 2015, we will stop charging for Google BigQuery streaming by the number of rows inserted and instead charge by the number of bytes inserted. New pricing will be [=35=].01 per 200 MB, with a minimum billing size of 1 KB per row. We've increased the default insert-rate limit from 10,000 rows per second, per table, to 100,000 rows per second, per table. In addition, the row-size limit has increased from 20 KB to 1 MB. These changes will allow customers more flexibility when designing insert strategy, and more accurately reflect the value provided by the streaming insert feature. Additional information on pricing can be found on our pricing page."
基于此，我有几个重要的问题：
- 有没有一种方法可以轻松查看 Cloud Console 中当前流式传输到客户帐户的数据量。另外，我是否应该期望帐单中包含单独的一行 table？在这里问，因为我在别处看过但没有找到答案。我在当前账单 table 中也看不到任何帮助（见下文）。对于目前每周通过 BigQuery 推送大量 TB 数据的用户来说，问题是 material。
我想澄清注释 "minimum billing size of 1 KB per row." 的那一行如果您将每行少于 1KB 的数据传递到 tables，这是否意味着您不是是否收取该行的任何数据费用？
最后，有没有一种快速的方法来计算变更的潜在财务影响，或者关于以编程方式优化流插入调用以最小化成本的最佳方法的任何指导？
在此先感谢您的帮助！
我对规则的解读，我要跟团队确认一下：
- 如果您的每行小于 1KB，这将使价格从每 100,000 行 0.01 美元降低到每 200,000 行 0.01 美元 - 比之前的价格有效降低 50%。
- 如果您的每行刚好为 2KB，您将看不到任何价格变化。
- 如果您的行大于 2KB，您只会看到价格上涨。
更多好消息：系统不再将每行限制为 20KB，现在每行最多可以流式传输 1MB。