按列值查询 Bigtable
Querying Bigtable by column values
是否有任何编程方式可以在不使用 rowkey 的情况下直接查询列值来查询 Bigtable?
我假设我们可以将其作为 BigQuery 上的外部表来执行此操作,并通过 api 通过扫描整个 Bigtable 并应用过滤器。但是有没有更好的办法呢?
Bigtable 是一个基于行的数据存储,而 BigQuery 是一个基于列的数据存储,因此如果没有完整的 table 扫描或使用 federated query。如果您发现自己计划 运行 定期进行大量此类查询,我建议您在 Bigtable 和 BigQuery 之间复制数据,这是一种相当常见的解决方案。您可以将分支添加到当前的摄取流中,也可以编写一个 Dataflow 作业,以定期安排的时间间隔将您的数据从一个移动到另一个。
其他选项是通过将列中的值移动到键来创建另一个 table。您将以这种方式复制您的数据,但您可以快速搜索并进行范围扫描。
是否有任何编程方式可以在不使用 rowkey 的情况下直接查询列值来查询 Bigtable?
我假设我们可以将其作为 BigQuery 上的外部表来执行此操作,并通过 api 通过扫描整个 Bigtable 并应用过滤器。但是有没有更好的办法呢?
Bigtable 是一个基于行的数据存储,而 BigQuery 是一个基于列的数据存储,因此如果没有完整的 table 扫描或使用 federated query。如果您发现自己计划 运行 定期进行大量此类查询,我建议您在 Bigtable 和 BigQuery 之间复制数据,这是一种相当常见的解决方案。您可以将分支添加到当前的摄取流中,也可以编写一个 Dataflow 作业,以定期安排的时间间隔将您的数据从一个移动到另一个。
其他选项是通过将列中的值移动到键来创建另一个 table。您将以这种方式复制您的数据,但您可以快速搜索并进行范围扫描。