使用 Dataflow 的 DatastoreIO 查询命名空间

Question

使用 Dataflow 的 DatastoreIO 时是否可以查询特定命名空间中的实体？

Answer 1

截至今天，不幸的是不支持 - 由于用于并行读取查询结果的 Datastore QuerySplitter API 的限制，DatastoreIO 不支持从命名空间中的实体读取。我们正在内部跟踪该问题，您的反馈对于确定问题的优先级很有价值。

如果您的管道从 Datastore 读取的实体数量足够少（或其余处理足够繁重），那么顺序读取它们（但并行处理）就可以了，您可以尝试

您也可以尝试 exporting your data to BigQuery 并在那里处理它，使用 BigQuery 的查询功能或 Dataflow 的 BigQueryIO 连接器 - 它们没有并行性限制。