将广泛而深入的 BigQuery 表导入 Google Dataprep

Question

当使用 Dataprep 中的导入功能导入具有多列和数百万行的 BigQuery (BQ) table 时，是否有任何选项可以简化数据集？

您能否在整理数据集之前选择列并参数化 BigQuery 导入？

我唯一的选择是首先在 BQ 中创建视图 - 以简化行数和列数吗？

理想情况下，当我 运行 使用此 table 的任何配方的输出并避免 'select *' 步骤时，我希望最大限度地减少数据流工作流的成本。

如有任何提示，我们将不胜感激。

Answer 1

目前无法在整理数据集之前避免使用列，如果您想减少查询成本和处理时间，使用视图是一个不错的选择。

在创建View的查询中，可以使用一些WHERE条件来尽可能减少数据量。

您还可以升级您的数据流机器类型，这可以减少执行时间并可能降低成本。