使用 Python 生成数据流模板
Generating Dataflow Template Using Python
我有 python 脚本可以在指定的 GCS 路径中创建数据流模板。我已经使用我的 GCP 免费试用版测试了该脚本，它运行良好。
我的问题是在生产环境中使用相同的代码我想生成一个模板但是我不能使用 Cloud-Shell 因为有限制也不能直接 运行 正在使用的 Python 脚本SA 密钥。
我也无法创建 VM 并使用它在 GCS 中生成模板。
考虑到上述限制，是否有生成数据流模板的选项。
使用数据流 flex templates 应该可以避免自动生成模板的需要——相反，您可以创建一个可以任意参数化的模板。
使用 Composer，我触发了在数据流中创建作业的数据流 DAG。还设法生成数据流模板。使用 Dataflow 控制台和模板执行作业
我有 python 脚本可以在指定的 GCS 路径中创建数据流模板。我已经使用我的 GCP 免费试用版测试了该脚本，它运行良好。 我的问题是在生产环境中使用相同的代码我想生成一个模板但是我不能使用 Cloud-Shell 因为有限制也不能直接 运行 正在使用的 Python 脚本SA 密钥。 我也无法创建 VM 并使用它在 GCS 中生成模板。 考虑到上述限制，是否有生成数据流模板的选项。
使用数据流 flex templates 应该可以避免自动生成模板的需要——相反，您可以创建一个可以任意参数化的模板。
使用 Composer，我触发了在数据流中创建作业的数据流 DAG。还设法生成数据流模板。使用 Dataflow 控制台和模板执行作业