在 Scio Spotify 中使用 ContextAndArgs 创建 scioContext 时作为参数传递的内容

Question

我是 Scio 的新手，正在尝试了解更多信息。我在 Scio 源代码中看到了一些示例并想运行它。但它要求一些我不知道并且未在文档中指定的参数。

 val (sc, args) = ContextAndArgs(cmdlineArgs)

对于这部分代码，我需要传递一些参数，但我不知道具体需要什么以及采用什么格式。另外，如果系统中没有安装 gsutil，如何将 Google Cloud Credential 直接传递给代码？

Answer 1

GCP 凭据是 GcpOptions 的一部分，它扩展了 PipelineOptions Beam 处理命令行选项的方式。因此，在这种情况下，您将传入 --gcpCredentail。 https://beam.apache.org/releases/javadoc/2.7.0/org/apache/beam/sdk/extensions/gcp/options/GcpOptions.html

还有其他方法，例如配置 gcloud SDK 以使用用户的默认凭证，或通过环境变量使用 JSON 秘密文件。 https://github.com/spotify/scio/wiki/FAQ#how-do-i-fix-invalid-default-bigquery-credentials

What to pass as arguments while creating scioContext using ContextAndArgs in Scio Spotify