如何将现有的 PubSub 订阅与 Google 提供的 PubSub 一起使用到 BigQuery 数据流模板

Question

我正在尝试使用 google 提供的模板 PubSub to BigQuery 设置数据流作业。我看到一个用于指定 Cloud Pub/Sub 输入主题的选项，但我没有看到任何用于在 GCP 控制台 UI 中指定 Pub/Sub 输入订阅的选项。

如果我提供主题，作业会自动创建一个订阅以阅读所提供主题中的消息。这样做的问题是，在数据流作业启动后，作业只会看到发布到主题的消息。之前针对同一主题发布的任何内容都将被忽略。

我的工作中不需要进行任何复杂的转换。所以 google 提供的模板对我来说开箱即用。但是无法指定我自己的订阅令我很困扰。出于这个原因，我不想设置自定义作业管道。有人知道这是否有解决方法吗？

Answer 1

目前不支持。然而，它是一个很好的用例，并且在 Google Cloud Team 的关注范围内。

如果您可以通过 bookman@google.com 给我发电子邮件，我一定会及时通知您有关开发的消息。

感谢反馈，

科林

Answer 2

作为更新，现在有一个单独的 BigQuery PubSub 订阅。

https://cloud.google.com/dataflow/docs/guides/templates/provided-streaming#pubsub-subscription-to-bigquery

gcloud dataflow jobs run $jobname \
  --project=$project \
  --disable-public-ips \
  --gcs-location gs://dataflow-templates-$location/latest/PubSub_Subscription_to_BigQuery \
  --worker-machine-type n1-standard-1 \
  --region $location \
  --staging-location gs://$bucket/pss-to-bq \
  --parameters inputSubscription=projects/$project/subscriptions/$subscription,outputTableSpec=$dataset.$table

如何将现有的 PubSub 订阅与 Google 提供的 PubSub 一起使用到 BigQuery 数据流模板

How to use existing PubSub Subscription with Google-Provided PubSub to BigQuery Dataflow Template

google-cloud-pubsub

google-cloud-dataflow