从模板启动时，数据流作业不会从 PubSub 使用

Question

我目前的工作是将 pubsub 主题的内容输出到云存储文件夹，如果我直接启动 jar 就可以正常工作。

但是，每当我尝试使用我上传的模板启动作业时，都没有消息通过管道。

它与 the Google provided template 非常相似，只是它接受订阅而不是主题。

这是我的配置：

trait Options extends PipelineOptions with StreamingOptions {
  @Description("The Cloud Pub/Sub subscription to read from")
  @Default.String("projects/project/subscriptions/subscription")
  def getInputSubscription: String
  def setInputSubscription(value: String): Unit

  @Description("The Cloud Storage directory to output files to, ends with /")
  @Default.String("gs://tmp/")
  def getOutputDirectory: String
  def setOutputDirectory(value: String): Unit

  @Description("The Cloud Storage prefix to output files to")
  @Default.String("subscription-")
  def getOutputFilenamePrefix: String
  def setOutputFilenamePrefix(value: String): Unit

  @Description("The shard template which will be part of the filenames")
  @Default.String("-W-P-SSSSS-of-NNNNN")
  def getShardTemplate: String
  def setShardTemplate(value: String): Unit

  @Description("The suffix of the filenames written out")
  @Default.String(".txt")
  def getOutputFilenameSuffix: String
  def setOutputFilenameSuffix(value: String): Unit

  @Description("The window duration in minutes, defaults to 5")
  @Default.Integer(5)
  def getWindowDuration: Int
  def setWindowDuration(value: Int): Unit

  @Description("The compression used (gzip, bz2 or none), bz2 can't be loaded into BigQuery")
  @Default.String("none")
  def getCompression: String
  def setCompression(value: String): Unit

  @Description("The maximum number of output shards produced when writing")
  @Default.Integer(1)
  def getNumShards: Int
  def setNumShards(value: Int): Unit
}

这是我启动模板的方式：

   gcloud dataflow jobs run storage \
     --gcs-location gs://bucket/templates/Storage \
     --parameters runner=DataflowRunner,project=project,streaming=true,inputSubscription=projects/project/subscriptions/sub,outputDirectory=gs://bucket/

下面是我如何在没有模板的情况下启动作业：

./storage \
  --runner=DataFlowRunner \
  --project=project \
  --streaming=true \
  --gcpTempLocation=gs://tmp-bucket/ \
  --inputSubscription=projects/project/subscriptions/sub  \
  --outputDirectory=gs://bucket/

Answer 1

正如@GuillemXercavins 评论所述，参数必须使用the ValueProvider interface as their type。这将允许在运行时设置或使用管道选项，这就是导致问题的原因。

值得指出的是，正如您在评论中所做的那样，ValueProvider 似乎是 unsupported in Scio。

编辑：

Scio example provided by @BenFradet 在下方评论。

从模板启动时，数据流作业不会从 PubSub 使用

Dataflow job doesn't consume from PubSub when launched from template

google-cloud-pubsub

google-cloud-dataflow