gcloud beta 数据流缺少参数文档

Question

当我尝试运行以下内容时：

gcloud beta dataflow jobs run $JOB_NAME \
--region $GCP_REGION \
--gcs-location gs://dataflow-templates/latest/PubSub_to_BigQuery \
--network $VPC_NAME \
--subnetwork regions/$GCP_REGION/subnetworks/$VPC_SUBNETWORK \
--staging-location gs://$GCP_PROJECT_ID-assoc-history-dataflow \
--worker-machine-type n1-standard-1 \
--parameters \
"inputTopic=$INPUT_TOPIC,\
outputTableSpec=$OUTPUT_SPEC,\ 
javascriptTextTransformGcsPath=$UDF_LOCATION,\
javascriptTextTransformFunctionName=myFunctionName"

gcloud 给我以下错误：

ERROR: (gcloud.beta.dataflow.jobs.run) INVALID_ARGUMENT: The template parameters are invalid. - '@type': type.googleapis.com/google.dataflow.v1beta3.InvalidTemplateParameters parameterViolations: - description: Unrecognized parameter parameter: |- \ javascriptTextTransformGcsPath

根据当前文档 (https://cloud.google.com/dataflow/docs/guides/templates/provided-utilities)，参数中似乎提供了 javascriptTextTransformGcsPath。我正在使用 beta gcloud sdk 来指定我的 VPC 和子网。是否有关于 JavaScript udf 参数如何更改的文档的 link 或是否有另一种方法来指定它？

Answer 1

这是因为你在参数中使用了引号（"）。你可以查看文档。有例子：

gcloud dataflow jobs run JOB_NAME \
--gcs-location gs://dataflow-templates/latest/Bulk_Decompress_GCS_Files \
--parameters \
inputFilePattern=gs://YOUR_BUCKET_NAME/compressed/*.gz,\
outputDirectory=gs://YOUR_BUCKET_NAME/decompressed,\
outputFailureFile=OUTPUT_FAILURE_FILE_PATH

只需删除它，它就会起作用。

gcloud beta 数据流缺少参数文档

gcloud beta dataflow missing documentation on parameters

dataflow

google-cloud-platform

gcloud

google-cloud-dataflow