为数据流管道作业创建 gcloud 命令
Creating a gcloud command for Dataflow Pipeline job
我们最近在 Google 云控制台中创建了数据流作业和管道。
出于记录目的,我想记录作业和管道的 gcloud
等效命令。
我设法确定了数据流作业的 gcloud
等效命令,但我无法弄清楚如何为数据流管道创建 gcloud
等效命令。
示例数据流作业 Gcloud 命令:
gcloud dataflow jobs run sample_dataflow_job --gcs-location gs://dataflow-templates-us-east1/latest/Jdbc_to_BigQuery --region us-east1 --num-workers 2 --staging-location gs://dataflow_single_region_us/writingdirectory --subnetwork https://www.googleapis.com/compute/v1/projects/sample-project/regions/us-east1/subnetworks/project_network --disable-public-ips --parameters connectionURL=jdbc:mysql://psql.gcp.sample.net:6033/sample,driverClassName=com.mysql.cj.jdbc.Driver,query=select * from datab,outputTable=bigquerytable:sample.sample_DataFlow_1,driverJars=gs://dataflow_single_region_us/jdbc_driver,bigQueryLoadingTemporaryDirectory=gs://dataflow_single_region_us/bigqueryloading,username=johnsmith,password=Password1
关于如何获取 Dataflow Pipeline 解决方案的 gcloud
命令的任何想法?
我仔细研究了 cloud sdk 文档,发现该功能是几天前发布的,请查看 Google Cloud CLI - Release Notes about cloud datapipelines
. Still, it's in beta. You can check gcloud beta datapipelines 页面了解更多详细信息。
由于此功能仍在 beta
中,因此可能支持有限。不建议在生产环境中使用它,目前仅用于测试。目前,我认为我们将不得不等到它完全发布。
我们最近在 Google 云控制台中创建了数据流作业和管道。
出于记录目的,我想记录作业和管道的 gcloud
等效命令。
我设法确定了数据流作业的 gcloud
等效命令,但我无法弄清楚如何为数据流管道创建 gcloud
等效命令。
示例数据流作业 Gcloud 命令:
gcloud dataflow jobs run sample_dataflow_job --gcs-location gs://dataflow-templates-us-east1/latest/Jdbc_to_BigQuery --region us-east1 --num-workers 2 --staging-location gs://dataflow_single_region_us/writingdirectory --subnetwork https://www.googleapis.com/compute/v1/projects/sample-project/regions/us-east1/subnetworks/project_network --disable-public-ips --parameters connectionURL=jdbc:mysql://psql.gcp.sample.net:6033/sample,driverClassName=com.mysql.cj.jdbc.Driver,query=select * from datab,outputTable=bigquerytable:sample.sample_DataFlow_1,driverJars=gs://dataflow_single_region_us/jdbc_driver,bigQueryLoadingTemporaryDirectory=gs://dataflow_single_region_us/bigqueryloading,username=johnsmith,password=Password1
关于如何获取 Dataflow Pipeline 解决方案的 gcloud
命令的任何想法?
我仔细研究了 cloud sdk 文档,发现该功能是几天前发布的,请查看 Google Cloud CLI - Release Notes about cloud datapipelines
. Still, it's in beta. You can check gcloud beta datapipelines 页面了解更多详细信息。
由于此功能仍在 beta
中,因此可能支持有限。不建议在生产环境中使用它,目前仅用于测试。目前,我认为我们将不得不等到它完全发布。