是否可以使用 Terraform 实施用于云存储传输的 BigQuery 数据传输服务？

Question

这更多是关于可能性的问题，因为 GCP 上没有关于此的文档。我正在使用 BigQuery DTS 将我的 CSV 从 GCS 存储桶移动到 BQ Table。我已经手动尝试过它并且它有效但我需要它背后的一些自动化并且想要使用 Terraform 来实现它。我已经检查过这个 link 但它并没有帮助： https://registry.terraform.io/providers/hashicorp/google/latest/docs/resources/bigquery_data_transfer_config

如有任何帮助，我们将不胜感激。谢谢！

Answer 1

我认为问题在于文档没有列出参数。这是一个例子。与 API.

比较

https://cloud.google.com/bigquery-transfer/docs/cloud-storage-transfer#bq

resource "google_bigquery_data_transfer_config" "sample" {
  display_name           = "sample"
  location               = "asia-northeast1"
  data_source_id         = "google_cloud_storage"
  schedule               = "every day 10:00"
  destination_dataset_id = "target_dataset"
  params = {
    data_path_template              = "gs://target_bucket/*"
    destination_table_name_template = "target_table"
    file_format                      = "CSV"
    write_disposition               = "MIRROR"
    max_bad_records                 = 0
    ignore_unknown_values           = "false"
    field_delimiter                  = ","
    skip_leading_rows               = "1"
    allow_quoted_newlines           = "false"
    allow_jagged_rows               = "false"
    delete_source_files              = "false"
  }
}

是否可以使用 Terraform 实施用于云存储传输的 BigQuery 数据传输服务？

Is BigQuery Data Transfer Service for Cloud Storage Transfer possible to implement using Terraform?

google-bigquery

google-cloud-platform

terraform

gcs