如何 Terraform Lake formation 受控表

Question

只是想获得 Terraform 问题的答案。我对在 Lake Formation 中使用受控表并使用 Terraform 分配资源感兴趣。目前有可能对这些进行改造吗？文档看起来很少。这是当前用于粘合表的 documentation。

它没有在任何地方提到受控表。

Answer 1

好的，我找到了答案。任何走这条路的人都要小心。虽然这是可能的，但我认为 Terraform 不一定是使用 Lakeformation 的最佳解决方案。它是一个 non-standard api，因此工作流程有点慢。例如，您似乎无法在一个 Terraform 应用程序中创建两个受管辖的 table，因为每个 table 都需要有自己的事务 ID。

resource "aws_glue_catalog_table" "etl_glue_catalog_extract_table" {
  count = var.extract_format == "csv" ? 1 : 0
  name          = "${var.env}_${var.etl_name}_extract"
  database_name = aws_glue_catalog_database.etl_glue_catalog_database.name

  table_type = "GOVERNED"

  storage_descriptor {
    input_format  = "org.apache.hadoop.mapred.TextInputFormat"
    location      = "s3://<bucket_name>/datasets/extract/${var.etl_name}/csv/"
    output_format = "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat"
    ser_de_info {
      name                  = "${var.env}_${var.etl_name}_extract"
      parameters            = {
        "serialization.format" = "1"
      }
      serialization_library = "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe"
    }
  }
}

需要的主要部分是要治理的 table_type。您还需要设置您的提供商，使其具有数据湖管理员权限。请参阅 Terraform Guide 以获得帮助。

祝你好运。

如何 Terraform Lake formation 受控表

How to Terraform Lake formation Governed Tables

amazon-web-services

terraform

aws-lake-formation