在启动时自动更改 AWS EMR 的 hive-site-xml 的好方法是什么

Question

要允许像 Microstrategy 这样的 BI 工具使用 Spark SQL 访问 AWS EMR 集群上的数据，您必须将属性添加到 hive-site.xml 我们正在使用 CloudFormation 模板自动提升 EMR 集群，但还没有找到合适的方法（除了编写一个步骤）来更改此过程中的 xml。你有什么建议吗？

Answer 1

您可以使用配置 API 在启动期间更改设置。您需要的分类是"hive-site"。示例：

{
      "Classification": "hive-site",
      "Properties": {
        "javax.jdo.option.ConnectionURL": "jdbc:mysql:\/\/hostname:3306\/hive?createDatabaseIfNotExist=true",
        "javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
        "javax.jdo.option.ConnectionUserName": "username",
        "javax.jdo.option.ConnectionPassword": "password"
      }
    }

在启动时自动更改 AWS EMR 的 hive-site-xml 的好方法是什么

What is a good way to automatically change the hive-site-xml of AWS EMR at launch time

amazon-web-services

emr

apache-spark