在 EMR 上禁用分段上传
Disable multipart upload on EMR
目标是在 Amazon EMR 上禁用分段上传。
guide 表示在创建 EMR 集群时在 编辑软件设置 中输入 classification=core-site,properties=[fs.s3.multipart.uploads.enabled=false]。
我的问题是：
- 我们可以修改 现有 EMR 集群的配置吗？如果可以，怎么做？
- 我们可以通过将
sparkSession.sparkContext.hadoopConfiguration.set("fs.s3.multipart.uploads.enabled","false")放入要在EMR上执行的jar中来实现相同的目标吗？
遗憾的是，您当前无法修改 运行 EMR 集群上的配置，但如果您可以启动一个新集群，则可以使用 AWS EMR 控制台克隆当前集群的配置，然后修改启动前的配置。 （注意：仅克隆配置，不克隆任何可能存储在 HDFS 或集群实例本地磁盘上的数据。）
但是，我相信您在第二个问题中提出的问题会按预期工作。您是否尝试过并发现它不起作用？
目标是在 Amazon EMR 上禁用分段上传。
guide 表示在创建 EMR 集群时在 编辑软件设置 中输入 classification=core-site,properties=[fs.s3.multipart.uploads.enabled=false]。
我的问题是：
- 我们可以修改 现有 EMR 集群的配置吗？如果可以，怎么做？
- 我们可以通过将
sparkSession.sparkContext.hadoopConfiguration.set("fs.s3.multipart.uploads.enabled","false")放入要在EMR上执行的jar中来实现相同的目标吗？
遗憾的是，您当前无法修改 运行 EMR 集群上的配置，但如果您可以启动一个新集群，则可以使用 AWS EMR 控制台克隆当前集群的配置，然后修改启动前的配置。 （注意：仅克隆配置，不克隆任何可能存储在 HDFS 或集群实例本地磁盘上的数据。）
但是，我相信您在第二个问题中提出的问题会按预期工作。您是否尝试过并发现它不起作用？