使用 NiFi 写入启用 MFA 的 AWS S3 Bucket

Use NiFi to write into AWS S3 Bucket with MFA enabled

是否可以在 MFA 处于活动状态时使用 NiFi 处理器 PutS3Object 将数据写入 S3 存储桶?

如果没有,考虑将数据从 hive/HDFS 写入 S3 的替代方案是什么?

从版本 1.8.0 开始,我认为 Apache NiFi *S3Object 处理器(或 AWSCredentialsProviderControllerService). I recommend opening a feature request ticket on the Jira site 不支持此功能。您可以使用以下方法之一立即完成此操作以下选项:

  • 使用ExecuteStreamCommandExecuteProcess调用终端命令或shell脚本使用AWS S3 CLI
  • 使用 ExecuteScript 到 运行 自定义 Python (/Ruby/Groovy/etc.) 直接使用 AWS S3 SDK 的脚本 (example code)
  • 编写一个直接使用 AWS S3 SDK 的自定义处理器