使用 NiFi 写入启用 MFA 的 AWS S3 Bucket
Use NiFi to write into AWS S3 Bucket with MFA enabled
是否可以在 MFA 处于活动状态时使用 NiFi 处理器 PutS3Object 将数据写入 S3 存储桶?
如果没有,考虑将数据从 hive/HDFS 写入 S3 的替代方案是什么?
从版本 1.8.0 开始,我认为 Apache NiFi *S3Object
处理器(或 AWSCredentialsProviderControllerService
). I recommend opening a feature request ticket on the Jira site 不支持此功能。您可以使用以下方法之一立即完成此操作以下选项:
- 使用
ExecuteStreamCommand
或ExecuteProcess
调用终端命令或shell脚本使用AWS S3 CLI
- 使用
ExecuteScript
到 运行 自定义 Python (/Ruby/Groovy/etc.) 直接使用 AWS S3 SDK 的脚本 (example code)
- 编写一个直接使用 AWS S3 SDK 的自定义处理器
是否可以在 MFA 处于活动状态时使用 NiFi 处理器 PutS3Object 将数据写入 S3 存储桶?
如果没有,考虑将数据从 hive/HDFS 写入 S3 的替代方案是什么?
从版本 1.8.0 开始,我认为 Apache NiFi *S3Object
处理器(或 AWSCredentialsProviderControllerService
). I recommend opening a feature request ticket on the Jira site 不支持此功能。您可以使用以下方法之一立即完成此操作以下选项:
- 使用
ExecuteStreamCommand
或ExecuteProcess
调用终端命令或shell脚本使用AWS S3 CLI - 使用
ExecuteScript
到 运行 自定义 Python (/Ruby/Groovy/etc.) 直接使用 AWS S3 SDK 的脚本 (example code) - 编写一个直接使用 AWS S3 SDK 的自定义处理器