将文件从 AWS Kinesis Firehose 传送到特定的 S3 文件夹
Delivering Files from AWS Kinesis Firehose to a Specific S3 Folder
问题背景:
我有一个 AWS Kinesis Firehose 传输流设置。
我还有一个 S3 存储桶设置。
在我的 S3 存储桶中,我有一个文件夹,我们称之为:“folderX/”。
目前,它只是将其发送到标记为“2021/”的预制文件夹,因为默认方案是发送到与当前 date/time 对应的文件夹。
问题:
我希望我的 Firehose 传输流将文件发送到 那个特定文件夹 。我该怎么做?
Backup S3 bucket prefix
在S3 Destination配置中是设置前缀的地方。
来自备份 S3 存储桶前缀的 Documentation:
To use the default prefix for Amazon S3 objects, leave this option
blank. Kinesis Data Firehose automatically uses a prefix in
"YYYY/MM/dd/HH" UTC time format for delivered Amazon S3 objects. You
can add to the start of this prefix
再举几个例子:
要获得 folderX/2021/3/17
我们可以使用 folderX/!{timestamp:YYYY}/!{timestamp:MM}/!{timestamp:dd}/
要获得 folderX/year=2021/month=3/day=17/hour=5/
我们可以使用 folderX/year=!{timestamp:YYYY}/month=!{timestamp:MM}/day=!{timestamp:dd}/hour=!{timestamp:HH}/
问题背景:
我有一个 AWS Kinesis Firehose 传输流设置。
我还有一个 S3 存储桶设置。
在我的 S3 存储桶中,我有一个文件夹,我们称之为:“folderX/”。
目前,它只是将其发送到标记为“2021/”的预制文件夹,因为默认方案是发送到与当前 date/time 对应的文件夹。
问题: 我希望我的 Firehose 传输流将文件发送到 那个特定文件夹 。我该怎么做?
Backup S3 bucket prefix
在S3 Destination配置中是设置前缀的地方。
来自备份 S3 存储桶前缀的 Documentation:
To use the default prefix for Amazon S3 objects, leave this option blank. Kinesis Data Firehose automatically uses a prefix in "YYYY/MM/dd/HH" UTC time format for delivered Amazon S3 objects. You can add to the start of this prefix
再举几个例子:
要获得 folderX/2021/3/17
我们可以使用 folderX/!{timestamp:YYYY}/!{timestamp:MM}/!{timestamp:dd}/
要获得 folderX/year=2021/month=3/day=17/hour=5/
我们可以使用 folderX/year=!{timestamp:YYYY}/month=!{timestamp:MM}/day=!{timestamp:dd}/hour=!{timestamp:HH}/