Firehose - S3 前缀上的 JSON 属性

Question

我正在设置一个 Firehose，它将 JSON 消息传送到存储桶 S3。设置非常简单并且可以正常工作，但我想在 S3 上添加一个前缀，例如 <event>/YYYY/MM/DD/HH.

我正在阅读文档，但我没有找到从我的 json 获取属性值并将其用于前缀的方法。我想使用自定义前缀来拆分我的事件类型。

可以做到吗？

Answer 1

每个传送流都可以配置为只有一个前缀 (https://docs.aws.amazon.com/firehose/latest/dev/basic-deliver.html#s3-object-name):

"S3Configuration": { 
     "BucketARN": "string",
     "BufferingHints": { 
        "IntervalInSeconds": number,
        "SizeInMBs": number
     },
     "CloudWatchLoggingOptions": { 
        "Enabled": boolean,
        "LogGroupName": "string",
        "LogStreamName": "string"
     },
     "CompressionFormat": "string",
     "EncryptionConfiguration": { 
        "KMSEncryptionConfig": { 
           "AWSKMSKeyARN": "string"
        },
        "NoEncryptionConfig": "string"
     },
     "Prefix": "string",
     "RoleARN": "string"
  }

一种可能的解决方法是过滤应用程序代码中的事件并将它们发送到正确的传输流。

Firehose - S3 前缀上的 JSON 属性

Firehose - JSON attribute on S3 prefix

amazon-kinesis

amazon-kinesis-firehose