设计建议:将 SES 电子邮件保存在单独的 S3 存储桶中
Design Suggestion: Saving SES Emails in individual S3 Buckets
我正在使用 Amazon SES 并将电子邮件存储到 S3 存储桶,从 SNS 通知中读取。我可以创建单个存储桶并将我的所有电子邮件存储在该单个存储桶中,或者为每个新电子邮件帐户创建单独的存储桶。我希望每个电子邮件帐户中都有大量电子邮件。
Which of the above two email:s3bucket design is recommended and why?
1) 1-email-account -> 1 s3-bucket
2) all-email-accounts -> 1 s3-bucket
根据 AWS 文档:
By default, you can create up to 100 buckets in each of your AWS accounts. If you need additional buckets, you can increase your bucket limit by submitting a service limit increase. For information about how to increase your bucket limit, go to AWS Service Limits in the AWS General Reference.
如果您的电子邮件帐户少于 100 个,则每个帐户可以使用 1 个存储桶。
这是我的比较:
表现:每个账户赢 1 个桶。
使用多个存储桶而不是单个存储桶不会提高性能。 但是如果每个帐户使用 1 个存储桶,构建 S3 对象密钥会更容易。如果您想最大化 read/write 吞吐量 from/to S3.
,选择正确的 S3 对象密钥模式至关重要
更多信息:http://docs.aws.amazon.com/AmazonS3/latest/dev/request-rate-perf-considerations.html
安全:并列。
使用多个存储桶,您可以为每个存储桶创建 IAM 策略,而不是使它们 "per folder"(例如 "arn:aws:s3:::email1-at-foobar.com/" 与 "arn:aws:s3:::emails/email1/")。没有区别。
灵活性:所有电子邮件获胜 1 个桶。
如果您想使用 EMR 或 Athena analyze/query 将电子邮件存储到 S3 中,拥有一个存储桶可以让您的生活更轻松。
我正在使用 Amazon SES 并将电子邮件存储到 S3 存储桶,从 SNS 通知中读取。我可以创建单个存储桶并将我的所有电子邮件存储在该单个存储桶中,或者为每个新电子邮件帐户创建单独的存储桶。我希望每个电子邮件帐户中都有大量电子邮件。
Which of the above two email:s3bucket design is recommended and why?
1) 1-email-account -> 1 s3-bucket
2) all-email-accounts -> 1 s3-bucket
根据 AWS 文档:
By default, you can create up to 100 buckets in each of your AWS accounts. If you need additional buckets, you can increase your bucket limit by submitting a service limit increase. For information about how to increase your bucket limit, go to AWS Service Limits in the AWS General Reference.
如果您的电子邮件帐户少于 100 个,则每个帐户可以使用 1 个存储桶。
这是我的比较:
表现:每个账户赢 1 个桶。
使用多个存储桶而不是单个存储桶不会提高性能。 但是如果每个帐户使用 1 个存储桶,构建 S3 对象密钥会更容易。如果您想最大化 read/write 吞吐量 from/to S3.
,选择正确的 S3 对象密钥模式至关重要更多信息:http://docs.aws.amazon.com/AmazonS3/latest/dev/request-rate-perf-considerations.html
安全:并列。
使用多个存储桶,您可以为每个存储桶创建 IAM 策略,而不是使它们 "per folder"(例如 "arn:aws:s3:::email1-at-foobar.com/" 与 "arn:aws:s3:::emails/email1/")。没有区别。
灵活性:所有电子邮件获胜 1 个桶。
如果您想使用 EMR 或 Athena analyze/query 将电子邮件存储到 S3 中,拥有一个存储桶可以让您的生活更轻松。