AWS Lambda put_object 函数未将文件发送到目标 s3 存储桶

Question

我正在调用 Lambda 函数将 .csv 文件从电子邮件发送到我在上述函数中指定的目标 s3 存储桶。当传入的 s3 存储桶收到电子邮件时，调用由 Event type: ObjectCreatedByPut 触发。

我从 CloudWatch 日志中看到确实按预期调用了该函数，但从未将任何文件发送到目标 s3 存储桶。

这是显示密钥存在的传入文件夹 mfdat0psudj12qfihankjkiindd17vftd775so01

这是 Lambda 函数；

from __future__ import print_function

import json
import urllib
import boto3
import os

import email
import base64

FILE_MIMETYPE = 'text/csv'

# destination folder
S3_OUTPUT_BUCKETNAME = 's3-bucket/attachments/' 

print('Loading function')

s3 = boto3.client('s3')


def lambda_handler(event, context):

    #source email bucket 
    inBucket = event['Records'][0]['s3']['bucket']['name']
    key = urllib.parse.quote(event['Records'][0]['s3']['object']['key'].encode('utf8'))


    try:
        response = s3.get_object(Bucket=inBucket, Key=key)
        msg = email.message_from_string(response['Body'].read().decode('utf-8'))   

    except Exception as e:
        print(e)
        print('Error retrieving object {} from source bucket {}. Verify existence and ensure bucket is in same region as function.'.format(key, inBucket))
        raise e
    
    #print(msg)
    
    attachment_list = []
    attachment = msg.get_payload()[1]


    try:
        #scan each part of email 
        for message in msg.get_payload():
            
            # Check filename and email MIME type
            if (message.get_filename() != None and message.content_type() == FILE_MIMETYPE):
                attachment_list.append ({'original_msg_key':key, 'attachment_filename':message.get_filename(), 'body': base64.b64decode(msg.get_payload()) })
    except Exception as e:
        print(e)
        print ('Error processing email for CSV attachments')
        raise e
    
    # if multiple attachments send all to bucket 
    for attachment in attachment_list:

        try:
            s3.put_object(Bucket=S3_OUTPUT_BUCKETNAME, Key=attachment['original_msg_key'] +'-'+attachment['attachment_filename'] , Body=attachment['body']) 
        except Exception as e:
            print(e)
            print ('Error sending object {} to destination bucket {}. Verify existence and ensure bucket is in same region as function.'.format(attachment['attachment_filename'], S3_OUTPUT_BUCKETNAME))
            raise e
            
    print(key)
    print(inBucket)
    print(S3_OUTPUT_BUCKETNAME)
    print(message.get_filename())
    print(response)

    return event

这里是显示函数调用成功的日志。

Timestamp
Message
No older events at this moment. 
Retry

2020-10-25T22:05:32.093+00:00   Loading function

2020-10-25T22:05:32.208+00:00   START RequestId: 9d683660-4436-4cff-92c4-01e3ae028a67 Version: $LATEST

2020-10-25T22:05:33.326+00:00   mfdat0psudj12qfihankjkiindd17vftd775so01

2020-10-25T22:05:33.326+00:00   s3-bucket

2020-10-25T22:05:33.326+00:00   s3-bucket/attachments/

2020-10-25T22:05:33.326+00:00   None

2020-10-25T22:05:33.364+00:00   {'ResponseMetadata': {'RequestId': '4DCD1196A2C991B8', 'HostId': 'tKOE8xz3yq1gryGS+7f7u9+fdwU+buK4C/gTTzOZYZheSxXI9a1MxrggIioWttO9mwmCiwG15d0=', 'HTTPStatusCode': 200, 'HTTPHeaders': {'x-amz-id-2': 'tKOE8xz3yq1gryGS+7f7u9+fdwU+buK4C/gTTzOZYZheSxXI9a1MxrggIioWttO9mwmCiwG15d0=', 'x-amz-request-id': '4DCD1196A2C991B8', 'date': 'Sun, 25 Oct 2020 22:05:33 GMT', 'last-modified': 'Sun, 25 Oct 2020 22:05:31 GMT', 'etag': '"b66db710202d45a98daa0a47badf6094"', 'accept-ranges': 'bytes', 'content-type': 'application/octet-stream', 'content-length': '1207346', 'server': 'AmazonS3'}, 'RetryAttempts': 0}, 'AcceptRanges': 'bytes', 'LastModified': datetime.datetime(2020, 10, 25, 22, 5, 31, tzinfo=tzutc()), 'ContentLength': 1207346, 'ETag': '"b66db710202d45a98daa0a47badf6094"', 'ContentType': 'application/octet-stream', 'Metadata': {}, 'Body': <botocore.response.StreamingBody object at 0x7ffba103f490>}

2020-10-25T22:05:33.366+00:00   END RequestId: 9d683660-4436-4cff-92c4-01e3ae028a67

2020-10-25T22:05:33.366+00:00   REPORT RequestId: 9d683660-4436-4cff-92c4-01e3ae028a67 Duration: 1157.42 ms Billed Duration: 1200 ms Memory Size: 128 MB Max Memory Used: 89 MB Init Duration: 413.53 ms
No newer events at this moment. 
Auto retry paused.
 
Resume

然而，当我检查 s3-bucket/attachments 目录时，目录是空的。有趣的是print(message.get_filename()) returns None.

我检查了 Lambda 代码是否有错误，也尝试过使用 s3.upload_file，但这似乎也不起作用。

不知道现在该去哪里。

Answer 1

你的 print(message.get_filename()) 似乎表明文件名是 None 并且你的循环中有一个特定的案例显示 message.get_filename() != None 所以看起来没有有效的附件。

我会围绕负载中的消息添加更多调试，然后仔细检查您对有效文件名、mime 类型等的假设，以及您是否设置了正确的条件。

Answer 2

您正在设置 S3_OUTPUT_BUCKETNAME = 's3-bucket/attachments/' 并将其用作 put_object 调用中 Bucket 的参数。这行不通，因为存储桶名称不能包含斜杠 (/)。

“文件夹”必须是密钥的一部分。事实上，S3 没有任何文件夹，因为它不是文件系统。来自实际文件系统的文件夹被转换为前缀作为对象键的一部分。

尝试按以下方式更改函数：

...
S3_OUTPUT_BUCKETNAME = 's3-bucket'
...
s3.put_object(
    Bucket=S3_OUTPUT_BUCKETNAME, 
    Key='attachments/' + attachment['original_msg_key'] + '-' + attachment['attachment_filename'] , 
    Body=attachment['body']
)
...

话虽如此，我怀疑 attachment_list 结果是空的， put_object() 甚至没有被执行。请在应该将附件添加到列表的 if 语句和迭代 attachment_list 中的项目的 for 循环周围添加一些日志记录。那里可能隐藏了一个错误。

Answer 3

改进了我的错误处理和探索邮件库的方法，我能够确认 message.content_type() 是不正确的，正确的方法实际上是 message.get_content_type()。使用不正确方法的含义是条件 for message in msg.get_payload():... 无法评估和输出任何内容，因此 None 返回 print(message.get_filename())，因此 attachement_list 返回空白列表.

下面的正确陈述供任何希望使用 Lambda 或其他地方复制此功能的人参考。

try:
        #scan each part of email 
        for message in msg.get_payload():
            
            # Check filename and email MIME type
            if  (message.get_content_type() == FILE_MIMETYPE and message.get_filename() != None):
                attachment_list.append ({'original_msg_key':key, 'attachment_filename':message.get_filename(), 'body': base64.b64decode(message.get_payload()) })
    except Exception as e:
        print(e)
        print ('Error processing email for CSV attachments')
        raise e

感谢所有贡献和指导。

AWS Lambda put_object 函数未将文件发送到目标 s3 存储桶

AWS Lambda put_object function not sending file to destination s3 bucket

amazon-s3

boto

amazon-web-services

python-3.x

aws-lambda