botocore.response.StreamingBody 给出 JSONDecodeError

Question

我正在尝试加载由 lambda 调用返回的负载，但得到 JSONDecodeError 下面是我的 lambda 代码。

from datetime import datetime
metadata={}
metadata["execution_info"] = {
            "aws_lambda_request_id": "test",
            "aws_lambda_instance_id": "test",
            "started_timestamp": datetime.utcnow().isoformat()
            }
metadata["execution_info"]["completed_timestamp"] = datetime.utcnow().isoformat()
def lambda_handler(event, context):
    return {
    "statusCode": 200,
    "headers": {
        "Content-Type": "application/json"
    },
    "body": json.dumps({
        "body": metadata
    })
}

然后在我尝试加载响应时调用函数，如下所示

response=lambda_mock.invoke(
    FunctionName='test-lambda',
    InvocationType='RequestResponse'
)
response=json.load(response['Payload'])

它抛出

raise JSONDecodeError("Expecting value", s, err.value) from None
E           json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
/usr/local/lib/python3.8/json/decoder.py:355: JSONDecodeError

也试过了-response=json.loads(response['Payload'].read().decode("utf-8"))但仍然是同样的错误。

这里出了什么问题？

更新 1-

print(response['Payload']) 在 0x7f1907af1400>

处给出 根本原因

我想我已经找到问题所在了。看起来模拟 lambda 正在返回错误数据。它返回预期的响应 + lambda 日志（开始 request/end 请求详细信息）。它以某种方式将它们结合起来并将它们作为一个单元返回。我不知道为什么会这样。

print(response['Payload'].read()) 在我的本地和容器中生成以下响应。奇怪的是，相同的代码会产生两个不同的输出。

本地

{'statusCode': 200, 'headers': {'Content-Type': 'application/json'}, 'body': '{"body": {"execution_info": {"aws_lambda_request_id": "test", "aws_lambda_instance_id": "test", "started_timestamp": "some-time", "completed_timestamp": "some-time"}}}'}

容器

b'\x1b[32mSTART RequestId: 14b675fe-bea2-1072-ceb7-53f0a72ac92c Version: 1\x1b[0m\n\x1b[32mEND RequestId: 14b675fe-bea2-1072-ceb7-53f0a72ac92c\x1b[0m\n\x1b[32mREPORT RequestId: 14b675fe-bea2-1072-ceb7-53f0a72ac92c\tInit Duration: 432.19 ms\tDuration: 3.07 ms\tBilled Duration: 4 ms\tMemory Size: 1000 MB\tMax Memory Used: 23 MB\t\x1b[0m\n\n{"statusCode":200,"headers":{"Content-Type":"application/json"},"body":"{\"body\": {\"execution_info\": {\"aws_lambda_request_id\": \"test\", \"aws_lambda_instance_id\": \"test\", \"started_timestamp\": \"some-time\", \"completed_timestamp\": \"some-time\"}}}"}'

呸！ Moto 1.3.14 有这个错误。我本地的 moto 版本降级，现在我遇到同样的错误。

Answer 1

问题与 Moto 版本有关。我在构建管道中使用 1.3.14，在本地使用最新版本。旧版本存在此错误，它 returns 来自模拟 lambda 的错误响应。在我的构建管道中升级 moto 版本后，一切正常。

升级 moto 版本后，您可能会看到 docker not found。要解决此问题，请在 requirements.txt

中包含 moto[all]==2.0.5

有关详细信息，请参阅此线程：moto- docker not found issue

botocore.response.StreamingBody 给出 JSONDecodeError

botocore.response.StreamingBody gives JSONDecodeError

python

json

boto

amazon-web-services

botocore

本地

容器