使用 lambda 使用可笑的内存量将文件从 URI 直接流式传输到 S3

Question

我能够将文件直接从 URI 流式传输到 S3，而无需使用 AWS Lambda (node.js) 使用 this guys sample code. I modified it a bit so I could create a buffer from a request object body. This is my code.

将其下载到磁盘上

除了一件非常重要的事情外，它的效果非常好！这些文件最大为 350 MB，但每次 lambda 函数 运行，它占用的内存高达 1.5 GB，甚至更多！函数调用的最大允许内存为 1.536 GB。通常使用的数量在 0.8 GB 到 1.5 GB 之间（这是相当随机的）。

我认为某处存在内存泄漏，但我不知道是哪里！

有什么想法吗？

Answer 1

var buffer = new Buffer(body); 似乎正在内存中复制整个响应主体...将您需要的内存量加倍。

request appears to provide (or be configurable to provide) body as a Buffer，因此您应该能够直接使用 body，而不是通过创建第二个缓冲区在内存中复制它。