如何在不复制的情况下将“Data”对象放入 Swift-NIO?

How do I get `Data` objects into Swift-NIO without making copies?

我是 Swift 的新手,非常 NIO 的新手。

我正在向一个大型项目添加 Swift 代码,该项目需要 up/down 将大量数据 (GB) 加载到 AWS。为此,我导入了严重依赖 NIO 的 GitHub 项目 Soto

send/receive 数据的大多数方法都是通过 ByteBuffer 结构实现的。我的应用程序已经有要在 Foundation Data 对象中上传的数据。我无法找到将这些 Data 对象放入 NIO 的最佳方法。

NIO's ByteBuffer (2.26.0) 的文档中指出

支持的类型: 可以是read/writtenfrom/to多种类型的一个ByteBuffer。 ...开箱即用,ByteBuffer 支持例如以下类型(非详尽列表):

但是,最新的 swift-nil 软件包没有 ByteBuffer 对 Foundation Data 对象的支持。相反,它支持 DispatchData 个对象,而这些对象似乎与 Data 个对象没有互操作性。

我想避免的是复制每个数据块(一次 100 MB),只是为了在 DataDispatchData 类型之间进行转换。

所以...

目前我的想法是

如果有任何想法、经验或建议(尤其是选项 #1),我将不胜感激。

您需要 import NIOFoundationCompat 才能获得任何适用于 Foundation 数据类型的 NIO 方法,例如 Data(或 JSONDecoder/JSONEncoder). NIOFoundationCompat 只是 swift-nio 包的另一个模块,因此您不需要其他依赖项。

但要明确一点,在幕后,总会有副本,但您可能不需要担心它们,副本在当今的 CPU 上速度非常快。如果您绝对想避免复制,则需要立即创建 ByteBuffers。为了帮助您解决这个问题,您可能需要添加要通过网络发送的数据的来源。

如果您担心内存使用并上传大缓冲区,也许您应该使用 AWSPayload.stream。这允许您将小 ByteBuffers 流式传输到 AWS。这是一个以 16k 块

流式传输 Data 到 S3 的示例
func uploadData( _ data: Data) -> EventLoopFuture<S3.PutObjectOutput> {
    var index = 0
    let payload = AWSPayload.stream { eventLoop in
        let maxChunkSize = 16*1024
        let size = min(maxChunkSize, data.count - index)
        // are we done yet
        if size == 0 {
            return eventLoop.makeSucceededFuture(.end)
        } else {
            // create bytebuffer and return
            let byteBuffer = ByteBufferAllocator().buffer(data: data[index..<(index+size)])
            index += size
            return eventLoop.makeSucceededFuture(.byteBuffer(byteBuffer))
        }
    }
    let putRequest = S3.PutObjectRequest(body: payload, bucket: name, key: "tempfile")
    return s3.putObject(putRequest)
}