如何在不复制的情况下将“Data”对象放入 Swift-NIO？

Question

我是 Swift 的新手，非常 NIO 的新手。

我正在向一个大型项目添加 Swift 代码，该项目需要 up/down 将大量数据 (GB) 加载到 AWS。为此，我导入了严重依赖 NIO 的 GitHub 项目 Soto。

send/receive 数据的大多数方法都是通过 ByteBuffer 结构实现的。我的应用程序已经有要在 Foundation Data 对象中上传的数据。我无法找到将这些 Data 对象放入 NIO 的最佳方法。

在 NIO's ByteBuffer (2.26.0) 的文档中指出

支持的类型：可以是read/writtenfrom/to多种类型的一个ByteBuffer。 ...开箱即用，ByteBuffer 支持例如以下类型（非详尽列表）：

String/StaticString
Swift的各种（无符号）整数类型
基金会数据
[UInt8] 通常是 UInt8

但是，最新的 swift-nil 软件包没有 ByteBuffer 对 Foundation Data 对象的支持。相反，它支持 DispatchData 个对象，而这些对象似乎与 Data 个对象没有互操作性。

我想避免的是复制每个数据块（一次 100 MB），只是为了在 Data 和 DispatchData 类型之间进行转换。

所以...

目前我的想法是

我完全迷路了，我还没有找到一个简单的解决方案
解决方案是创建一个 DispatchData 的子类，由 Data 对象
支持
使用 DispatchData 初始化 ByteBuffer 结构，该 DispatchData 使用指向 Data 对象中原始字节数组的无复制初始化器创建，以及自定义释放器，它只保留 Data 对象，直到 ByteBuffer 和 DispatchData 对象被销毁。

如果有任何想法、经验或建议（尤其是选项 #1），我将不胜感激。

Answer 1

您需要 import NIOFoundationCompat 才能获得任何适用于 Foundation 数据类型的 NIO 方法，例如 Data（或 JSONDecoder/JSONEncoder). NIOFoundationCompat 只是 swift-nio 包的另一个模块，因此您不需要其他依赖项。

但要明确一点，在幕后，总会有副本，但您可能不需要担心它们，副本在当今的 CPU 上速度非常快。如果您绝对想避免复制，则需要立即创建 ByteBuffers。为了帮助您解决这个问题，您可能需要添加要通过网络发送的数据的来源。

Answer 2

如果您担心内存使用并上传大缓冲区，也许您应该使用 AWSPayload.stream。这允许您将小 ByteBuffers 流式传输到 AWS。这是一个以 16k 块

流式传输 Data 到 S3 的示例

func uploadData( _ data: Data) -> EventLoopFuture<S3.PutObjectOutput> {
    var index = 0
    let payload = AWSPayload.stream { eventLoop in
        let maxChunkSize = 16*1024
        let size = min(maxChunkSize, data.count - index)
        // are we done yet
        if size == 0 {
            return eventLoop.makeSucceededFuture(.end)
        } else {
            // create bytebuffer and return
            let byteBuffer = ByteBufferAllocator().buffer(data: data[index..<(index+size)])
            index += size
            return eventLoop.makeSucceededFuture(.byteBuffer(byteBuffer))
        }
    }
    let putRequest = S3.PutObjectRequest(body: payload, bucket: name, key: "tempfile")
    return s3.putObject(putRequest)
}

如何在不复制的情况下将“Data”对象放入 Swift-NIO？

How do I get `Data` objects into Swift-NIO without making copies?

macos

foundation

swift

swift-nio

soto