CapnProto 最大文件大小
CapnProto maximum filesize
目前我们正在使用 ProtocolBuffers 在 python 和 C++ 之间交换数据。但是，我们 运行 进入协议缓冲区的最大文件大小限制，并且正在考虑将所有内容切换到 Cap'n Proto。但是，由于它与协议缓冲区有些相关，我想知道 Cap'n Proto 是否也有最大文件大小的限制？
Cap'n Proto 的最大文件大小约为 2^64 字节，或 16 exbibytes -- "should be enough for anyone"。 :)
Cap'n Proto 实际上是一种非常适合超大数据文件的格式，因为它支持随机访问和延迟加载。当读取一个巨大的 Cap'n Proto 文件时，我建议使用 mmap() 将文件映射到内存中，然后将字节直接传递给 Cap'n Proto 实现（例如 C++ 中的 capnp::FlatArrayMessageReader）。这样，操作系统只会将您实际使用的文件页面带入内存。 （相比之下，使用 Protocol Buffers，有必要先将整个文件解析为内存中的数据结构，然后才能访问其中的任何一个。）
请注意，Cap'n Proto 结构中的单个 List 值限制为 2^29-1 个元素。 Text 和 Data（字符串和字节 blob）是特殊类型的列表，因此这意味着任何单个连续文本或字节 blob 都限制在 512MB 以内。但是，您可以有多个这样的 blob，因此可以将更大的数据拆分成多个部分，将其存储到一个文件中。
另请注意，大多数 Cap'n Proto 实现默认情况下会在读取 Cap'n Proto 结构时强加 "traversal limit" 以抵御包含指针循环的恶意数据。通常这默认为 64MiB。对于更大的数据，您需要覆盖限制——在 C++ 中，您需要将自定义 ReaderOptions 传递给 MessageReader 构造函数。
目前我们正在使用 ProtocolBuffers 在 python 和 C++ 之间交换数据。但是，我们 运行 进入协议缓冲区的最大文件大小限制，并且正在考虑将所有内容切换到 Cap'n Proto。但是，由于它与协议缓冲区有些相关，我想知道 Cap'n Proto 是否也有最大文件大小的限制？
Cap'n Proto 的最大文件大小约为 2^64 字节，或 16 exbibytes -- "should be enough for anyone"。 :)
Cap'n Proto 实际上是一种非常适合超大数据文件的格式，因为它支持随机访问和延迟加载。当读取一个巨大的 Cap'n Proto 文件时，我建议使用 mmap() 将文件映射到内存中，然后将字节直接传递给 Cap'n Proto 实现（例如 C++ 中的 capnp::FlatArrayMessageReader）。这样，操作系统只会将您实际使用的文件页面带入内存。 （相比之下，使用 Protocol Buffers，有必要先将整个文件解析为内存中的数据结构，然后才能访问其中的任何一个。）
请注意，Cap'n Proto 结构中的单个 List 值限制为 2^29-1 个元素。 Text 和 Data（字符串和字节 blob）是特殊类型的列表，因此这意味着任何单个连续文本或字节 blob 都限制在 512MB 以内。但是，您可以有多个这样的 blob，因此可以将更大的数据拆分成多个部分，将其存储到一个文件中。
另请注意，大多数 Cap'n Proto 实现默认情况下会在读取 Cap'n Proto 结构时强加 "traversal limit" 以抵御包含指针循环的恶意数据。通常这默认为 64MiB。对于更大的数据，您需要覆盖限制——在 C++ 中，您需要将自定义 ReaderOptions 传递给 MessageReader 构造函数。