来自 iostream 或内存缓冲区的 Apache Arrow table
Apache Arrow table from iostream or memory buffer
我有一些代码可以使用 AWS API 从 AWS S3 检索镶木地板文件。结果是一个 std iostream:
std::basic_iostream< char, std::char_traits<char>>
据此我想创建一个 Apache Arrow Table 而无需将 iostream 保存到本地文件然后加载。但是，我在 API 中看不到任何帮助。 Arrow 只提供从文件加载 parquet 的接口。
已将对直接 S3 支持的初步支持添加到 master。您应该能够生成一个文件，该文件可以使用新的 API 传递给 Parquet 读取。我的理解是这也是建立在官方 S3 客户端之上的，因此您也可以根据您的用例调整代码。
我有一些代码可以使用 AWS API 从 AWS S3 检索镶木地板文件。结果是一个 std iostream:
std::basic_iostream< char, std::char_traits<char>>
据此我想创建一个 Apache Arrow Table 而无需将 iostream 保存到本地文件然后加载。但是，我在 API 中看不到任何帮助。 Arrow 只提供从文件加载 parquet 的接口。
已将对直接 S3 支持的初步支持添加到 master。您应该能够生成一个文件，该文件可以使用新的 API 传递给 Parquet 读取。我的理解是这也是建立在官方 S3 客户端之上的，因此您也可以根据您的用例调整代码。