如果 feather 文件格式仍然相关,或者社区是否倾向于使用其他文件格式来存储大文件?
If the feather file format still relevant or is the community leaning towards other file formats for large file storage?
我正在研究 Python 的文件存储格式选项,偶然发现了 feather。我注意到上一次发布是在 2017 年,我担心它会长期存在。
网络搜索正在撤回似乎在 2017 年左右停止的帖子。
羽化格式仍然适用,支持更多数据类型,尤其是 R 端最近有了很大改进。一个显着的变化是它不再作为单独的包发布,而是作为 arrow
/ https://arrow.apache.org/ 的一部分发布。那里正在积极开发。
社区正在引领的另一种替代格式是 Apache Parquet。 feather 和 Parquet 之间存在一些差异,因此您可以选择一个而不是另一个,例如Feather 按原样写入数据,Parquet 对其进行编码和压缩以获得更小的文件。此外,Parquet 在 Java 世界中也可用,这可能会派上用场。 Feather 和 Parquet 在 arrow
库中的 R 和 Python 中作为 pyarrow
.
的一部分都可用
我正在研究 Python 的文件存储格式选项,偶然发现了 feather。我注意到上一次发布是在 2017 年,我担心它会长期存在。
网络搜索正在撤回似乎在 2017 年左右停止的帖子。
羽化格式仍然适用,支持更多数据类型,尤其是 R 端最近有了很大改进。一个显着的变化是它不再作为单独的包发布,而是作为 arrow
/ https://arrow.apache.org/ 的一部分发布。那里正在积极开发。
社区正在引领的另一种替代格式是 Apache Parquet。 feather 和 Parquet 之间存在一些差异,因此您可以选择一个而不是另一个,例如Feather 按原样写入数据,Parquet 对其进行编码和压缩以获得更小的文件。此外,Parquet 在 Java 世界中也可用,这可能会派上用场。 Feather 和 Parquet 在 arrow
库中的 R 和 Python 中作为 pyarrow
.