统计 Feather 文件中的行数、grep、头和尾

Question

设置： 我正在考虑从用 csv 写入大型 (~20GB) 数据文件到 feather 格式，因为我有足够的存储空间 space 和额外的速度更重要。我喜欢 csv 文件的一件事是，在命令行中，我可以快速执行

wc -l filename

获取行数，即使对于大型数据文件也是如此。此外，我可以使用

快速搜索一个简单的字符串

grep search_string filename

head 和 tail 命令有时也非常有用。这些是直接的并且适用于 csv 文件，但不适用于 feather。如果我在羽毛锉上尝试它们中的任何一个，我得不到有意义或有用的结果。

虽然我当然可以将羽毛文件读入 Python 或 R，然后对其进行分析，但我宁愿省去写出路径和导入必要库的麻烦.

我的问题：是否存在跨平台（至少Mac和Linux）羽毛文件reader我可以用于快速读入和查看具有与行数、grep、头和尾相对应的特征的羽毛数据（这将是表格格式）？或者是否有我可以安装的简单 CLI 实用程序，使我能够执行相当于行数、grep、head 和 tail 的操作？

我看过，但相对于我的问题来说还很不完整。

Answer 1

使用 feather 个文件，您必须使用 Python 或 R 个程序。

要使用 csv，您可以使用 Linxu/Unix 用户可用的任何常用文本操作实用程序。

reader less

搜索grep

转化者 awk sed

提取器split

编辑vim

上述每个工具都需要一些学习和实践。

如果您有编程技能，请创建一个程序来操作您的 feather 文件。

Count Lines, grep, head, and tail inside Feather Files