在大文件中搜索特殊字符
search large files for special characters
我们执行的数据验证步骤之一与输出文件中的 'special characters' 相关。这些是文本文件,管道分隔。今天,我们在 UltraEdit 中打开文件,然后执行 Ctrl+F。这些输出文件的大小不一,最大的超过 54GB。寻找一种更有效(也称为自动化)的方法来完成此步骤。有什么建议吗?
使用java
对于 15GB 的文件,它需要 30 秒。
long found = Files.lines(Paths.get("dummy.txt"))
.filter(s -> s.contains("test"))
.count();
System.out.println(count);
我们执行的数据验证步骤之一与输出文件中的 'special characters' 相关。这些是文本文件,管道分隔。今天,我们在 UltraEdit 中打开文件,然后执行 Ctrl+F。这些输出文件的大小不一,最大的超过 54GB。寻找一种更有效(也称为自动化)的方法来完成此步骤。有什么建议吗?
使用java 对于 15GB 的文件,它需要 30 秒。
long found = Files.lines(Paths.get("dummy.txt"))
.filter(s -> s.contains("test"))
.count();
System.out.println(count);