奇怪的管道缓冲
Strange pipe buffering
我有一个满是文件编号的文件(从0开始)
$ cat in.del
0
1
2
....
谁能解释一下这里发生了什么,缓冲发生在管道以外的什么地方?据我了解,head's
fileno(stdin) 都必须直接查看管道的读取端
$ cat in.del | ( head -n1 ; head -n1 )
0
60
下面的代码与上面的代码有何不同?
$ cat in.del | ( head -n10 ; head -n10 )
0
1
...
8
9
60
1861 # O_o
1862
1863
...
1868
1869
这按预期工作并表明 head
本身读取的字节数不多于它实际写入其 stdout
:
$ ( head -n10 ; head -n10 ) < ./in.del
0
1
...
9
10
11
...
18
19
显然有一些与管道相关的事情正在发生
更新
OS:Ubuntu 18.04.1 LTS
Bash:版本 4.4.19(1)-发布 (x86_64-pc-linux-gnu)
更新 2
作为@Barmar 精彩回答的补充,more on stdio buffering
发生的事情是 stdio 一次从管道读取整个缓冲区,Linux 上的缓冲区大小为 8K。
然后 head
从缓冲区中读取前 10 行,打印它们,然后退出。
下一个 head
开始从上一个停止的管道读取 8K 字节到文件中。它读取该行和以下 9 行。你看到的60
是1860
的结尾。
它在最后一个案例中按预期工作的原因是因为 head
在退出之前查找到它打印的最后一行的末尾。搜索在管道中不起作用,所以这没有效果。但是当stdin
是一个普通文件时,seek就起作用了,下一个过程从seek设置文件位置的地方开始。
我在 Mac 上看到的结果略有不同。它的缓冲区大小是 64K,所以第二个 head
在文件中开始得晚得多。它也不会在退出前返回到最后打印行的末尾,因此带有文件重定向的版本与管道一样工作。
我有一个满是文件编号的文件(从0开始)
$ cat in.del
0
1
2
....
谁能解释一下这里发生了什么,缓冲发生在管道以外的什么地方?据我了解,head's
fileno(stdin) 都必须直接查看管道的读取端
$ cat in.del | ( head -n1 ; head -n1 )
0
60
下面的代码与上面的代码有何不同?
$ cat in.del | ( head -n10 ; head -n10 )
0
1
...
8
9
60
1861 # O_o
1862
1863
...
1868
1869
这按预期工作并表明 head
本身读取的字节数不多于它实际写入其 stdout
:
$ ( head -n10 ; head -n10 ) < ./in.del
0
1
...
9
10
11
...
18
19
显然有一些与管道相关的事情正在发生
更新
OS:Ubuntu 18.04.1 LTS
Bash:版本 4.4.19(1)-发布 (x86_64-pc-linux-gnu)
更新 2 作为@Barmar 精彩回答的补充,more on stdio buffering
发生的事情是 stdio 一次从管道读取整个缓冲区,Linux 上的缓冲区大小为 8K。
然后 head
从缓冲区中读取前 10 行,打印它们,然后退出。
下一个 head
开始从上一个停止的管道读取 8K 字节到文件中。它读取该行和以下 9 行。你看到的60
是1860
的结尾。
它在最后一个案例中按预期工作的原因是因为 head
在退出之前查找到它打印的最后一行的末尾。搜索在管道中不起作用,所以这没有效果。但是当stdin
是一个普通文件时,seek就起作用了,下一个过程从seek设置文件位置的地方开始。
我在 Mac 上看到的结果略有不同。它的缓冲区大小是 64K,所以第二个 head
在文件中开始得晚得多。它也不会在退出前返回到最后打印行的末尾,因此带有文件重定向的版本与管道一样工作。