LLVM libFuzzer rss 内存增加

Question

我正在试验 LLVM 项目的 libFuzzer，试图为音频信号处理库生成输入。

为了简单起见，我从一个常量零的 64kb PCM 作为初始语料库开始，使用 -max_len=65536。每次库调用的内存消耗约为 200kB，应按预期释放。

我想知道的是模糊器日志中显示为 rss 的内存消耗：

#1024   pulse  cov: 26153 ft: 40811 corp: 783/33Mb exec/s: 7 rss: 541Mb
#2048   pulse  cov: 26154 ft: 40811 corp: 783/33Mb exec/s: 8 rss: 573Mb
#4096   pulse  cov: 26154 ft: 40811 corp: 783/33Mb exec/s: 8 rss: 574Mb
#4895   NEW    cov: 26156 ft: 40815 corp: 784/33Mb exec/s: 8 rss: 576Mb L: 26935 MS: 1 InsertRepeatedBytes-
#8192   pulse  cov: 26157 ft: 40815 corp: 784/33Mb exec/s: 8 rss: 578Mb
#11875  NEW    cov: 26157 ft: 40816 corp: 785/33Mb exec/s: 8 rss: 579Mb L: 59394 MS: 1 InsertByte-
#12862  NEW    cov: 26157 ft: 40817 corp: 786/33Mb exec/s: 8 rss: 579Mb L: 51404 MS: 3 EraseBytes-EraseBytes-CopyPart-
#15357  NEW    cov: 26157 ft: 40818 corp: 787/33Mb exec/s: 8 rss: 579Mb L: 64536 MS: 3 CopyPart-ChangeBit-InsertRepeatedBytes-
#16384  pulse  cov: 26157 ft: 40818 corp: 787/33Mb exec/s: 8 rss: 579Mb
#23171  NEW    cov: 26157 ft: 40820 corp: 788/33Mb exec/s: 8 rss: 579Mb L: 49412 MS: 2 InsertRepeatedBytes-CMP- DE: "\x00\x00\x00\x00\x00\x00\x00\x00"-
#25426  NEW    cov: 26158 ft: 40825 corp: 789/33Mb exec/s: 8 rss: 579Mb L: 64443 MS: 2 CMP-CMP- DE: "\x00\x00\x00\x00"-"\xff\xff"-

为什么 rss 指标稳定增长？

请注意，增加似乎收敛（类似于 cov 和 ft 数量），因此每个模糊器不会泄漏内存目标调用。

是设置问题还是泄漏导致rss内存增加？

如果不是，那么如果在每次模糊器目标调用后内存消耗都没有降低，模糊器可以使用 -rss_limit_mb 选项的基本原理是什么？

Answer 1

内存增加的一些原因是：

ASan 的 "quarantine"：ASan 将释放的内存隔离以检测释放后使用错误。在没有隔离区大小限制的情况下进行模糊测试时，内存增长是无限的。 ~~尝试将 quarantine_size_mb ASan option 更改为与 -1 不同的值，这意味着无限制。~~ 这些天 ASan 应该默认限制隔离区大小。
libFuzzer 的内部数据结构，但这些数据结构会在某个时候停止增长。
您的代码分配的内存isn't returned to the OS after being freed。 RSS 值通常会反映任何测试输入使用的最大值，并且不会在此之后下降。当然，所有释放的内存都可用于后续分配。
另一种解释是你的代码确实存在内存泄漏。默认情况下，detect_leaks option 会检测到许多泄漏。但也有可能像缓存这样的全局数据结构在不断增长，这在模糊测试时无法检测到。

使用 quarantine_size_mb 选项，RSS 最终应该收敛。

LLVM libFuzzer rss 内存增加

LLVM libFuzzer rss memory increase

c

clang

llvm

fuzzing

address-sanitizer