了解性能报告

Question

我一直在做一些时间紧迫的项目。由于时间上出现了一些意外的尖峰，我不得不更深入一些。

场景:

我有一个内核模块，它固定在 CPU 核心上。这个CPU核心也在内核引导参数的isolcpus中列出。这是我在 cmdline

中对内核启动参数所做的操作

intel_iommu=on iommu=pt default_hugepagesz=1G hugepagesz=1G hugepages=1 intel_idle.max_cstate=0 processor.max_cstate=0 nohz_full=7-11 isolcpus=7-11 mce=off rcu_nocbs=7-11 nosoftlockup idle=poll cpuidle.off=1 powersave=off nonmi_ipi nowatchdog

我运行下面的命令（我现在正试图分析 CPU 8）

sudo ./perf record -e context-switches -a -g --cpu=8 taskset -c 9 ./test.sh

**编辑 1 - 附加信息 **

内核版本：4.15.12

我的内核模块每 X 个时间单位发送一次同步数据包。目前，我已将其配置为每 50 毫秒发送一次。

在这种情况下，我已经简化了 test.sh。它需要几个参数，但是，关于此脚本的重要一点是它调用了内核模块。

例如，我的 KM 有一个 proc fs。当在此 proc fs 上触发写入事件时，它会创建一个新的 Kthread，将其绑定到 CPU (8)，并开始每 50ms 生成一次数据包。

为了避免冲突和上下文切换，我把这个东西移到了内核中 space。此外，我将脚本的亲和力设置为与内核模块不同的CPU。

因此，我观察到的是，发送时间有一点抖动，可能是因为这些上下文切换。

这是我输入 perf report

后的输出

# To display the perf.data header info, please use --header/--header-only options.
#
#
# Total Lost Samples: 0
#
# Samples: 8  of event 'context-switches'
# Event count (approx.): 39
#
# Children      Self  Command      Shared Object     Symbol
# ........  ........  ...........  ................  .................
#
    69.23%    69.23%  :-1          [kernel.vmlinux]  [k] do_task_dead
            |
            ---do_task_dead

    25.64%    25.64%  swapper      [kernel.vmlinux]  [k] schedule_idle
            |
            ---schedule_idle

     2.56%     2.56%  :2100        [kernel.vmlinux]  [k] _cond_resched
            |
            ---_cond_resched

     2.56%     2.56%  kworker/8:1  [kernel.vmlinux]  [k] schedule
            |
            ---schedule

它说有 8 次上下文切换。另外，我无法理解 :-1 在第一 do_task_dead() 行的 Command 列中的实际含义。如果有人能为我提供一些更深入地研究这个问题的指导，那就太好了。

编辑 2 - perf 脚本报告和 cpu_idle 分析结果

swapper     0 [008] 64409.434193:          1 context-switches:
                  aceea8 schedule_idle (/lib/modules/4.15.12/build/vmlinux)

:-1    -1 [008] 64410.434267:          1 context-switches:
                  2ac066 do_task_dead (/lib/modules/4.15.12/build/vmlinux)

swapper     0 [008] 64410.442240:          1 context-switches:
                  aceea8 schedule_idle (/lib/modules/4.15.12/build/vmlinux)

:29026 29026 [008] 64411.442313:          1 context-switches:
                  acee0d _cond_resched (/lib/modules/4.15.12/build/vmlinux)

kworker/8:1   181 [008] 64411.442318:          1 context-switches:
                  acebf2 schedule (/lib/modules/4.15.12/build/vmlinux)

:-1    -1 [008] 64411.442327:          1 context-switches:
                  2ac066 do_task_dead (/lib/modules/4.15.12/build/vmlinux)

swapper     0 [008] 64411.466238:          8 context-switches:
                  aceea8 schedule_idle (/lib/modules/4.15.12/build/vmlinux)

swapper     0 [008] 64414.538207:         31 context-switches:
                  aceea8 schedule_idle (/lib/modules/4.15.12/build/vmlinux)

运行 power:cpu_idle 事件，这里是 perf 脚本的输出

swapper     0 [008] 65787.514565: power:cpu_idle: state=4294967295 cpu_id=8
                  ad3a2f cpu_idle_poll (/lib/modules/4.15.12/build/vmlinux)

swapper     0 [008] 65788.514653: power:cpu_idle: state=0 cpu_id=8
                  ad39d0 cpu_idle_poll (/lib/modules/4.15.12/build/vmlinux)

swapper     0 [008] 65788.522618: power:cpu_idle: state=4294967295 cpu_id=8
                  ad3a2f cpu_idle_poll (/lib/modules/4.15.12/build/vmlinux)

swapper     0 [008] 65789.522693: power:cpu_idle: state=0 cpu_id=8
                  ad39d0 cpu_idle_poll (/lib/modules/4.15.12/build/vmlinux)

swapper     0 [008] 65789.546577: power:cpu_idle: state=4294967295 cpu_id=8
                  ad3a2f cpu_idle_poll (/lib/modules/4.15.12/build/vmlinux)

swapper     0 [008] 65790.546648: power:cpu_idle: state=0 cpu_id=8
                  ad39d0 cpu_idle_poll (/lib/modules/4.15.12/build/vmlinux)

swapper     0 [008] 65790.570574: power:cpu_idle: state=4294967295 cpu_id=8
                  ad3a2f cpu_idle_poll (/lib/modules/4.15.12/build/vmlinux)
....

和perf report显示

# Samples: 22  of event 'power:cpu_idle'
# Event count (approx.): 22
#
# Children      Self  Trace output
# ........  ........  .........................
#
    50.00%    50.00%  state=0 cpu_id=8
            |
            ---cpu_idle_poll

    50.00%    50.00%  state=4294967295 cpu_id=8
            |
            ---cpu_idle_poll

谢谢，

库沙尔。

Answer 1

Zulan 非常亲近，他的所有建议都应该遵循。

来自 perf report 的手册页：

perf report 输出中的 command 列指的是从中收集样本的过程。在 per-thread/per-process 模式下，这始终是受监视命令的名称。但在 cpu-wide 模式下，命令可能会有所不同。

因为您正在测量 per-cpu 上下文切换事件，从您的 perf record ... -cpu=8... 命令可以看出，perf report 命令将开始报告 PID/TID of next/prev 任务.你可以在这里看到这个 -

per-cpu context switch records pid/tid

现在值-1表示一个进程已经死了，即进程已经超越了僵尸进程的状态。这意味着 task_struct 成员现在指向已经释放的内存并且没有取消引用应该是 allowed.The do_task_dead 方法应该清楚地反映这一点。 This 是进程的 pid 返回为 -1 的地方，同时在 perf report 中报告。

关于这个问题有广泛的discussion。最初，值 0 用于在 perf report 输出中指代此类进程状态，但正如您可能已经猜到的那样，pid=0 指的是 空闲线程 ，因此是一个值使用 -1 的。

了解性能报告

Understanding the perf report

scheduling

linux-kernel

perf