ftrace 无法跟踪某些内核函数

Question

我正在使用 ftrace 跟踪内核 5.4.20 中的 ip_local_out()。

我确定 ip_local_out() 可用于跟踪：

/sys/kernel/debug/tracing # cat available_filter_functions |grep ip_local_out
__ip_local_out
ip_local_out

于是我设置了ftrace，开始跟踪如下：

/sys/kernel/debug/tracing # echo ip_local_out > set_graph_function 
/sys/kernel/debug/tracing # echo function_graph > current_tracer 
/sys/kernel/debug/tracing # echo 3 > max_graph_depth 
/sys/kernel/debug/tracing # cat trace_pipe

然后我用 ICMP ping 与这个内核通信。但是，ftrace 没有输出。

我怀疑 ip_local_out() 根本没有被调用，所以我在 ip_local_out() 中添加 printk() 并重新编译：


int ip_local_out(struct net *net, struct sock *sk, struct sk_buff *skb)
{
        int err;

        //crezov debug
        printk("<%s:%d> crezov debug: ip_local_out() is called!\n", __FUNCTION__, __LINE__);
        err = __ip_local_out(net, sk, skb);
        if (likely(err == 1))
                err = dst_output(net, sk, skb);

        return err;
}
EXPORT_SYMBOL_GPL(ip_local_out);

同样的配置，同样的ICMP ping，重新编译后的内核可以输出如下，可以看出调用了ip_local_out()，另外，可以追踪到ip_local_out！

[   43.219817] <ip_local_out:127> crezov debug: ip_local_out() is called!
 0)               |  ip_local_out() {
 0)   ==========> |
 0)               |    smp_irq_work_interrupt() {
 0) + 44.167 us   |      irq_enter();
 0) + 98.824 us   |      __wake_up();
 0) + 11.717 us   |      irq_exit();
 0) ! 567.096 us  |    }
 0)   <========== |
 0)               |    printk() {
 0) # 9894.629 us |      vprintk_func();
 0) # 9941.234 us |    }
 0)               |    __ip_local_out() {
 0) + 52.389 us   |      ip_send_check();
 0) ! 135.433 us  |    }
 0)               |    ip_output() {
 0) ! 649.046 us  |      ip_finish_output();
 0) ! 716.535 us  |    }
 0) * 12446.31 us |  }

但是，一旦我从 ip_local_out 中删除 printk() 并重新编译，就无法再次跟踪 ip_local_out()。

我错过了什么？请帮忙。

Answer 1

经过一周的实验，终于找到了原因：ip_local_out()是auto-inlined！当我像这样使用 noinline 属性时：

noinline int ip_local_out(struct net *net, struct sock *sk, struct sk_buff *skb)
{
        int err;

        err = __ip_local_out(net, sk, skb);
        if (likely(err == 1))
                err = dst_output(net, sk, skb);

        return err;
}
EXPORT_SYMBOL_GPL(ip_local_out);

ftrace 可以捕获 ip_local_out().

ftrace 无法跟踪某些内核函数

ftrace cannot trace some kernel functions

linux

debugging

ftrace

linux-kernel