SystemTap是Linux下的动态跟踪工具，可以方便的监控、跟踪运行中的程序或Linux内核操作，我们通过写SystemTap脚本（与C语言类似），编译为内核模块，然后加载到内核中运行，它带来的性能损耗比较小。

一、 分析SQL语句在执行各个阶段的消耗

比如我们想统计一句SQL在解析阶段的执行时间，可以在mysqld进程的对应parse_sql函数上加探测点，统计函数执行时间。

脚本如下：

示例如下，当前QPS约1.6W，包含了SQL执行过程中解析、redo、binlog、undo、网络、IO读、IO写上的消耗，由于涉及的函数较多，这部分后续还需要整理完善。

也可以用来分析一句SQL的执行性能：

二、SQL执行时间统计分布

对于应用来说，主要关心数据库的吞吐量和响应时间，下面从应用负载的角度去衡量，服务器上当前执行SQL语句的性能分布情况。

下图是1秒聚合的SQL语句的执行时间分布图，表示大部分SQL的执行时间在128us以下：

性能开销

用sysbench做了简单压测，并发8线程时，运行stap脚本QPS从3.5W降到3.3W，性能损耗约6%；当并发32线程时，运行stap脚本QPS从9W降到7W，性能损耗约22%

应用场景

Systemtap功能非常强大，可以对mysqld进程下近25000个函数以及kernel下35000个函数自定义脚本进行跟踪统计，可用来分析内存、CPU、IO、网络等各种问题。