老鸟经验：在Linux上使用strace命令来输出系统调用细节

Strace即为system trace的缩写，在Linux系统里进行调试时所用。

使用 strace 跟踪用户进程和 Linux 内核之间的交互。在运维的日常工作中，故障处理和问题诊断是个主要的内容，也是必备的技能。strace作为一种动态跟踪工具，能够帮助运维高效地定位进程和服务故障。它像是一个侦探，通过系统调用的蛛丝马迹，告诉你异常的真相。

更多关于strace的文章请参考：《Linux中强大的strace调试命令用法以及详解操作实战》

系统调用system call是程序从内核请求服务的一种编程方式，而 strace 是一个功能强大的工具，可让你跟踪用户进程与 Linux 内核之间的交互。

要了解操作系统的工作原理，首先需要了解系统调用的工作原理。操作系统的主要功能之一是为用户程序提供抽象机制。

操作系统可以大致分为两种模式：

• 内核模式：操作系统内核使用的一种强大的特权模式
• 用户模式：大多数用户应用程序运行的地方    用户大多使用命令行实用程序和图形用户界面（GUI）来执行日常任务。系统调用在后台静默运行，与内核交互以完成工作。

系统调用与函数调用非常相似，这意味着它们都接受并处理参数然后返回值。唯一的区别是系统调用进入内核，而函数调用不进入。从用户空间切换到内核空间是使用特殊的 trap 机制完成的。

通过使用系统库（在 Linux 系统上又称为 glibc），大部分系统调用对用户隐藏了。尽管系统调用本质上是通用的，但是发出系统调用的机制在很大程度上取决于机器（架构）。

本文通过使用一些常规命令并使用 strace 分析每个命令进行的系统调用来探索一些实际示例。这些示例使用 Red Hat Enterprise Linux，但是这些命令运行在其他 Linux 发行版上应该也是相同的：

1. [root@sandbox ~]# cat /etc/redhat-release
2. Red Hat Enterprise Linux Server release 7.7 (Maipo)
3. [root@sandbox ~]#
4. [root@sandbox ~]# uname -r
5. 3.10.0-1062.el7.x86_64
6. [root@sandbox ~]#

首先，确保在系统上安装了必需的工具。你可以使用下面的 rpm 命令来验证是否安装了 strace。如果安装了，则可以使用 -V 选项检查 strace 实用程序的版本号：

1. [root@sandbox ~]# rpm -qa | grep -i strace
2. strace-4.12-9.el7.x86_64
3. [root@sandbox ~]#
4. [root@sandbox ~]# strace -V
5. strace -- version 4.12
6. [root@sandbox ~]#

如果没有安装，运行命令安装：

1. yum install strace

出于本示例的目的，在 /tmp 中创建一个测试目录，并使用 touch 命令创建两个文件：

1. [root@sandbox ~]# cd /tmp/
2. [root@sandbox tmp]#
3. [root@sandbox tmp]# mkdir testdir
4. [root@sandbox tmp]#
5. [root@sandbox tmp]# touch testdir/file1
6. [root@sandbox tmp]# touch testdir/file2
7. [root@sandbox tmp]#

（我使用 /tmp 目录是因为每个人都可以访问它，但是你可以根据需要选择另一个目录。）

在 testdir 目录下使用 ls 命令验证该文件已经创建：

1. [root@sandbox tmp]# ls testdir/
2. file1  file2
3. [root@sandbox tmp]#

你可能每天都在使用 ls 命令，而没有意识到系统调用在其下面发挥的作用。抽象地来说，该命令的工作方式如下：

命令行工具 -> 从系统库（glibc）调用函数 -> 调用系统调用

ls 命令内部从 Linux 上的系统库（即 glibc）调用函数。这些库去调用完成大部分工作的系统调用。

如果你想知道从 glibc 库中调用了哪些函数，请使用 ltrace 命令，然后跟上常规的 ls testdir/命令：

1. ltrace ls testdir/

如果没有安装 ltrace，键入如下命令安装：

1. yum install ltrace

大量的输出会被堆到屏幕上；不必担心，只需继续就行。ltrace 命令输出中与该示例有关的一些重要库函数包括：

1. opendir("testdir/") = { 3 }
2. readdir({ 3 }) = { 101879119, "." }
3. readdir({ 3 }) = { 134, ".." }
4. readdir({ 3 }) = { 101879120, "file1" }
5. strlen("file1") = 5
6. memcpy(0x1665be0, "file1\0", 6) = 0x1665be0
7. readdir({ 3 }) = { 101879122, "file2" }
8. strlen("file2") = 5
9. memcpy(0x166dcb0, "file2\0", 6) = 0x166dcb0
10. readdir({ 3 }) = nil
11. closedir({ 3 })                    

通过查看上面的输出，你或许可以了解正在发生的事情。opendir 库函数打开一个名为 testdir 的目录，然后调用 readdir 函数，该函数读取目录的内容。最后，有一个对 closedir 函数的调用，该函数将关闭先前打开的目录。现在请先忽略其他 strlen 和 memcpy 功能。

你可以看到正在调用哪些库函数，但是本文将重点介绍由系统库函数调用的系统调用。

与上述类似，要了解调用了哪些系统调用，只需将 strace 放在 ls testdir 命令之前，如下所示。 再次，一堆乱码丢到了你的屏幕上，你可以按照以下步骤进行操作：

1. [root@sandbox tmp]# strace ls testdir/
2. execve("/usr/bin/ls", ["ls", "testdir/"], [/* 40 vars */]) = 0
3. brk(NULL) = 0x1f12000
4. <<< truncated strace output >>>
5. write(1, "file1 file2\n", 13file1 file2
6. ) = 13
7. close(1) = 0
8. munmap(0x7fd002c8d000, 4096) = 0
9. close(2) = 0
10. exit_group(0) = ?
11. +++ exited with 0 +++
12. [root@sandbox tmp]#

运行 strace 命令后屏幕上的输出就是运行 ls 命令的系统调用。每个系统调用都为操作系统提供了特定的用途，可以将它们大致分为以下几个部分：

• 进程管理系统调用
• 文件管理系统调用
• 目录和文件系统管理系统调用
• 其他系统调用

分析显示到屏幕上的信息的一种更简单的方法是使用 strace 方便的 -o 标志将输出记录到文件中。在 -o 标志后添加一个合适的文件名，然后再次运行命令：

1. [root@sandbox tmp]# strace -o trace.log ls testdir/
2. file1  file2
3. [root@sandbox tmp]#

这次，没有任何输出干扰屏幕显示，ls 命令如预期般工作，显示了文件名并将所有输出记录到文件 trace.log 中。仅仅是一个简单的 ls 命令，该文件就有近 100 行内容：

1. [root@sandbox tmp]# ls -l trace.log
2. -rw-r--r--. 1 root root 7809 Oct 12 13:52 trace.log
3. [root@sandbox tmp]#
4. [root@sandbox tmp]# wc -l trace.log
5. 114 trace.log
6. [root@sandbox tmp]#

让我们看一下这个示例的 trace.log 文件的第一行:

1. execve("/usr/bin/ls", ["ls", "testdir/"], [/* 40 vars */]) = 0

• 该行的第一个单词 execve 是正在执行的系统调用的名称。
• 括号内的文本是提供给该系统调用的参数。
• 符号 = 后的数字（在这种情况下为 0）是 execve 系统调用的返回值。

现在的输出似乎还不太吓人，对吧。你可以应用相同的逻辑来理解其他行。

现在，将关注点集中在你调用的单个命令上，即 ls testdir。你知道命令 ls 使用的目录名称，那么为什么不在 trace.log 文件中使用 grep 查找 testdir并查看得到的结果呢？让我们详细查看一下结果的每一行：

1. [root@sandbox tmp]# grep testdir trace.log
2. execve("/usr/bin/ls", ["ls", "testdir/"], [/* 40 vars */]) = 0
3. stat("testdir/", {st_mode=S_IFDIR|0755, st_size=32, ...}) = 0
4. openat(AT_FDCWD, "testdir/", O_RDONLY|O_NONBLOCK|O_DIRECTORY|O_CLOEXEC) = 3
5. [root@sandbox tmp]#

回顾一下上面对 execve 的分析，你能说一下这个系统调用的作用吗？

1. execve("/usr/bin/ls", ["ls", "testdir/"], [/* 40 vars */]) = 0

你无需记住所有系统调用或它们所做的事情，因为你可以在需要时参考文档。手册页可以解救你！在运行 man 命令之前，请确保已安装以下软件包：

1. [root@sandbox tmp]# rpm -qa | grep -i man-pages
2. man-pages-3.53-5.el7.noarch
3. [root@sandbox tmp]#

请记住，你需要在 man 命令和系统调用名称之间添加 2。如果使用 man man 阅读 man 命令的手册页，你会看到第 2 节是为系统调用保留的。同样，如果你需要有关库函数的信息，则需要在 man 和库函数名称之间添加一个 3。

以下是手册的章节编号及其包含的页面类型：

• 1：可执行的程序或 shell 命令
• 2：系统调用（由内核提供的函数）
• 3：库调用（在程序的库内的函数）
• 4：特殊文件（通常出现在 /dev）

使用系统调用名称运行以下 man 命令以查看该系统调用的文档：

1. man 2 execve

按照 execve 手册页，这将执行在参数中传递的程序（在本例中为 ls）。可以为 ls 提供其他参数，例如本例中的 testdir。因此，此系统调用仅以 testdir 作为参数运行 ls：

1. execve - execute program
3. DESCRIPTION
4. execve() executes the program pointed to by filename

下一个系统调用，名为 stat，它使用 testdir 参数：

1. stat("testdir/", {st_mode=S_IFDIR|0755, st_size=32, ...}) = 0

使用 man 2 stat 访问该文档。stat 是获取文件状态的系统调用，请记住，Linux 中的一切都是文件，包括目录。

接下来，openat 系统调用将打开 testdir。密切注意返回的 3。这是一个文件描述符，将在以后的系统调用中使用：

1. openat(AT_FDCWD, "testdir/", O_RDONLY|O_NONBLOCK|O_DIRECTORY|O_CLOEXEC) = 3

到现在为止一切都挺好。现在，打开 trace.log 文件，并转到 openat 系统调用之后的行。你会看到 getdents 系统调用被调用，该调用完成了执行 ls testdir 命令所需的大部分操作。现在，从 trace.log 文件中用 grep 获取 getdents：

1. [root@sandbox tmp]# grep getdents trace.log
2. getdents(3, /* 4 entries */, 32768)     = 112
3. getdents(3, /* 0 entries */, 32768)     = 0
4. [root@sandbox tmp]#

getdents 的手册页将其描述为 “获取目录项”，这就是你要执行的操作。注意，getdents 的参数是 3，这是来自上面 openat 系统调用的文件描述符。

现在有了目录列表，你需要一种在终端中显示它的方法。因此，在日志中用 grep 搜索另一个用于写入终端的系统调用 write：

1. [root@sandbox tmp]# grep write trace.log
2. write(1, "file1  file2\n", 13)          = 13
3. [root@sandbox tmp]#

在这些参数中，你可以看到将要显示的文件名：file1 和 file2。关于第一个参数（1），请记住在 Linux 中，当运行任何进程时，默认情况下会为其打开三个文件描述符。以下是默认的文件描述符：

• 0：标准输入
• 1：标准输出
• 2：标准错误

因此，write 系统调用将在标准显示（就是这个终端，由 1 所标识的）上显示 file1 和 file2。

现在你知道哪个系统调用完成了 ls testdir/ 命令的大部分工作。但是在 trace.log 文件中其它的 100 多个系统调用呢？操作系统必须做很多内务处理才能运行一个进程，因此，你在该日志文件中看到的很多内容都是进程初始化和清理。阅读整个 trace.log 文件，并尝试了解 ls 命令是怎么工作起来的。

既然你知道了如何分析给定命令的系统调用，那么就可以将该知识用于其他命令来了解正在执行哪些系统调用。strace 提供了许多有用的命令行标志，使你更容易使用，下面将对其中一些进行描述。

默认情况下，strace 并不包含所有系统调用信息。但是，它有一个方便的 -v 冗余选项，可以在每个系统调用中提供附加信息：

1. strace -v ls testdir

在运行 strace 命令时始终使用 -f 选项是一种好的作法。它允许 strace 对当前正在跟踪的进程创建的任何子进程进行跟踪：

1. strace -f ls testdir

假设你只需要系统调用的名称、运行的次数以及每个系统调用花费的时间百分比。你可以使用 -c 标志来获取这些统计信息：

1. strace -c ls testdir/

假设你想专注于特定的系统调用，例如专注于 open 系统调用，而忽略其余部分。你可以使用-e 标志跟上系统调用的名称：

1. [root@sandbox tmp]# strace -e open ls testdir
2. open("/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 3
3. open("/lib64/libselinux.so.1", O_RDONLY|O_CLOEXEC) = 3
4. open("/lib64/libcap.so.2", O_RDONLY|O_CLOEXEC) = 3
5. open("/lib64/libacl.so.1", O_RDONLY|O_CLOEXEC) = 3
6. open("/lib64/libc.so.6", O_RDONLY|O_CLOEXEC) = 3
7. open("/lib64/libpcre.so.1", O_RDONLY|O_CLOEXEC) = 3
8. open("/lib64/libdl.so.2", O_RDONLY|O_CLOEXEC) = 3
9. open("/lib64/libattr.so.1", O_RDONLY|O_CLOEXEC) = 3
10. open("/lib64/libpthread.so.0", O_RDONLY|O_CLOEXEC) = 3
11. open("/usr/lib/locale/locale-archive", O_RDONLY|O_CLOEXEC) = 3
12. file1  file2
13. +++ exited with 0 +++
14. [root@sandbox tmp]#

如果你想关注多个系统调用怎么办？不用担心，你同样可以使用 -e 命令行标志，并用逗号分隔开两个系统调用的名称。例如，要查看 write 和 getdents 系统调用：

1. [root@sandbox tmp]# strace -e write,getdents ls testdir
2. getdents(3, /* 4 entries */, 32768)     = 112
3. getdents(3, /* 0 entries */, 32768)     = 0
4. write(1, "file1  file2\n", 13file1  file2
5. )          = 13
6. +++ exited with 0 +++
7. [root@sandbox tmp]#

到目前为止，这些示例是明确地运行的命令进行了跟踪。但是，要跟踪已经运行并正在执行的命令又怎么办呢？例如，如果要跟踪用来长时间运行进程的守护程序，该怎么办？为此，strace 提供了一个特殊的 -p 标志，你可以向其提供进程 ID。

我们的示例不在守护程序上运行 strace，而是以 cat 命令为例，如果你将文件名作为参数，通常 cat 会显示文件的内容。如果没有给出参数，cat 命令会在终端上等待用户输入文本。输入文本后，它将重复给定的文本，直到用户按下 Ctrl + C 退出为止。

从一个终端运行 cat 命令；它会向你显示一个提示，并等待在那里（记住 cat 仍在运行且尚未退出）：

1. [root@sandbox tmp]# cat

在另一个终端上，使用 ps 命令找到进程标识符（PID）：

1. [root@sandbox ~]# ps -ef | grep cat
2. root      22443  20164  0 14:19 pts/0    00:00:00 cat
3. root      22482  20300  0 14:20 pts/1    00:00:00 grep --color=auto cat
4. [root@sandbox ~]#

现在，使用 -p 标志和 PID（在上面使用 ps 找到）对运行中的进程运行 strace。运行 strace 之后，其输出说明了所接驳的进程的内容及其 PID。现在，strace 正在跟踪 cat 命令进行的系统调用。看到的第一个系统调用是 read，它正在等待文件描述符 0（标准输入，这是运行 cat 命令的终端）的输入：

1. [root@sandbox ~]# strace -p 22443
2. strace: Process 22443 attached
3. read(0,

现在，返回到你运行 cat 命令的终端，并输入一些文本。我出于演示目的输入了 x0x0。注意 cat 是如何简单地重复我输入的内容的。因此，x0x0 出现了两次。我输入了第一个，第二个是 cat 命令重复的输出：

1. [root@sandbox tmp]# cat
2. x0x0
3. x0x0

返回到将 strace 接驳到 cat 进程的终端。现在你会看到两个额外的系统调用：较早的 read 系统调用，现在在终端中读取 x0x0，另一个为 write，它将 x0x0 写回到终端，然后是再一个新的 read，正在等待从终端读取。请注意，标准输入（0）和标准输出（1）都在同一终端中：

1. [root@sandbox ~]# strace -p 22443
2. strace: Process 22443 attached
3. read(0, "x0x0\n", 65536)                = 5
4. write(1, "x0x0\n", 5)                   = 5
5. read(0,

想象一下，对守护进程运行 strace 以查看其在后台执行的所有操作时这有多大帮助。按下 Ctrl + C 杀死 cat 命令；由于该进程不再运行，因此这也会终止你的 strace 会话。

如果要查看所有的系统调用的时间戳，只需将 -t 选项与 strace 一起使用：

1. [root@sandbox ~]#strace -t ls testdir/
3. 14:24:47 execve("/usr/bin/ls", ["ls", "testdir/"], [/* 40 vars */]) = 0
4. 14:24:47 brk(NULL)                      = 0x1f07000
5. 14:24:47 mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f2530bc8000
6. 14:24:47 access("/etc/ld.so.preload", R_OK) = -1 ENOENT (No such file or directory)
7. 14:24:47 open("/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 3

如果你想知道两次系统调用之间所花费的时间怎么办？strace 有一个方便的 -r 命令，该命令显示执行每个系统调用所花费的时间。非常有用，不是吗？

1. [root@sandbox ~]#strace -r ls testdir/
3. 0.000000 execve("/usr/bin/ls", ["ls", "testdir/"], [/* 40 vars */]) = 0
4. 0.000368 brk(NULL)                 = 0x1966000
5. 0.000073 mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7fb6b1155000
6. 0.000047 access("/etc/ld.so.preload", R_OK) = -1 ENOENT (No such file or directory)
7. 0.000119 open("/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 3

总结

strace 实用程序非常有助于理解 Linux 上的系统调用。要了解它的其它命令行标志，请参考手册页和在线文档。

（END）

文章源自: https://opensource.com/article/19/10/strace

作者：Gaurav Kamathe 选题：lujun9972 译者：wxy 校对：wxy

本文由 LCTT 原创编译，Linux中国 荣誉推出