Linux调试工具lsof的深入分析

《Linux调试工具lsof的深入分析》

1)查看对某个文件的使用情况

-------------------------------------------------------

root@troy:/# lsof -w /etc/passwd

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

python 2340 troy 10r REG 8,1 1804 2886346 /etc/passwd

-------------------------------------------------------

注:-w参数表示不打印警告信息.

lsof程序会打开/proc/PID/fd/目录找到对映的文件句柄,再通过stat系统调用得到文件的详细信息.

同时还会利用fdinfo目录下的文件句柄得到打开文件时的状态.

例如:

1.1)创建程序test.c,本程序在/tmp/目录下以O_WRONLY(只写)和O_SYNC(同步)方式打开temp文件.

-------------------------------------------------------

root@troy:/tmp# more test.c

#include <unistd.h>

#include <sys/types.h>

#include <sys/stat.h>

#include <fcntl.h>

int main ()

{

int fd;

fd = open("/tmp/temp", O_WRONLY|O_SYNC);

lseek(fd, 80L, SEEK_SET);

sleep(100);

close(fd);

return 0;

}

root@troy:/tmp# gcc test.c -o testfd

root@troy:/tmp# ./testfd &

-------------------------------------------------------

1.2)观察testfd程序打开的文件/tmp/temp

-------------------------------------------------------

cat /proc/$(lsof -w /tmp/temp|awk '/testfd/{print $2}')/fdinfo/3

pos: 80

flags: 0110001

-------------------------------------------------------

我们看到程序输出pos和flags两组数据,pos字段表示被打开文件的当前读写位置,flags表示以文件方式打开该文件.

pos为80表示从文件起始位置移动80个字节的位置.

flags为0110001中的xxxxxx1表示以只写方式打开文件,如果是只读则为xxxxxx0,如果可读可写则为xxxxxx2,

其中的xx1xxxx表示以同步方式(O_SYNC)打开文件,如果改用以O_ASYNC方式打开文件,则为xx2xxxx,

如果同时指定了O_SYNC和O_ASYNC两种方式打开文件,结果则为xx3xxxx.

如果我们增加了O_APPEND方式打开文件,结果则为xxx2xxx.

如果我们增加了O_NONBLOCK方式打开文件,结果则为xxx4xxx.

如果同时指定了O_APPEND和NONBLOCK两种方式,结果则为xxx6xxx.

最后指明一下O_ASYNC用于打开终端和socket文件,默认产生SIGIO信号.

而O_NONBLOCK表示不阻塞打开的文件,只用于FIFO的管道文件中.

2)查看对某个目录的使用情况

我们先执行上个试验的程序.

-------------------------------------------------------

root@troy:~# /tmp/testfd &

[1] 17021

root@troy:~# lsof +d /tmp/

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

gedit 2531 troy 7u unix 0xffff880029a49b00 0t0 17106 /tmp/gedit.troy.917415843

testfd 17021 root txt REG 8,1 8617 262475 /tmp/testfd

testfd 17021 root 3w REG 8,1 0 262412 /tmp/temp

bash 3926 troy cwd DIR 8,1 4096 262149 /tmp

bash 4001 troy cwd DIR 8,1 4096 262149 /tmp

-------------------------------------------------------

如果不加参数+d呢?这里我们只看到了用户的当前使用目录,如下:

-------------------------------------------------------

root@troy:~# lsof -w /tmp

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

bash 3926 troy cwd DIR 8,1 4096 262149 /tmp

bash 4001 troy cwd DIR 8,1 4096 262149 /tmp

-------------------------------------------------------

有什么区别吗？

加+d参数的情况下,lsof会遍列所有的进程,以及进程下所有的fd,fdinfo,cwd,root,exec,maps,以查找被程序占用中的目录.

而不加参数+d的情况下,lsof只会遍列所有进程的cwd,cwd是用户当前目录的软链接.如下:

-------------------------------------------------------

root@troy:~# ls -l /proc/3926/cwd

lrwxrwxrwx 1 troy troy 0 2011-02-09 19:23 /proc/3926/cwd -> /tmp

-------------------------------------------------------

3)查看某个进程的使用情况

-------------------------------------------------------

troy@troy:/proc/23294$ lsof -p 23294

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

ssh 23294 troy cwd DIR 8,1 4096 262149 /tmp

ssh 23294 troy rtd DIR 8,1 4096 2 /

ssh 23294 troy txt REG 8,1 339712 1058082 /usr/bin/ssh

ssh 23294 troy mem REG 8,1 51712 787472 /lib/libnss_files-2.11.1.so

ssh 23294 troy mem REG 8,1 43552 787456 /lib/libnss_nis-2.11.1.so

ssh 23294 troy mem REG 8,1 97256 787430 /lib/libnsl-2.11.1.so

ssh 23294 troy mem REG 8,1 35712 787454 /lib/libnss_compat-2.11.1.so

ssh 23294 troy mem REG 8,1 135745 787466 /lib/libpthread-2.11.1.so

ssh 23294 troy mem REG 8,1 10224 787804 /lib/libkeyutils-1.2.so

ssh 23294 troy mem REG 8,1 31168 1050775 /usr/lib/libkrb5support.so.0.1

ssh 23294 troy mem REG 8,1 14584 798518 /lib/libcom_err.so.2.1

ssh 23294 troy mem REG 8,1 154048 1050756 /usr/lib/libk5crypto.so.3.1

ssh 23294 troy mem REG 8,1 803192 1050769 /usr/lib/libkrb5.so.3.3

ssh 23294 troy mem REG 8,1 14696 795838 /lib/libdl-2.11.1.so

ssh 23294 troy mem REG 8,1 1572232 787469 /lib/libc-2.11.1.so

ssh 23294 troy mem REG 8,1 213784 1050761 /usr/lib/libgssapi_krb5.so.2.2

ssh 23294 troy mem REG 8,1 93000 787444 /lib/libresolv-2.11.1.so

ssh 23294 troy mem REG 8,1 92752 786985 /lib/libz.so.1.2.3.3

ssh 23294 troy mem REG 8,1 1622304 796093 /lib/libcrypto.so.0.9.8

ssh 23294 troy mem REG 8,1 136936 787431 /lib/ld-2.11.1.so

ssh 23294 troy 0u CHR 136,20 0t0 23 /dev/pts/20

ssh 23294 troy 1u CHR 136,20 0t0 23 /dev/pts/20

ssh 23294 troy 2u CHR 136,20 0t0 23 /dev/pts/20

ssh 23294 troy 3u IPv4 1603924 0t0 TCP troy.local:41879->10.1.1.7:ssh (ESTABLISHED)

ssh 23294 troy 4w FIFO 0,8 0t0 1603904 pipe

ssh 23294 troy 5u CHR 136,19 0t0 22 /dev/pts/19

ssh 23294 troy 6r CHR 5,0 0t0 1129 /dev/tty

ssh 23294 troy 7u CHR 136,21 0t0 24 /dev/pts/21

ssh 23294 troy 8u CHR 136,20 0t0 23 /dev/pts/20

ssh 23294 troy 9u CHR 136,20 0t0 23 /dev/pts/20

ssh 23294 troy 10u CHR 136,20 0t0 23 /dev/pts/20

-------------------------------------------------------

lsof程序会跟据用户指定的PID，遍列/proc/目录找到该PID，在/proc/PID目录下依次打开stat,maps,fd,fdinfo.

stat文件包含了当前进程的信息.

当前进程的stat如下:

23294 (ssh) S 23291 23294 23294 34837 23294 4202496 836 0 0 0 8 10 0 0 20 0 1 0 29282141 39632896 658 18446744073709551615 140114439372800 140114439700540 140733214155456 140733214149016 140114423930835 0 0 4096 136331271 18446744071580239593 0 0 17 1 0 0 0 0 0

maps文件包含映像的文件:

当前进程的maps如下:

7f6eecf42000-7f6eecf4e000 r-xp 00000000 08:01 787472 /lib/libnss_files-2.11.1.so

7f6eecf4e000-7f6eed14d000 ---p 0000c000 08:01 787472 /lib/libnss_files-2.11.1.so

7f6eed14d000-7f6eed14e000 r--p 0000b000 08:01 787472 /lib/libnss_files-2.11.1.so

7f6eed14e000-7f6eed14f000 rw-p 0000c000 08:01 787472 /lib/libnss_files-2.11.1.so

7f6eed14f000-7f6eed159000 r-xp 00000000 08:01 787456 /lib/libnss_nis-2.11.1.so

7f6eed159000-7f6eed358000 ---p 0000a000 08:01 787456 /lib/libnss_nis-2.11.1.so

7f6eed358000-7f6eed359000 r--p 00009000 08:01 787456 /lib/libnss_nis-2.11.1.so

7f6eed359000-7f6eed35a000 rw-p 0000a000 08:01 787456 /lib/libnss_nis-2.11.1.so

7f6eed35a000-7f6eed371000 r-xp 00000000 08:01 787430 /lib/libnsl-2.11.1.so

7f6eed371000-7f6eed570000 ---p 00017000 08:01 787430 /lib/libnsl-2.11.1.so

7f6eed570000-7f6eed571000 r--p 00016000 08:01 787430 /lib/libnsl-2.11.1.so

7f6eed571000-7f6eed572000 rw-p 00017000 08:01 787430 /lib/libnsl-2.11.1.so

后省略.

这里用pmap 23294也可以找到加载的文件与虚拟地址的对映.

fd,fdinfo我们已经分析过了,当lsof找到/proc/23294/3时,发现是个socket文件,如下:

----------------------------------------------------

troy@troy:/proc/23294/fd$ ls -l

total 0

lrwx------ 1 troy troy 64 2011-02-11 02:47 0 -> /dev/pts/20

lrwx------ 1 troy troy 64 2011-02-11 02:47 1 -> /dev/pts/20

lrwx------ 1 troy troy 64 2011-02-11 02:47 10 -> /dev/pts/20

lrwx------ 1 troy troy 64 2011-02-11 01:07 2 -> /dev/pts/20

lrwx------ 1 troy troy 64 2011-02-11 02:47 3 -> socket:[1603924]

l-wx------ 1 troy troy 64 2011-02-11 02:47 4 -> pipe:[1603904]

lrwx------ 1 troy troy 64 2011-02-11 02:47 5 -> /dev/pts/19

lr-x------ 1 troy troy 64 2011-02-11 02:47 6 -> /dev/tty

lrwx------ 1 troy troy 64 2011-02-11 02:47 7 -> /dev/pts/21

lrwx------ 1 troy troy 64 2011-02-11 02:47 8 -> /dev/pts/20

lrwx------ 1 troy troy 64 2011-02-11 02:47 9 -> /dev/pts/20

----------------------------------------------------

此时会依次打开以下的文件,对网络套字接进行分析,各文件作用如下:

/proc/net/raw ---->原始套接字

/proc/net/unix ---->UNIX套接字

/proc/net/sockstat ---->当前套接字的使用情况

/proc/net/tcp ---->TCP套接字

/proc/net/udp ---->UDP套接字

/proc/net/udplite --->UDP无线通讯套接字

在/proc/net/tcp会找到对映的inode,socket:[1603924]的inode为1603924,而tcp中sl为12的一行正是这个socket服务.如下:

----------------------------------------------------

more /proc/net/tcp

sl local_address rem_address st tx_queue rx_queue tr tm->when retrnsmt uid timeout inode

0: 00000000:0087 00000000:0000 0A 00000000:00000000 00:00000000 00000000 0 0 8984 1 ffff8800677d1380 300 0 0 2 -1

1: 00000000:0369 00000000:0000 0A 00000000:00000000 00:00000000 00000000 0 0 8575 1 ffff8800677d0d00 300 0 0 2 -1

2: 00000000:0050 00000000:0000 0A 00000000:00000000 00:00000000 00000000 0 0 8673 1 ffff880068c51a00 300 0 0 2 -1

3: 00000000:1770 00000000:0000 0A 00000000:00000000 00:00000000 00000000 0 0 5350 1 ffff880068c50680 300 0 0 2 -1

4: 00000000:0016 00000000:0000 0A 00000000:00000000 00:00000000 00000000 0 0 4315 1 ffff880068c50000 300 0 0 2 -1

5: 0100007F:0277 00000000:0000 0A 00000000:00000000 00:00000000 00000000 0 0 25571 1 ffff88001a06c780 300 0 0 2 -1

6: 00000000:0BB8 00000000:0000 0A 00000000:00000000 00:00000000 00000000 0 0 7881 1 ffff8800677d0680 300 0 0 2 -1

7: 00000000:BD59 00000000:0000 0A 00000000:00000000 00:00000000 00000000 0 0 8986 1 ffff880068c52080 300 0 0 2 -1

8: 0100007F:0019 00000000:0000 0A 00000000:00000000 00:00000000 00000000 0 0 6304 1 ffff880068c50d00 300 0 0 2 -1

9: 4506010A:D6E9 0701010A:0016 01 00000000:00000000 02:00028405 00000000 1502 0 1603452 2 ffff880057896180 22 4 8 5 -1

10: 4506010A:89A5 0701010A:0016 01 00000000:00000000 02:00091EFF 00000000 1502 0 1672803 2 ffff88001a068680 25 4 18 4 -1

11: 4506010A:872E 0701010A:0016 01 00000000:00000000 02:0004B77C 00000000 1502 0 1177942 2 ffff880057893a80 125 4 0 3 2

12: 4506010A:A397 0701010A:0016 01 00000000:00000000 02:0004D6A6 00000000 1502 0 1603924 2 ffff880057894e00 23 4 0 5 -1

13: 4506010A:BD31 0701010A:0016 01 00000000:00000000 02:000139A5 00000000 1502 0 1345002 2 ffff880057897500 22 4 0 5 -1

14: 4506010A:8F21 0701010A:0016 01 00000000:00000000 02:000192BE 00000000 1502 0 1351794 2 ffff880057896800 25 4 12 4 -1

15: 4506010A:8AD1 0701010A:0016 01 00000000:00000000 02:00094915 00000000 1502 0 1447912 2 ffff880068c55b00 21 4 14 4 -1

----------------------------------------------------

其中local_address代表本地的IP和端口

4506010A(本地地址)的45转化为十进制是69,06转化为十制制是6,01转化为十进制是1,0A转化为十进制是10,倒过来也就是10.1.1.69,是本地地址.

A397(本地端口)转化为十进制是41879,也就是本地端口

rem_address代表远程IP和端口

0701010A(远程地址):10.1.1.7

0016(远程端口)22

其它参数都是内核调试时使用

uid就是用户的UID

4)显示所属user进程打开的文件

----------------------------------------------------

root@troy:/proc/2554# lsof -u test -w

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

su 2554 test cwd DIR 8,1 4096 2 /

su 2554 test rtd DIR 8,1 4096 2 /

su 2554 test txt REG 8,1 36864 262185 /bin/su

su 2554 test mem REG 8,1 27024 797476 /lib/libnss_lsass.so.2.0.0

su 2554 test mem REG 8,1 10272 1102794 /usr/lib/gconv/IBM850.so

su 2554 test mem REG 8,1 14392 1102782 /usr/lib/gconv/UTF-16.so

su 2554 test mem REG 8,1 43528 795516 /lib/security/pam_gnome_keyring.so

su 2554 test mem REG 8,1 256768 787477 /lib/libdbus-1.so.3.4.0

su 2554 test mem REG 8,1 14536 1052877 /usr/lib/libck-connector.so.0.0.0

su 2554 test mem REG 8,1 10360 795488 /lib/security/pam_ck_connector.so

su 2554 test mem REG 8,1 14344 787928 /lib/libgpg-error.so.0.4.0

su 2554 test mem REG 8,1 491000 787918 /lib/libgcrypt.so.11.5.2

su 2554 test mem REG 8,1 92752 786985 /lib/libz.so.1.2.3.3

su 2554 test mem REG 8,1 67896 1055840 /usr/lib/libtasn1.so.3.1.7

su 2554 test mem REG 8,1 10224 787804 /lib/libkeyutils-1.2.so

su 2554 test mem REG 8,1 31168 1050775 /usr/lib/libkrb5support.so.0.1

su 2554 test mem REG 8,1 14584 798518 /lib/libcom_err.so.2.1

以下略

----------------------------------------------------

通过strace,我们知道lsof通过stat系统调用得到这个进程的目录owner,正是我们要找的用户进程.

如下:

stat("/proc/2554/", {st_mode=S_IFDIR|0555, st_size=0, ...}) = 0

open("/proc/2554/stat", O_RDONLY) = 4

read(4, "2554 (su) S 2533 2554 2533 34817"..., 4096) = 241

最后lsof通过调用cwd,root,fd,fdinfo,maps以及网络套接字显示输出用户进程所使用的文件.

5)显示网络服务

----------------------------------------------------

root@troy:~# lsof -i

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

smbd 767 root 22u IPv6 4410 0t0 TCP *:microsoft-ds (LISTEN)

smbd 767 root 23u IPv6 4412 0t0 TCP *:netbios-ssn (LISTEN)

sshd 787 root 3u IPv4 4227 0t0 TCP *:ssh (LISTEN)

sshd 787 root 4u IPv6 4229 0t0 TCP *:ssh (LISTEN)

avahi-dae 809 avahi 13u IPv4 4568 0t0 UDP *:mdns

avahi-dae 809 avahi 14u IPv4 4569 0t0 UDP *:50511

dhclient 883 root 5u IPv4 4530 0t0 UDP *:bootpc

Xorg 912 root 1u IPv6 4705 0t0 TCP *:x11 (LISTEN)

Xorg 912 root 3u IPv4 4706 0t0 TCP *:x11 (LISTEN)

dcerpcd 1132 root 15u IPv4 8845 0t0 TCP *:loc-srv (LISTEN)

dcerpcd 1132 root 16u IPv4 8846 0t0 UDP *:loc-srv

eventlogd 1261 root 14u IPv4 8850 0t0 TCP *:55846 (LISTEN)

exim4 1563 Debian-exim 3u IPv4 6359 0t0 TCP localhost:smtp (LISTEN)

以下略

----------------------------------------------------

lsof通过遍列所有进程的所有文件句柄,找到网络套接字,再通过/proc/net/下面的网络信息得到具体的套接字信息.