Python 编写的分析网速程序

我们宿舍原来是 7 个人共享一个 1M 的 ADSL 宽带，最近感觉这点带宽用起来是越来越力不从心了，所以我们打算做一次全面的分析，看看到底是谁的哪种网络应用占用带宽比较多。

首先得测试一下大家在正常使用时的网速。还好我们的 TP-Link 的那个路由器有流量统计的功能，打开这功能后路由器的管理页面可以看到数据。但只有每时刻的总流量，手工来做的话还得每几秒计一次数据，然后再除以总时间才能算得出每秒的速率。

本想用 C++ 来写个程序给它自动获取页面，然后提取数据自动计算出来。后来想想还是选用的 Python。Python 的 httplib 就可以很方便的收发 Http 数据，sgmllib 可以很方便的分析 HTML 格式的数据。

这次是第一次使用 sgmllib。上网查了好久才知道这个东西的用法，但是国内好像很少有讲这些的，后来大多都是从国外的英文站点看到的文章学习来的。使用的时候，一般自己写一个类来继承 SGMLParser，在 feed() 函数里面将要分析的数据输入进来。然后写一个 start_xxx 和 end_xxx 的函数来处理名字为 xxx 的 HTML 标签，也就是每当遇到 xxx 的标签就会用那两个函数处理。handle_data 函数是处理标签框起来的数据的，比如<xxx width="50"> abcd </xxx>这样，abcd 就是标签 xxx 框起来的数据。

全部代码如下：

1 import sys, httplib, time, sgmllib
2
3 class SpeedHTML(sgmllib.SGMLParser):
4
5 def __init__(self, verbose=0):
6 sgmllib.SGMLParser.__init__(self, verbose)
7 self.status = 0
8 self.td = 1
9 self.in_tag = 0
10 self.ipAddr = []
11 self.ipData = []
12
13 # 输入分析的数据 s
14 def parse(self, s):
15 self.feed(s)
16 self.close()
17
18
19 #============== 处理 p 标签以获得 IP 地址
20 def start_p(self, attributes):
21 for name, value in attributes:
22 if name == "align" and value == "left":
23 self.status = 1
24 self.in_tag = 1
25
26 def end_p(self):
27 self.status = 0
28 #============== tag_p
29
30
31
32 #============== 处理 td 标签以获得流量的字节数
33 def start_td(self, attributes):
34 for name, value in attributes:
35 if name == "width" and value == "85":
36 # 因为有两个 td 标签是 width = 85 的, 所以这里特殊处理一下
37 self.td = self.td + 1
38 self.status = 2
39 self.in_tag = 1
40
41 def end_p(self):
42 self.status = 0
43 #============== tag_td
44
45
46
47 def handle_data(self, data):
48 if self.status == 1 and self.in_tag == 1 :
49 self.ipAddr.append(data)
50 self.in_tag = 0
51
52 if self.status == 2 and self.in_tag == 1 and self.td % 2 == 0:
53 self.ipData.append(int(data))
54 self.in_tag = 0
55
56
57
58 def get_ipAddr(self):
59 return self.ipAddr
60
61 def get_ipData(self):
62 return self.ipData
63
64
65 print "test starting..."
66
67 headers = {
68 "Accept": "*/*",
69 "Referer": "http://192.168.36.1/",
70 "Accept-Language": "zh-cn",
71 "Accept-Encoding": "gzip, deflate",
72 "User-Agent": "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727)",
73 "Host": "192.168.36.1",
74 "Connection": "Keep-Alive",
75 "Authorization": "Basic YWRtaW46MjQ1MjQ2"
76 # 因为登录路由器网页需要密码, 所以有 Authorization 这一项
77 # 使用这个项目就不用 urllib2 里面的那个 HTTPBasicAuthHandler 类了
78 # 这些数据由网络抓包来的数据中来的
79 }
80
81 while 1:
82 ipAddr = []
83 ipData = []
84 result = []
85
86 # 每隔 2 秒获取一次数据, 共获取两次
87 for i in range(0, 2):
88 con1 = httplib.HTTPConnection("192.168.36.1")
89 con1.request("GET", "/userRpm/SystemStatisticRpm.htm", "", headers)
90 r1 = con1.getresponse()
91
92 if r1.status == 200:
93 r1.read(3796)# 前面有一部分数据完全没有用, 所以预读一下忽略掉它
94 d = r1.read()# 开始有用的数据
95
96 sg = SpeedHTML()
97 sg.feed(d)
98
99 ipAddr = sg.get_ipAddr()
100 ipData.append(sg.get_ipData())
101
102 con1.close()
103 time.sleep(2)
104
105 for i in range(0, len(ipAddr)):
106 # 计算刚才获取数据那段时间的流量,单位: kb/s
107 result.append((ipData[1][i] - ipData[0][i]) / 4 / 1000)
108 print "IP: ", ipAddr[i], " is ", result[i], " kb/s"
109 print "=============================="

运行结果如下：

test starting...
IP: 192.168.36.41 is 65 kb/s
IP: 192.168.36.55 is 0 kb/s
IP: 192.168.36.102 is 4 kb/s
IP: 192.168.36.103 is 0 kb/s
IP: 192.168.36.106 is 0 kb/s
IP: 192.168.36.205 is 0 kb/s
==============================
IP: 192.168.36.41 is 58 kb/s
IP: 192.168.36.55 is 0 kb/s
IP: 192.168.36.102 is 4 kb/s
IP: 192.168.36.103 is 0 kb/s
IP: 192.168.36.106 is 0 kb/s
IP: 192.168.36.205 is 0 kb/s
==============================
IP: 192.168.36.41 is 43 kb/s
IP: 192.168.36.55 is 0 kb/s
IP: 192.168.36.102 is 4 kb/s
IP: 192.168.36.103 is 0 kb/s
IP: 192.168.36.106 is 0 kb/s
IP: 192.168.36.205 is 0 kb/s
==============================
IP: 192.168.36.41 is 52 kb/s
IP: 192.168.36.55 is 0 kb/s
IP: 192.168.36.102 is 7 kb/s
IP: 192.168.36.103 is 0 kb/s
IP: 192.168.36.106 is 0 kb/s
IP: 192.168.36.205 is 0 kb/s
==============================
IP: 192.168.36.41 is 49 kb/s
IP: 192.168.36.55 is 0 kb/s
IP: 192.168.36.102 is 6 kb/s
IP: 192.168.36.103 is 0 kb/s
IP: 192.168.36.106 is 0 kb/s
IP: 192.168.36.205 is 0 kb/s
==============================