Python下载网络图片

1 #coding=utf-8
2
3 import re
4 import requests   #可以不加
5 import urllib
6 import os
7 import MySQLdb
8
9 #初始化配置参数
10 path = 'img/' #图片存放目录
11 tableName0 = 'imgTable' #表名
12 #文件操作，如果不存在该目录，创建文件夹
13 if not os.path.exists(path):
14     os.makedirs(path)
15
16 # 连接数据库 mysql
17 conn= MySQLdb.connect(
18         host='localhost',
19         port = 3306,
20         user='root',
21         passwd='123',
22         db ='test',
23         charset='utf8',
24         )
25 cur = conn.cursor()
26 print "连接成功"
27
28 # 如果数据表已经存在使用 execute() 方法删除表。
29 cur.execute("DROP TABLE IF EXISTS %s" % tableName0)
30 #创建数据表
31 cur.execute("create table %s(num varchar(2) ,name varchar(200),url varchar(200))" % tableName0)
32
33 #获取html网页
34 def getHtml(url):
35     page = urllib.urlopen(url)
36     html = page.read()
37     return html
38
39 #根据网页内容获取图片地址列表
40 def getImg(html):
41     reg = r'" src="(.+?\=550x0)" style="'
42     imgre = re.compile(reg)
43     imglist = imgre.findall(html)
44     print imglist
45     return imglist
46 #t图片保存
47 def save_img(url,path):
48     message = None
49     print path
50     try:
51         file = open(path + os.path.basename(url),'wb')
52         request = urllib.urlopen(url)
53         file.write(request.read())
54     except Exception as e:
55         #捕获异常，定义异常实例e，可以捕获除与程序退出sys.exit()相关之外的所有异常
56         message = str(e)
57         print message
58     else:
59         #如果try中的语句没有引发异常，则执行else中的语句
60         message = os.path.basename(url)
61     finally:
62         #无论是否出现异常，都执行的代码
63         if not file.closed:
64             file.close()
65     return message
66
67 #插入数据
68 def insertIntoDb(list):
69     i = 1
70     for imgurl in list:
71         id1 = i
72         urlR = dealURL(imgurl, '?imageView&thumbnail=550x0')
73         name = os.path.basename(urlR)
74         # 插入数据
75         sql = 'insert into %s values( \'%d\',\'%s\',\'%s\')' % (tableName0, id1, name, urlR)
76         cur.execute(sql)
77
78 #处理url，处理成以.jpg或.png结尾的url
79 def dealURL(url,str):
80     #方法一：截取
81     # 从左往右，第一个（默认）到倒数第三十个结束，截取间距为1.
82     # urlTemp = url[:-30:1]
83     #方法二：替换
84     urlTemp = url
85     urlTemp = urlTemp.replace(str,'')
86     return urlTemp
87
88 #保存图片到本地，在本程序中没用到
89 def saveImge(imgList):
90     x = 1
91     for imgurl in imgList:
92         #方法一
93         # urllib.urlretrieve(imgurl, '%s.jpg' % x)
94         # print imgurl
95
96         #方法二，可定义存储位置
97         pic = requests.get(imgurl, timeout=10)
98         string = path + str(x) + '.jpg'
99         fp = open(string, 'wb')
100         fp.write(pic.content)
101         fp.close()
102
103         #方法三，图片名为url后面的一串
104         # path1 = path + str(x)+'--'   #添加数字方便统计
105         # save_img(imgurl,path1)
106
107         x += 1
108
109 # 方法四，从数据库获取，然后下载
110 def saveImageFromDb():
111     # 获得表中有多少条数据
112     allData = cur.execute("select * from %s" % tableName0)
113     print allData
114     # 打印表中的多少数据
115     list = cur.fetchmany(allData)
116     x=1
117     for data in list:
118         path1 = path + str(x) + '--'
119         #data有三项，分别[0,1,2]，对应的为[num,name,url]
120         url= data[2]
121         print url
122         save_img(url, path1)
123         x+=1
124     print "保存完成"
125
126 html = getHtml("http://news.163.com/17/0831/07/CT5B1SJB000181BT.html")
127 imgList123 = getImg(html)
128 insertIntoDb(imgList123)
129 saveImageFromDb()
130 # saveImge(imgList123)
131
132 # #翻转测试
133 # sStr1 = 'abcdefg'
134 # sStr1 = sStr1[::-1]
135 # print sStr1
136
137 #截取测试
138 # str = '0123456789'
139 # print "1:",str[:-1:2]
140 # print "2:",str[:0:-3]
141 # print "3:",str[-8:8:2]
142 # print "4:",str[-2:2:-2]
143 # print "5:",str[:-1:]
144 # print "6:",str[::]
145 # print "7:",str[::-1][:3]
146
147 #关闭数据库
148 cur.close()
149 conn.commit()
150 conn.close()