采集练习(四) python 获得hao123导航图片分类下的美女图片

　　python实现前几天用php 实现的下载图片功能。

python 版本 2.73

部分代码来自 http://www.php10086.com/2013/01/1278.html

遇到的问题 ：

1、采集执行到30页就出错，程序中断 （问题没解决） 我只好采30页;

2、 open 函数打开文件时候 'w' 模式 保存到本地的图片无法打开， 后来 使用 'wb'模式 问题得到解决;

3、 没有后缀的图片，默认加上 .jpg 后缀;

4、获得 json 数据必须 带上 User_Agent Referer 否则无法获得。

以下是代码 ：

# -*- coding: utf-8 -*-
import os,json, urllib2, time,socket
socket.setdefaulttimeout(10)
startTime = time.time()
dir = 'D:\python\hao123pic\pic\\'
if not os.path.isdir(dir):
os.mkdir(dir)
j = 1
i = 1
while i < 3:
nums = int(time.time()) * 1000
url = 'http://pic.hao123.com/screen/meinv_meinv/'+str(i)+'?v=' + str(nums) + '&act=type'
request = urllib2.Request(url)
request.add_header('User-Agent', 'Mozilla/5.0')
request.add_header('Referer', 'http://pic.hao123.com/meinv_meinv?style=xl')
opener = urllib2.build_opener()
data = opener.open(request).read()
jsonData = json.loads(data)

for n in jsonData:
if n['picurl_orig']:
req = urllib2.Request(n['picurl_orig'])
imgData = urllib2.urlopen(req).read()
imageName = dir + os.path.basename(n['picurl_orig'])
ext = imageName.split('.')
if len(ext)<2:
imageName = imageName+'.jpg'
file_object = open(imageName, 'wb')
file_object.write(imgData)
file_object.close()
print('img %s_%s is ok' % (i, j))
j += 1
else:
endTime = time.time()
print(endTime - startTime)

i += 1

endTime = time.time()
print(endTime - startTime)