[python3.6]爬虫实战之爬取淘女郎图片

原博主地址：http://cuiqingcai.com/1001.html

原博是python2.7写的，并且随着淘宝代码的改版，原博爬虫已经不可用。

参考 http://minstrel.top/TaoBaoMM 这位博主跟我一样最近正在学习爬虫。

1 定个小目标

lcw先生听说我即将爬取美女的照片，两眼都亮了。没错，我要给他福利了（其实女生也很喜欢美女）。

所以，定个最小的目标：

1.在F盘建立美女文件夹

2.文件夹下按照淘女郎美人库默认美人排序，抓取31个美女的信息（因为一页默认是30个人，不至于太少，也能太多要不然抓取时间太多，lcw的破电脑也装不下）

3.每个以美人名字命名的文件夹下，取10张照片（内容小，别介）

2 抓取过程

进入淘女郎首页之后，点击找模特，进入我们需要爬取的页面。可以看到页面上是默认tag在美人库上。也即是有30位默认的美人出现在页面。每一位有相应的照片以及个人信息。30位美人下方，是页码和总美人数的信息。因为我也是web出身。像这种信息和数量都有变化的信息展示，肯定不是静态页面。一般都是通过js动态加载而来。通过开发者工具（google浏览器，F12,
Json handle插件 感谢小伙伴告诉我这个插件）,动态监控network.在查找加载信息的http时，我犯了个错误，一直以为返回的信息应该是json信息。这是我们post返回结果最常见的格式，但事实是返回的xhr信息。这就是抓包工具用得少的下场，哭。

明确了type是xhr后，很快找到了这个：

https://mm.taobao.com/tstar/search/tstar_model.do?_input_charset=utf-8[/code]在headers里面 fromdata中查看source可以看到参数列表：

q=&viewFlag=A&sortType=default&searchStyle=&searchRegion=city%3A&searchFansNum=¤tPage=2&pageSize=100


我们只需要currentPage这个参数。
https://mm.taobao.com/tstar/search/tstar_model.do?_input_charset=utf-8¤tPage=2可以立刻看到下一页的信息。



输入这个网址，借助json handle插件得到：
可以看到页面上清楚的显示了当前页面上30位佳丽的信息，以及当前页面，总共美女数目。
其实这些信息也可以通过正则匹配来得到，不过相对于直接使用js获取，肯定后者更快捷。
2 目标
1.找到模特总页数
2.找到所得页的模特的json格式的信息，这一步主要为了获取每个模特的id。只有知道id才能进入到她的主页。这里
有一个十分重要的信息，是之前我忽略了的。就是动态页面。爬虫通过url可以得到一个页面，也无法得到加载该页面
时通过参数动态加载的内容。所以，这里想要通过url直接得到模特的信息内容是不可能的。这是静态页面与动态
页面的区别。
3.找到相册总页数
4.找到所得相册页的json格式的信息。与第二步相似。得到每个相册的id.
5.通过相册id得到每个相册的url。通过该url爬取该相册下的内容。

（身为一个大写的直男，lcw同学在看到我的目标之后，提出了更进一步的要求：要筛选出理想身高理想颜值的mm。好，
后期为你实现。）

3 按照目标步骤写程序
3.1 根据https://mm.taobao.com/tstar/search/tstar_model.do?_input_charset=utf-8¤tPage=1可以得到上述
图片中展示的信息。程序如下：
#!usr/bin/env/python
#encoding:UTF-8

import urllib
import requests
import json
import os
import re
import time

currentPage = 1

headers = {
'User-Agent': r'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT) '
r'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
'Connection': 'keep-alive'
}
url = 'https://mm.taobao.com/tstar/search/tstar_model.do?_input_charset=utf-8'
try:
data = urllib.parse.urlencode({"currentPage":currentPage}).encode('utf-8')
request = urllib.request.Request(url,data = data, headers = headers)
res = urllib.request.urlopen(request).read().decode('gbk')
print(res)
except urllib.error.URLError as e:
if hasattr(e, "reason"):
print("连接失败，错误原因：",e.reason)

注意，这里的res是使用gbk。这个也是通过network中查看response得到的。

3.2 点击一位模特（以朱琳为例）的主页面，得到地址https://mm.taobao.com/self/model_album.htm?

spm=719.7800510.a312r.17.xcy6bS&user_id=176817195。spm不知道是什么暂时不管。user_id已经通过上面的json

得到了。那么怎么得到动态加载得到的相册信息呢。F12，刷新查看，得到返回值为xhr的一个请求地址：https://mm.taobao.com/self/album/open_album_list.htm?_charset=utf-8&user_id%20=176817195。

在地址栏输入上面的地址得到图片：



以上信息虽然不是json格式的信息，但是我们欣喜的发现，所需要的信息全部在这里。用爬虫获取上述url的html内容

相册ID和相册总页数都得到了。其实跟json差不多。

多说一句。本来我查看原始页面，不是这个中间请求页面时，想要根据下面这个获得总的相册页数:

查看：



的源码：



之前是希望通过上述代码得到总页面数'9'. 发现通过https://mm.taobao.com/self/model_album.htm?user_id=17681

7195无法获取上述Html.

只能找到加载该页面时的动态请求https://mm.taobao.com/self/album/open_album_list.htm?_charset=utf-8&user

_id%20=176817195的源码，从而得到：



老实说这种方法真的很笨。不知道有没有更简易的方式。

找到相册ID后。，通过https://mm.taobao.com/self/album_photo.htm?user_id=176817195&album_id=10000962815

点击进入相册，同样查找xhr文件，找到：https://mm.taobao.com/self/album/album_photo_list.htm?user_id=

176817195&album_id=301783179&album_flag=0，直接打开该连接源码找到：
https://mm.taobao.com/album/json/get_album_photo_list.htm?user_id=176817195&album_id=10000794223&page=1
这总算找到了相册的信息。



这个信息简直要什么有什么啊。

好了。

现在开始写程序：

#!usr/bin/env/python
#encoding:UTF-8

import urllib
import requests
import json
import os
import re
import time

class MMSpider:

def __init__(self):
self.__code_type = 'gbk'
self.__http = 'http:'
# 美人库动态加载xhr数据的url
self.__url = 'http://mm.taobao.com/tstar/search/tstar_model.do?_input_charset=utf-8'
# 模特主页地址
self.__person_url = 'http://mm.taobao.com/self/aiShow.htm?userId='
#相册地址
self.__all_album_url = 'https://mm.taobao.com/self/album/open_album_list.htm?_charset=utf-8&user_id%20='
# 具体相册地址
self.__pic_url = "https://mm.taobao.com/album/json/get_album_photo_list.htm?user_id="
# 存储照片的基地址
self.__save_path = 'F:\Beauty'
# 想要获取的页数
self.__total_page = 1
# 当前正在提取的页数
self.__currentPage = 1
# 找到具体album的id的正则表达式
self.__album_id_pattern = re.compile('''<h4>.*?album_id=(.*?)&''', re.S)
# album有多少的的正则表达式

# 找到具体album的id的正则表达式
self.__album_page_pattern = re.compile('''<input name="totalPage" id="J_Totalpage" value="(.*?)"''', re.S)

#根据动态请求获取需要的第X页的json数据，找出userId
def get_person_dict(self, currentPage):
try:
data = {
"currentPage":currentPage
}
data = urllib.parse.urlencode(data).encode('utf-8')
request = urllib.request.Request(self.__url, data=data)
response = urllib.request.urlopen(request)
result = response.read().decode(self.__code_type)
return json.loads(result)
except urllib.error.URLError as e:
print('美人动态加载信息出错',e.reason)

# 根据得到的userID,找到相册的总页数
def get_album_page(self, userId):
try:
all_album_url = self.__all_album_url+str(userId)
res = urllib.request.urlopen(all_album_url)
html = res.read().decode(self.__code_type)
return re.search(self.__album_page_pattern, html).group(1)
except urllib.error.URLError as e:
print('动态加载相册总信息出错',e.reason)
return None

# 由得到的相册总页数范围内指定的页数，获取该页所有相册的ID
def get_album_ids(self, userId, page):
try:
all_album_url = self.__all_album_url + str(userId) + "&" + str(page)
request = urllib.request.Request(all_album_url)
response = urllib.request.urlopen(request)
html = response.read().decode(self.__code_type)
# 提取该页中album的id
return re.findall(self.__album_id_pattern, html)
except urllib.error.URLError as e:
print("提取相册id出错了！", e.reason)

# 找到一个相册内的图片有多少页
def get_pic_page(self, userId, albumId):
try:
# 先得到这个相册一共有多少页
url = self.__pic_url + str(userId) + "&album_id=" + str(albumId)
response = urllib.request.urlopen(url)
result = json.loads(response.read().decode(self.__code_type))
return result["totalPage"]
except urllib.error.URLError as e:
print(e.reason)
return None

# 根据相册图片页数获取指定页数的图片信息
def get_img_url(self, person, j, album_id):
url = self.__pic_url + str(person["userId"]) \
+ "&album_id=" + str(album_id) \
+ "&page=" + str(j)
try:
response = urllib.request.urlopen(url, timeout=5)
result = response.read().decode(self.__code_type)
imgs_url = json.loads(result)["picList"]
return imgs_url
except TimeoutError as e:
print('1',e.strerror)
except urllib.error.URLError as e:
print('2',e.reason)
except BaseException as e:
print('3',e.args)
# 保存model的个人信息
def save(self, searchDOList):
for person in searchDOList:
dir_path = self.__save_path+'\\'+person['realName']
if self.mkdir(dir_path):
txt_path = dir_path+'\\'+person['realName']+'.txt'
self.write_txt(txt_path, person)
self.save_imgs(person,dir_path)

def mkdir(self, dir_path):
if(os.path.exists(dir_path)):
return False
else:
os.mkdir(dir_path)
return True

def write_txt(self,txt_path, person):
person_url = self.__person_url+str(person['userId'])
content = "姓名：" + person["realName"] + " 城市：" + person["city"] \
+ "\n身高：" + str(person["height"]) + " 体重：" + str(person["weight"]) \
+ "\n喜欢：" + str(person["totalFavorNum"]) \
+ "\n个人主页：" + person_url
with open(txt_path, 'w',encoding='utf-8')as file:
print('正在保存%s的文字信息'%(person['realName']))
file.write(content)
file.close()

def save_imgs(self, person, dir_path):
album_page = self.get_album_page(person['userId'])
print(album_page)
img_index = 1
for i in range(1, int(album_page)+1):
album_ids =self.get_album_ids(person["userId"],i)

for album_id in album_ids:
pic_page = self.get_pic_page(person["userId"],album_id)

for j in range(1, int(pic_page)+1):
img_urls = self.get_img_url(person,j,album_id)

for img_url in img_urls:
try:
url = self.__http+img_url["picUrl"]
res = urllib.request.urlopen(url, timeout =5)

with open(dir_path+'\\'+str(img_index)+'.jpg','wb') as file:
file.write(res.read())
if img_index % 10 ==0:
print('sleep 1 second')
time.sleep(1)
if img_index>=11:
print('%s已保存11张辣照'%person['realName'])
file.close()
return
img_index +=1
except TimeoutError as e:
print('1',e.strerror)
except urllib.error.URLError as e:
print('2',e.reason)

def start(self):
print("开始！")
opener = urllib.request.build_opener()
opener.addheaders = [("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.96 Safari/537.36")]
urllib.request.install_opener(opener)
for i in range(self.__total_page):
dict_result = self.get_person_dict(self.__currentPage)
searchDOList = dict_result["data"]["searchDOList"]

# 保存所有本页中MM的信息
self.save(searchDOList)
self.__currentPage += 1

if __name__=="__main__":
spider = MMSpider()
spider.start()