Python 爬虫学习4

任务：爬取58页面中的正常商品，每个商品详情页中的类目、标题、发帖时间、价格、成色、区域、浏览量信息

注意：多开反爬取、看是个人还是商家（url中的0和1）

详情页中的标题

待改进，'http://bj.58.com/pingbandiannao/{}/pn2，这是第二页的，第一页的每个详情页的链接爬不了（问题出在第一页趴下来的关于详情页链接有问题，第一页不同于后面页，后面页也有不同的，都是截取链接时要注意截取的标志是什么），浏览量还没成功

 

from bs4 import BeautifulSoup
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'
}
# url = 'http://bj.58.com/pingbandiannao/26062681492781x.shtml'
# wb_data = requests.get(url)
# soup = BeautifulSoup(wb_data.text, 'lxml')

def get_links_from(who_sells):      #在列表页获取链接
urls = []
url = 'http://bj.58.com/pingbandiannao/{}x.shtml'
list_view = 'http://bj.58.com/pingbandiannao/{}/pn1/'.format(str(who_sells))
wb_data = requests.get(list_view)
soup = BeautifulSoup(wb_data.text, 'lxml')
for link in soup.select('td.t a.t'):
urls.append(url.format(link.get('href').split('=')[-1].split('_')[0]) )    #指定字符串以？分为两部分,因为第一页和后续页数有不同的格式，所以找到他们之间通用的格式
return urls
# print(urls)
''' http://bj.58.com/pingbandiannao/29292515289012x.shtml?psid=159059162195147270219031821&entinfo=29292515289012_0 http://bj.58.com/pingbandiannao/26213204416840x.shtml?psid=159059162195147270219031821&entinfo=26213204416840_0&iuType=p_1&PGTID=0d305a36-0000-1fe0-6998-6f094bc793e8&ClickID=1
'''

def get_views_from(url):
id = url.split('/')[-1].strip('x.shtml')        #获取每一个详情页的唯一特性
api = 'http://jst1.58.com/counter?infoid={}'.format(id)
js = requests.get(api, headers=headers)
views = js.text.split('=')[-1]
return views
# print(views)

def get_item_info(who_sells=1):     #详情页，who_sells = 1 是商家
urls = get_links_from(who_sells)
for url in urls:
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text, 'lxml')
title = soup.title.text     #直接在标题中找
price = soup.select('span.price')     #大型网络直接copy的select太复杂，采取简化,详情页简单，“#”代表id
print(price)
date = soup.select('.time')
view = soup.select('em#totalcount')
# area = soup.select('span.c_25d')
data = {        #转转网的几个参数会不同,目前不考虑转转网的
'title':title,
'price':soup.select('span.price')[0].text,      #单一元素，一个列表中只有一个元素，取出来的是标签，进行text
'date':date[0].text,
'area':list(soup.select('.c_25d')[0].stripped_strings) if soup.find_all('span','c_25d') else None,
'cata':'个人'if who_sells == 0 else'商家',     #分类，商家还是个人
'views':get_views_from(url)     #浏览量,js请求,浏览量在source中
}
print(data)
# get_item_info(url)
# get_links_from(1)
# get_views_from(url)
get_item_info()