python简易爬虫制作
2016-10-22 16:47
288 查看
编译环境:pycharm 4.5.3python版本:3.5.1首先从pycharm库中下载并安装BeautifulSoup4,lxml,requests,time插件以KnewOne为例:
from bs4 import BeautifulSoup import requests import time url='https://knewone.com/things' web_data=requests.get(url) #利用requests访问网页 soup=BeautifulSoup(web_data.text,'lxml') #解析网页 titles=soup.select(' section.content > h4 > a ') #网页元素定位 imgs=soup.select('a.cover-inner > img') for title,img in zip(titles,imgs): #少部分数据可以先用字典封装,大数据再考虑用数据库 data={ 'title':title.get_text(), 'img':img.get('src'), } print(data)
此外,发现KnewOne的“产品”页面为一个异步加载网页,那么,如何爬取一页所有的信息呢?
def get_info(url,data=None):web_data=requests.get(url)soup=BeautifulSoup(web_data.text,'lxml')titles=soup.select(' section.content > h4 > a ')imgs=soup.select('a.cover-inner > img')if(data==None):for title,img in zip(titles,imgs):data={'title':title.get_text(),'img':img.get('src'),}print(data)def get_mor_pages(start,end):for one in range(start,end):get_info(url+str(one))
相关文章推荐
- python学习:urllib库学习:制作简易爬虫下载图片
- python实现简易采集爬虫
- python实现简易采集爬虫
- Python网络爬虫之网盘爬虫【简易版】
- Python制作爬虫采集小说
- python实现简易网络爬虫
- Python写的简易采集爬虫(蜘蛛)
- 2015.12.25Python 简易爬虫-
- python制作爬虫(不定时更新)
- python 简易爬虫
- python制作花瓣网美女图片爬虫
- python简易爬虫来实现自动图片下载
- 【python】简单爬虫制作(汽车之家&易车网报价爬虫)
- Windows 环境下运用Python制作网络爬虫
- python爬虫第一课,制作搜索引擎
- Python简易爬虫以及嵌套数据类型
- python实现简易采集爬虫
- 使用node.js制作简易爬虫
- mac 上python简易爬虫
- 简易Java爬虫制作