爬取动态网站数据(soup的css方式处理数据)
2018-02-05 11:52
295 查看
import requests from bs4 import BeautifulSoup url = 'https://knewone.com/discover?page=' def get_info(url,data=None): wd_data = requests.get(url) soup = BeautifulSoup(wd_data.text,'lxml') titles = soup.select('section.content > h4 > a') imgs = soup.select('a.cover-inner > img') links = soup.select('section.content > h4 > a') for title,img,link in zip(titles,imgs,links): data = { 'title':title.get('title'), 'img':img.get('src'), 'link':link.get('href') } print(data) def get_more(start,end): for one in range(start,end): get_info(url+str(one)) get_more(1,5)
相关文章推荐
- 动态处理css文件的方式
- jquery json xml关于解析两次json数据动态取值的处理方式
- echart折线图 柱形图 数据格式化 动态绑定数据 frame处理
- asp.net中jquery(ajax)方式处理ashx返回的xml数据(转载)
- 在网页中以table形式动态输出数据库中数据的方式(1)html与php混写版
- 《项目经验》--后台一般处理程序向前台JS文件传递JSON,JS解析JSON,将数据显示在界面--显示在DropDownList 或 显示在动态创建的table中
- 【Web】小探部分社交网站对回复他人的处理方式
- 转 ArcGIS Runtime 加载SHAPE数据的另一种方式-动态图层 .
- Hibernate中通过HQL/JPQL查询的方式实现动态数据获取
- 润乾报表统计图数据重叠处理方式
- 用curl抓取网站数据,仿造IP、防屏蔽终极强悍解决方式
- Java多个线程之间处理共享数据的方式
- ASP之处理用Javascript动态添加的表单元素数据的代码
- Fragment 的静态方式和动态方式以及动态方式中fragment之间通过activity传递 数据(接口回调 ):
- Python selenium爬虫抓取船舶网站数据(动态页面)
- Spring MVC处理前台到后台绑定时间格式、doble等数据的解决方式
- HttpWebRequest 向网站提交数据 (post与get方式)
- swiper在进行动态数据加载时的应用和处理
- 用乐观并发方式处理数据库并发冲突以保证数据一直性的代码处理方法
- 用动态生成SQL语句的方法处理数据