python3 怎么爬取新闻网站?
2017-04-08 02:02
267 查看
先开个坑,以后再填吧.......
import requests from bs4 import BeautifulSoup def content(url): text = requests.get(url) text.encoding = 'utf-8' soup2 = BeautifulSoup(text.text,'html5lib') header2 = soup2.select('h1')[0].text text2 = soup2.select('#artibody')[0].text time2 = soup2.select('.time-source')[0].text print(header2,text2,time2,'\n\n\n') res = requests.get('http://news.sina.com.cn/china/') res.encoding = 'utf-8' soup = BeautifulSoup(res.text,"html5lib") for news in soup.select('.news-item'): if len(news.select('h2')) > 0: header = news.select('h2')[0].text link = news.select('a')[0]['href'] time = news.select('.time')[0].text print(link,time) content(link)
相关文章推荐
- python爬虫 根据关键字在新浪网站查询跟关键字有关的新闻条数(按照时间查询)
- 【Python】爬虫爬取各大网站新闻(一)
- django+python开发的网站怎么静态引用img图片
- Python爬虫爬取网站新闻
- python3爬虫 爬取图片,爬取新闻网站文章并保存到数据库
- Python 抓取【参考消息网站】的新闻
- python3爬取新闻网站的所有新闻-新手起步
- Python 利用 BeautifulSoup 爬取网站获取新闻流
- 基于python Scrapy的爬虫——爬取某网站新闻内容
- 看Techmeme怎么造就科技界必读新闻网站
- Python爬虫项目,获取所有网站上的新闻,并保存到数据库中,解析html网页等(未完待续)
- 真正开始学习,asp.net了,可是不知道怎么在新闻首页添加可以滚动的新闻条。
- 网摘精灵教程:网站被搜索引擎屏蔽了,怎么办
- C#版的网站新闻发布系统
- 怎么改善现有网站
- 行业网站,怎么做?
- 一些与python有关的网站
- 怎么改善现有网站
- 日语新闻听力网站
- 怎么在网站中绝对定位?