爬取:中国大学排名
2017-08-16 15:35
225 查看
功能:输入大学排名URL链接
输出:大学排名信息的屏幕输出(排名,大学名称,总分)
技术路线:requests-bs4
定向爬虫:进队输入的URL进行爬去,不扩展爬取。
确定是否是:动态脚本信息
找所需要的信息:ctrl+f,查找
确定有无robots协议:http://www.zuihaodaxue.cn/robots.txt,404,不存在。
程序结构设计:
从网络上获取大学排名网页内容,定义一个函数getHTMLText(),其功能是.....
提取网页内容中信息到合适的数据结构,定义第二个函数fillUnivList(),对应步骤2
利用数据结构展示并输出结果,定义第三个函数printUnivList(),对应步骤3
思考:采用列表展示(二维列表)。
排名 学校名称 总分
1 清华大学 95.9
2 北京大学 82.6
3 浙江大学 80
4 上海交通大学 78.7
5 复旦大学 70.9
6 南京大学 66.1
7 中国科学技术大学 65.5
8 哈尔滨工业大学 63.5
9 华中科技大学 62.9
10 中山大学 62.1
11 东南大学 61.4
12 天津大学 60.8
13 同济大学 59.8
14 北京航空航天大学 59.6
15 四川大学 59.4
16 武汉大学 59.1
17 西安交通大学 58.9
18 南开大学 58.3
19 大连理工大学 56.9
20 山东大学 56.3
这是第一次敲一个爬虫,虽然是跟着视频的学习。但是大概知道了所谓编程的逻辑。
首先应该确定所需要做的事情,然后根据事情的需求写函数,确定有多少个需求。然后编写函数(还有主函数)。
学习自北京理工大学,嵩天老师。
输出:大学排名信息的屏幕输出(排名,大学名称,总分)
技术路线:requests-bs4
定向爬虫:进队输入的URL进行爬去,不扩展爬取。
确定是否是:动态脚本信息
找所需要的信息:ctrl+f,查找
确定有无robots协议:http://www.zuihaodaxue.cn/robots.txt,404,不存在。
程序结构设计:
从网络上获取大学排名网页内容,定义一个函数getHTMLText(),其功能是.....
提取网页内容中信息到合适的数据结构,定义第二个函数fillUnivList(),对应步骤2
利用数据结构展示并输出结果,定义第三个函数printUnivList(),对应步骤3
思考:采用列表展示(二维列表)。
import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "" def fillUnivList(ulist, html): soup = BeautifulSoup(html, "html.parser") for tr in soup.find('tbody').children: if isinstance(tr, bs4.element.Tag): tds = tr('td') ulist.append([tds[0].string, tds[1].string, tds[3].string]) def printUnivList(ulist, num): tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}" print(tplt.format("排名","学校名称","总分",chr(12288))) for i in range(num): u=ulist[i] print(tplt.format(u[0],u[1],u[2],chr(12288))) def main(): uinfo = [] url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html' html = getHTMLText(url) fillUnivList(uinfo, html) printUnivList(uinfo, 20) # 20 univs main()
排名 学校名称 总分
1 清华大学 95.9
2 北京大学 82.6
3 浙江大学 80
4 上海交通大学 78.7
5 复旦大学 70.9
6 南京大学 66.1
7 中国科学技术大学 65.5
8 哈尔滨工业大学 63.5
9 华中科技大学 62.9
10 中山大学 62.1
11 东南大学 61.4
12 天津大学 60.8
13 同济大学 59.8
14 北京航空航天大学 59.6
15 四川大学 59.4
16 武汉大学 59.1
17 西安交通大学 58.9
18 南开大学 58.3
19 大连理工大学 56.9
20 山东大学 56.3
这是第一次敲一个爬虫,虽然是跟着视频的学习。但是大概知道了所谓编程的逻辑。
首先应该确定所需要做的事情,然后根据事情的需求写函数,确定有多少个需求。然后编写函数(还有主函数)。
学习自北京理工大学,嵩天老师。
相关文章推荐
- Python网络爬虫与信息提取-Day10-(实例)中国大学排名定向爬虫
- python爬虫学习 之 定向爬取 中国大学排名
- 计算机科学与技术专业--2012年本科554所中国大学分专业排名
- 计算机科学与技术专业--2012年本科554所中国大学分专业排名
- 中国大学排名定向爬虫(实例1)
- 中国大学就业排名后的思考
- 2009年中国大学计算机专业权威排名
- 中国大学排名爬虫
- 2012年中国大学最新排名
- 爬取中国大学排名
- 使用Python爬取中国大学排名,并格式化对其输出内容
- [转]中国大学金融专业排名
- requests‐bs4路线实现中国大学排名定向爬虫
- 2004年中国大学工学排名!母校进入前十!!!
- python爬虫定向爬取中国大学排名
- 武书连2012中国大学入学与毕业质量排名对照
- 定向爬虫:中国大学排名定向爬虫(一)
- 定向爬虫实例之中国大学排名定向爬虫
- 中国大学计算机专业排名
- 爬虫实例(二)——中国大学排名爬虫