中国大学排名爬虫
2018-01-16 19:59
225 查看
最近一直想学网页爬虫,相信很多人跟我一样选择了北京理工大学的教程,个人感觉老师讲的还不错,毕竟每个视频的时间不过6分钟左右吧。在单元6中,老师详解了实例《中国大学排名爬虫》,我按照老师的代码,执行时出现typeerror,现将修改后的代码附上:
所爬网站信息如下:
代码执行结果如下所示:
(顺便吐槽一下,学校排名又下降了55555)
import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url, timeout = 30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "" def fillUnivList(ulist, html): soup = BeautifulSoup(html,"html.parser") for tr in soup.find('tbody').children: if isinstance(tr, bs4.element.Tag): tds = tr('td') ulist.append([tds[0].contents[0], tds[1].string, tds[2].string, tds[3].string]) def printUnivList(ulist, num): print("{:^10}\t{:^6}\t{:^10}\t{:^10}".format("排名","学校名称","省份","总分")) for i in range(num): u = ulist[i] print("{:^10}\t{:^6}\t{:^10}\t{:^10}".format(u[0], u[1], u[2], u[3])) def main(): uinfo = [] url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming2017.html' html = getHTMLText(url) fillUnivList(uinfo, html) printUnivList(uinfo, 30) main() |
代码执行结果如下所示:
(顺便吐槽一下,学校排名又下降了55555)
相关文章推荐
- 中国大学排名爬虫
- requests‐bs4路线实现中国大学排名定向爬虫
- python爬虫由浅入深7--基于中国大学排名的定向爬虫
- Python网络爬虫与信息提取-Day10-(实例)中国大学排名定向爬虫
- python爬虫定向爬取中国大学排名
- python爬虫学习 之 定向爬取 中国大学排名
- 爬虫实例(二)——中国大学排名爬虫
- 爬取中国大学排名
- 计算机科学与技术专业--2012年本科554所中国大学分专业排名
- 计算机科学与技术专业--2012年本科554所中国大学分专业排名
- 使用Python爬取中国大学排名,并格式化对其输出内容
- 中国大学排名定向爬取实例
- [转]中国大学金融专业排名
- 用python爬虫爬取百度外卖店铺排名
- 2009年中国大学计算机专业权威排名
- 中国大学计算机专业排名
- 2004年中国大学工学排名!母校进入前十!!!
- python3.x爬虫:爬取大学排名数据
- 爬虫实例(中国大学排名前10)
- 爬虫抓取BestCoder的比赛排名