python爬虫学习第二十四天
2017-08-17 21:47
375 查看
今天的内容:MySQL里的“六度空间游戏”
这个内容今天可能做不完(今天有点累)
“维基百科六度分隔”问题,其目标是通过一些词条链接寻找两个 词条间的联系(即找出一条链接路径,只要点击链接就可以从一个维基词条到另一个维基 词条) 。 为了解决这个问题,我们不仅需要建立网络爬虫采集网页(之前我们已经做过) ,还要把之前采集的信息以某种形式存储起来,以便后续进行数据分析。
前面介绍过的自增的 id 字段、时间戳以及多份数据表在这里都要用到。为了确定最合理 的信息存储方式,你需要先想想游戏规则。一个链接可以轻易地把页面 A 连接到页面 B。 同样也可以轻易地把页面 B 连接到页面 A,不过这可能是另一条链接。我们可以这样识 别一个链接,即“页面 A 存在一个链接,可以连接到页面 B” 。也就是 INSERT INTO links (fromPageId, toPageId) VALUES (A, B);(其中, “A”和“B”分别表示页面的 ID 号
因此需要设计一个带有两张数据表的数据库来分别存储页面和链接,两张表都带有创建时 间和独立的 ID 号
创建页表
CREATE TABLE wikipediaPages(
id INT NOT NULL AUTO_INCREMENT,
url VARCHAR(255) NOT NULL,
created TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY(id)
)
创建链接表
CREATE TABLE wikipediaLinks(
id INT NOT NULL,
fromPageId INT NULL,
toPageId INT NULL,
created TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY(id)
)
练习 获取并存取贝肯数不超过 6 的词条
insertIfNotExist()函数用来向pages表中存放数据,存放前检查数据是否存在,存储完成后还返回了存储记录的id,设计很巧妙
insertLinks()啊还能输用来向links表中存放数据,一样存放前要检查
getLinks()函数作用是获取当前页面链接并建立路径信息
今天到这里啦,打卡~
这个内容今天可能做不完(今天有点累)
“维基百科六度分隔”问题,其目标是通过一些词条链接寻找两个 词条间的联系(即找出一条链接路径,只要点击链接就可以从一个维基词条到另一个维基 词条) 。 为了解决这个问题,我们不仅需要建立网络爬虫采集网页(之前我们已经做过) ,还要把之前采集的信息以某种形式存储起来,以便后续进行数据分析。
前面介绍过的自增的 id 字段、时间戳以及多份数据表在这里都要用到。为了确定最合理 的信息存储方式,你需要先想想游戏规则。一个链接可以轻易地把页面 A 连接到页面 B。 同样也可以轻易地把页面 B 连接到页面 A,不过这可能是另一条链接。我们可以这样识 别一个链接,即“页面 A 存在一个链接,可以连接到页面 B” 。也就是 INSERT INTO links (fromPageId, toPageId) VALUES (A, B);(其中, “A”和“B”分别表示页面的 ID 号
因此需要设计一个带有两张数据表的数据库来分别存储页面和链接,两张表都带有创建时 间和独立的 ID 号
创建页表
CREATE TABLE wikipediaPages(
id INT NOT NULL AUTO_INCREMENT,
url VARCHAR(255) NOT NULL,
created TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY(id)
)
创建链接表
CREATE TABLE wikipediaLinks(
id INT NOT NULL,
fromPageId INT NULL,
toPageId INT NULL,
created TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY(id)
)
练习 获取并存取贝肯数不超过 6 的词条
insertIfNotExist()函数用来向pages表中存放数据,存放前检查数据是否存在,存储完成后还返回了存储记录的id,设计很巧妙
insertLinks()啊还能输用来向links表中存放数据,一样存放前要检查
getLinks()函数作用是获取当前页面链接并建立路径信息
from urllib.request import urlopen from bs4 import BeautifulSoup import re import pymysql conn = pymysql.connect(user='root',password='Gaoji1996',charset='utf8') cur = conn.cursor() cur.execute("USE scraping") pages = set() def insertIfNotExist(url): cur.execute("SELECT* FROM wikipediaPages WHERE url = %s",(url)) if cur.rowcount ==0: cur.execute("INSERT INTO wikipediaPages(url) VALUES(%s)",(url)) conn.commit() return cur.lastrowid else: return cur.fetchone()[0] pass def insertLinks(fromPageId,toPageId): cur.execute("SELECT* FROM wikipediaLinks WHERE fromPageId=%s AND toPageId=%s",(fromPageId,toPageId)) if cur.rowcount ==0: cur.execute("INSERT INTO wikipediaLinks(fromPageId,toPageId) VALUES(%s,%s)",(int(fromPageId),int(toPageId))) conn.commit() pass def getLinks(pageUrl,times): global pages if times>4: return html = urlopen("http://en.wikipedia.org"+pageUrl) bsObj = BeautifulSoup(html) currentPageId = insertIfNotExist(pageUrl) for link in bsObj.findAll("a",href=re.compile("^(/wiki/)((?!:).)*$")): print(link.attrs["href"]) insertLinks(currentPageId,insertIfNotExist(link.attrs["href"])) if link.attrs["href"] not in pages: newLink = link.attrs["href"] pages.add(newLink) getLinks(newLink,times+1) pass getLinks("/wiki/Kevin_Bacon",0) cur.close() conn.close()
今天到这里啦,打卡~
相关文章推荐
- Web Scraping with Python 学习爬虫
- 使用python2.7学习网络爬虫,问题锦集
- Python爬虫学习资料书籍推荐
- Python爬虫学习记录(3)——用Python获取虾米加心歌曲,并获取MP3下载地址
- python爬虫学习之抓取一个页面
- Python爬虫学习(三)---- 爬虫URL管理器
- python学习笔记:"爬虫+有道词典"实现一个简单的英译汉程序
- Python爬虫学习系列
- Python 爬虫学习:爬取LeetCode的题目并且按照难度分类
- python学习(4):python爬虫入门案例-爬取图片
- Python基础学习-爬虫小试3爬知乎用户小测
- Python的Scrapy爬虫框架简单学习笔记
- Python爬虫学习系列教程
- python爬虫学习之re正则表达式
- PYTHON爬虫学习-糗事百科内容爬取
- python 爬虫学习二(Scrapy讲解)
- python爬虫入门(7) pyspider学习1
- Python爬虫学习(八)爬网页文字信息
- Python爬虫学习(1): urllib的使用
- 关于Python爬虫自己学习进步1