Pyhton实例，抓取百度词条关于Python的内容（一）

1.基本结构

开发爬虫实例:

1.1、步骤

1.1.1、确定目标：确定抓取哪个网站的哪些网页的哪部分数据。本实例确定抓取百度百科python词条页面以及它相关的词条页面的标题和简介。

1.1.2、分析目标：最重要，确定抓取数据的策略。一是分析要抓取的目标页面的URL格式，用来限定要抓取的页面的范围；二是分析要抓取的数据的格式，在本实例中就是要分析每一个词条页面中标题和简介所在的标签的格式；三是分析页面的编码，在网页解析器中指定网页编码，才能正确解析。

1.1.3、编写代码：在解析器中会使用到分析目标步骤所得到的抓取策略的结果。

1.1.4、执行爬虫。



2.抓取实验

2.1 进入百度词条”Python”页面，右击审查元素，获得页面相关信息，所需信息如下：



2.2

调度程序

spider_main

# coding:utf8
from Headwords import html_downloader
from Headwords import html_outputer
from Headwords import html_parser
from Headwords import url_manager

class Spider_Main(object):
#爬虫的初始化，管理器、下载器、解析器、输出器
def __init__(self):
self.urls = url_manager.UrlManager()
self.downloader = html_downloader.HtmlDownloader()
self.parser = html_parser.HtmlParser()
self.outputer = html_outputer.Outputer()

def craw(self, root_url):
count = 1
self.urls.add_new_url(root_url)
while self.urls.has_new_url():
#有一些URL已经失效，或者无法访问，所以我们需要添加特殊情况
try:
new_url = self.urls.get_new_url
print 'craw %d : %s'%(count,new_url)
html_cont = self.downloader.download(new_url)
new_urls, new_data = self.parser.parse(new_url,html_cont)
self.urls.add_new_urls(new_urls)
self.outputer.collect_data(new_data)
#只爬取1000个
if count ==1000:
break
count = count +1
except:
print"craw failed"

self.outputer.output_html()

if __name__ =="__main__":
root_url = "http://baike.baidu.com/view/21087.htm"
obj_spider = Spider_Main()
obj_spider.craw(root_url)

今天先写到这里，后续更新。