数据采集简单示例:采集爱帮网电话号码
2012-06-09 17:15
302 查看
爱帮网单个网址:http://www.aibang.com/detail/17881112-420243957
截图:
本文采集该页面的标题和2个电话号码,具体的python代码:
标题:
坊上人清真饭庄(高新店)
电话号:
029-88222668
029-88226458
其中主要用到了以下模块:
xpath:用于使用路径的方法找到节点
re:正则表达式模块,用于拆分电话号码(其实字符串函数也可以)
urllib2:用于请求指定URL的页面内容,存于字符串然后分析
Webscraping 库的common模块:用于将获取到得中文文本转成unicode编码,这样才能够输出
截图:
本文采集该页面的标题和2个电话号码,具体的python代码:
# -*- coding: UTF-8 -*- ''' Created on 2012-6-9 @author: crazyant ''' #导入urllib2库,用于获取网页 import urllib2 #使用开源库Webscraping库的xpath模块 from Webscraping import xpath,common #首先,发送请求到爱帮网的一个页面,该页面含有地址 req = urllib2.Request('http://www.aibang.com/detail/17881112-420243957') #获得响应 reponse = urllib2.urlopen(req) #将响应的内容存入html变量 html = reponse.read() #以下抓取页面的标题 title = xpath.search(html, '//div[@class="ppc_title"]/h1[1]') print '标题:' #这里要输出中文,因此采用common的to_unicode输出 print common.to_unicode(title[0], 'utf-8') #使用xpath得到电话号码的节点 tel = xpath.search(html, '//dl[@class="detail_list"]/dd[@class="fb"]') #使用正则拆分数字 import re m = re.search(r'([\d-]+)\s([\d-]+)', tel[0]) #如果匹配,输出两个单个电话号码 print '电话号:' if m is not None: for t in m.groups(): print t运行结果:
标题:
坊上人清真饭庄(高新店)
电话号:
029-88222668
029-88226458
其中主要用到了以下模块:
xpath:用于使用路径的方法找到节点
re:正则表达式模块,用于拆分电话号码(其实字符串函数也可以)
urllib2:用于请求指定URL的页面内容,存于字符串然后分析
Webscraping 库的common模块:用于将获取到得中文文本转成unicode编码,这样才能够输出
相关文章推荐
- Ado.net批量添加和更新数据简单示例
- php简单处理XML数据的方法示例
- asp.net 新闻采集 简单示例
- [置顶] 基于Mina实现的一个简单数据采集中间件
- javascript生成json数据简单示例分享
- python采用requests库模拟登录和抓取数据的简单示例
- 基于PHP的简单采集数据入库程序【续篇】
- Ubuntu命令行下MySQL数据导出与导入简单示例
- 最简单的CI框架入门示例--数据库取数据
- C# Post数据和接收简单示例
- 数据库应用开发周期各个阶段采集的数据和产生的文档示例
- 最简单的CI框架入门示例--数据库取数据
- 话单数据采集简单了解
- 基于mina实现一个简单数据采集中间件的多客户端在线测试程序
- php采集系统代码,php采集网站数据入库,demo示例
- JQuery获取并解析php返回的json格式数据的简单示例
- Flex4 数据绑定简单示例
- 命令行下MySQL数据导出与导入简单示例
- php写的仿爱帮网电话号码字符串处理(防采集)。
- 数据采集:完美下载淘宝Ip数据库 简单的程序节省60元人民币而不必购买数据库