python爬虫实例之一
2017-04-21 17:08
183 查看
好久没有写博客了,之前做的项目也没有上传,今天来一波记录:
使用XMLFeedSpider分析XML源 进行爬虫
爬取新浪博客的订阅地址XML中的文章标题、对应链接、作者等信息,使用Scrapy框架进行爬取
最终运行结果如下图:
此处主要记录下该过程中遇到的问题:
在命令行中输入scrapy crawl myxmlspider --nolog时出现了一错误:unhandled error in defered
百度了下主要是没有安装pywin32这个库,所以需要根据python版本以及系统版本安装该库,我用的是python3.5 windows64位操作系统,所以安装了pywin32 forpython3.5 amd64的whl使用pip命令安装,安装文件下载地址http://download.csdn.net/download/u013612883/9713280(只有64位python3.5的其余版本上网搜索)
使用XMLFeedSpider分析XML源 进行爬虫
爬取新浪博客的订阅地址XML中的文章标题、对应链接、作者等信息,使用Scrapy框架进行爬取
最终运行结果如下图:
此处主要记录下该过程中遇到的问题:
在命令行中输入scrapy crawl myxmlspider --nolog时出现了一错误:unhandled error in defered
百度了下主要是没有安装pywin32这个库,所以需要根据python版本以及系统版本安装该库,我用的是python3.5 windows64位操作系统,所以安装了pywin32 forpython3.5 amd64的whl使用pip命令安装,安装文件下载地址http://download.csdn.net/download/u013612883/9713280(只有64位python3.5的其余版本上网搜索)
相关文章推荐
- Python开发实例分享bt种子爬虫程序和种子解析
- python抓取网页图片 python爬虫实例
- 使用Python的urllib和urllib2模块制作爬虫的实例教程
- python爬虫实践学习实例之mysql数据库操作
- python爬虫小实例
- Python学习笔记 第二部分 - 正则表达式 与 爬虫小实例(抓取豆瓣电影中评分大于等于8分的影片)
- 编写Python爬虫抓取暴走漫画上gif图片的实例分享
- 自学Python之小爬虫实例
- python Cmd实例之网络爬虫应用
- python 网络爬虫入门(1)———第一个python爬虫实例
- python爬虫实例-爬取北邮研究生成绩
- 简单的python爬虫抓取图片实例
- Python爬虫实例- CSDN博客爬虫
- 以视频爬取实例讲解Python爬虫神器Beautiful Soup用法
- python妹子图简单爬虫实例
- python3下几个淘宝、天猫、京东爬虫实例。(价格、销量、评论等)
- python爬虫实例(urllib&BeautifulSoup)
- python3.4学习笔记(十三) 网络爬虫实例代码,使用pyspider抓取多牛投资吧里面的文章信息,抓取政府网新闻内容
- Python爬虫基础实例教程
- 编写Python爬虫抓取暴走漫画上gif图片的实例分享