爬虫学习之Scrapy构建
2016-09-20 20:08
274 查看
Scrapy构建方法
一、Scrapy简介
Scrapy是基于Python语言的一种快速抓取网页数据的工具,它提供了一种框架,方便我们在此框架上进行设计修改不同种类的爬虫来进行数据挖掘。二、Scrapy构造过程
不像Windows操作系统上我们所熟悉的软件一样,Scrapy的构建过程并不是一蹴而就的。Scrapy的构造需要若干个小工具的支持,只有确保这几个小工具的安装到位,Scrapy才可以稳定的运行。本文章主要就Windows7 32位系统上的构造方法进行介绍。其他操作系统系统类似。
[b]1、下载安装Python[/b]
打开Python官网Windows下载页面:
https://www.python.org/downloads/windows/。Python官网上提供的版本众多,建议选择Python2.6、Python2.7系列。然后根据你的电脑操作位数进行下载安装,我选择的是Python2.7.10。安装完成后,将python的安装目录添加到系统变量中。具体步骤如下:我的电脑-属性-高级系统设置-高级-环境变量-系统变量里,将C:\Python27;C:\Python\Scripts;加入到环境变量。
如图:
检测Python是否安装成功:
在开始菜单—附件中打开命令提示符(cmd),输入Python,如果显示
则说明安装成功。Python版本不同、操作系统位数不同,下面下载的安装包不同。
[b]2、下载安装lxml[/b]
打开网址https://pypi.python.org/pypi/lxml/3.4.4,下载相应安装包,建议下载如下安装包。
Python版本不同、操作系统位数不同,下载安装包不同。下载安装后,验证是否安装成功:打开命令提示符(cmd),输入Python,再输入import
lxml若无变化,则说明lxml安装成功。
[b]3、下载安装pyOpenSSL[/b]
打开网址https://pypi.python.org/pypi/pyOpenSSL/0.13,选择相应的版本进行下载:
下载安装完成后,验证是否安装成功。同上,只不过是输入import OpenSSL。
[b]4、下载安装zope.interface[/b]
网址https://pypi.python.org/pypi/zope.interface/4.1.1,选择相应的版本进行下载:
下载安装完成后,验证是否安装成功。同上,只不过是输入import zope.interface。
[b]5、下载安装pywin32[/b]
打开网址http://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/,选择相应的安装包版本。
[b]6、下载安装setuptools打开网址http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe打开后即会自动下载。下载安装完成后,验证是否安装成功。同上,只不过是输入import
zope.interface。[/b]
[b]7、下载安装Twisted[/b]
打开网址https://twistedmatrix.com/trac/,选择相应版本进行下载,这里选择下图版本:
[b]8、安装Scrapy[/b]
打开命令提示符,输入easy_install Scrapy。则会自动安装。安装结束后,打开命令提示符,输入Scrapy则会出现以下界面。
这说明你的安装已经成功。
三、总结:
经过了这几个安装步骤,你的电脑上应该共有以下7个组件:
这是Scrapy必须的7个组件,拥有这七个组件你就完全可以轻松的抓取网页上的数据了,网上其他安装教程还安装了其他的组件,你可以根据需要再进行安装。
相关文章推荐
- 【原创】开源爬虫Scrapy的学习及应用
- Python爬虫框架Scrapy 学习笔记 4 ------- 第二个Scrapy项目
- Python的Scrapy爬虫框架简单学习笔记
- scrapy爬虫框架学习入门教程及实例
- 基于scrapy框架爬虫学习小结
- python爬虫框架scrapy学习笔记
- 爬虫学习之基于Scrapy的爬虫自动登录
- Python学习(8)---Scrapy框架下的网络爬虫
- Scrapy爬虫学习,及实践项目。
- Python的爬虫程序编写框架Scrapy入门学习教程
- Python爬虫框架Scrapy 学习笔记 5 ------- 使用pipelines过滤敏感词
- Python爬虫框架Scrapy 学习笔记 10.2 -------【实战】 抓取天猫某网店所有宝贝详情
- Python爬虫框架Scrapy 学习笔记 10.1 -------【实战】 抓取天猫某网店所有宝贝详情
- python基础_Scrapy爬虫基础学习一
- 爬虫Scrapy学习指南之抓取新浪天气
- Python爬虫框架Scrapy 学习笔记 1 ----- 环境搭建
- Python爬虫框架Scrapy 学习笔记 9 ----selenium
- python爬虫框架scrapy学习笔记
- python爬虫Scrapy学习,在windows下安装和配置
- 爬虫学习之基于Scrapy的网络爬虫