windows 7 下 网络爬虫(蜘蛛)Scrapy 安装
2014-11-21 11:18
489 查看
1、下载安装Python2.7.6,因为Scrapy还不支持3.x版本。Latest Python 2 Release - Python 2.7.6,安装时选择当前用户。
2、到http://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/下载安装pywin32-219.win-amd64-py2.7.exe
3、将C:\python27\Scripts;C:\python27;添加到环境变量里。
4、http://slproweb.com/products/Win32OpenSSL.html 到这里下载Visual
C++ 2008 Redistributables和Win32 OpenSSL v1.0.1g Light并安装。安装时选择当前用户。将OpenSSL的bin目录添加到环境变量(C:\OpenSSL-Win32)
5、到https://pypi.python.org/pypi/setuptools#windows-7-or-graphical-install下载ez_setup.py,用Python运行ez_setup.py(双击也行),会自动安装好工具、
6、到https://pypi.python.org/pypi/zope.interface/4.1.1#downloads 下载zope.interface-4.1.1-py2.7-win32.egg 安装,复制到Python/Scripts下,运行
easy_install zope.interface-4.1.1-py2.7-win32.egg。(如果后缀名不是egg,修改为egg)
7、到https://pypi.python.org/pypi/pyOpenSSL/0.13下载pyOpenSSL-0.13-py2.7-win32.egg 安装同6。
8、到https://pypi.python.org/pypi/lxml/3.3.5下载lxml-3.3.5.win32-py3.2.exe 安装
9、到 https://pypi.python.org/pypi/Twisted/14.0.0 下载Twisted-14.0.0.win32-py2.7.exe安装。(安装时选择当前用户)
10、到https://pypi.python.org/pypi/cryptography/0.4#downloads下载cryptography-0.4-cp27-none-win32.whl 安装同6
11、https://pypi.python.org/pypi/cffi/0.8.2下载cffi-0.8.2-cp27-none-win32.whl安装同六
12、到https://pypi.python.org/pypi/service_identity/0.2#downloads下载service_identity-0.2-py2.py3-none-any.whl 安装同6
13、到https://pypi.python.org/pypi/pyasn1-modules 下载 pyasn1_modules-0.0.5-py2.7.egg (md5),安装同6
14、命令行下运行easy_install scrapy将会自动下载并安装完成。
注:以上安装以win32为例,如果是win64则全部要下载64位的安装包。在win64安装WIn64OpenSSL时,还要把C:\OpenSSL-Win32\bin目录下的libeay32.dll和ssleay32.dll放到C:\windows\system32下,不然运行scrapy时出错。
问题汇总:
1、如果没安装10-12步骤,会出现pyOpenSSL警告和未安装service_identity错误,这两个都人先安装编译器,VC2008和VC2010都可以。如果不是VC2008则要建立一个环境变量:VS90COMNTOOLS,变量值和VS100COMNTOOLS一样就可以。
2、如果出现“Unable to find vcvarsall.bat”,则是没有安装VC2008出现的
参考:http://blog.csdn.net/niying/article/details/27103081 ,缺少13步骤。
2、到http://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/下载安装pywin32-219.win-amd64-py2.7.exe
3、将C:\python27\Scripts;C:\python27;添加到环境变量里。
4、http://slproweb.com/products/Win32OpenSSL.html 到这里下载Visual
C++ 2008 Redistributables和Win32 OpenSSL v1.0.1g Light并安装。安装时选择当前用户。将OpenSSL的bin目录添加到环境变量(C:\OpenSSL-Win32)
5、到https://pypi.python.org/pypi/setuptools#windows-7-or-graphical-install下载ez_setup.py,用Python运行ez_setup.py(双击也行),会自动安装好工具、
6、到https://pypi.python.org/pypi/zope.interface/4.1.1#downloads 下载zope.interface-4.1.1-py2.7-win32.egg 安装,复制到Python/Scripts下,运行
easy_install zope.interface-4.1.1-py2.7-win32.egg。(如果后缀名不是egg,修改为egg)
7、到https://pypi.python.org/pypi/pyOpenSSL/0.13下载pyOpenSSL-0.13-py2.7-win32.egg 安装同6。
8、到https://pypi.python.org/pypi/lxml/3.3.5下载lxml-3.3.5.win32-py3.2.exe 安装
9、到 https://pypi.python.org/pypi/Twisted/14.0.0 下载Twisted-14.0.0.win32-py2.7.exe安装。(安装时选择当前用户)
10、到https://pypi.python.org/pypi/cryptography/0.4#downloads下载cryptography-0.4-cp27-none-win32.whl 安装同6
11、https://pypi.python.org/pypi/cffi/0.8.2下载cffi-0.8.2-cp27-none-win32.whl安装同六
12、到https://pypi.python.org/pypi/service_identity/0.2#downloads下载service_identity-0.2-py2.py3-none-any.whl 安装同6
13、到https://pypi.python.org/pypi/pyasn1-modules 下载 pyasn1_modules-0.0.5-py2.7.egg (md5),安装同6
14、命令行下运行easy_install scrapy将会自动下载并安装完成。
注:以上安装以win32为例,如果是win64则全部要下载64位的安装包。在win64安装WIn64OpenSSL时,还要把C:\OpenSSL-Win32\bin目录下的libeay32.dll和ssleay32.dll放到C:\windows\system32下,不然运行scrapy时出错。
问题汇总:
1、如果没安装10-12步骤,会出现pyOpenSSL警告和未安装service_identity错误,这两个都人先安装编译器,VC2008和VC2010都可以。如果不是VC2008则要建立一个环境变量:VS90COMNTOOLS,变量值和VS100COMNTOOLS一样就可以。
2、如果出现“Unable to find vcvarsall.bat”,则是没有安装VC2008出现的
参考:http://blog.csdn.net/niying/article/details/27103081 ,缺少13步骤。
相关文章推荐
- Python网络爬虫3 ---- ubuntu下安装爬虫框架scrapy
- python爬虫Scrapy学习,在windows下安装和配置
- windows 7 Scrapy爬虫安装成功实践记录
- Scrapy爬虫(7)在Windows中安装及使用Scrapy
- windows下安装python scrapy爬虫环境
- 【网络爬虫】【python】网络爬虫(四):scrapy爬虫框架(架构、win/linux安装、文件结构)
- 安装Scrapy(Windows下Python的爬虫环境)
- 网络爬虫之scrapy学习之安装和工程创建
- Windows 10 安装Scrapy 爬虫框架
- 如何在Ubuntu 14.04 LTS安装网络爬虫工具:Scrapy
- Python爬虫之Scrapy框架Windows环境安装
- Linux下面安装网络爬虫scrapy不成功原因分析
- Windows python3下安装scrapy爬虫框架的完美方案
- 使用scrapy实现爬网站例子和实现网络爬虫(蜘蛛)的步骤
- (5)分布式下的爬虫Scrapy应该如何做-windows下的redis的安装与配置
- Ubuntu pip 安装网络爬虫框架 scrapy 出现的错误
- Python网络爬虫之scrapy安装
- 全网最全的Windows下Anaconda2 / Anaconda3里正确下载安装爬虫框架Scrapy(离线方式和在线方式)(图文详解)
- 在linux和windows下安装python爬虫框架scrapy
- Windows下Scrapy爬虫框架的安装