scrapy是一个专业的网络爬虫框架

哈哈，bs4 re学完之后本来说是不往下进行了，无奈兴趣使然。哈哈哈其实就是连着两个人问我关于这个库的问题。看起来学一比较好啦！ ~开始正题  ps：最近时间真的不够用=，=因为渣
scrapy是一个专业的网络爬虫框架

首先安装scrapy库 cmd中输入 pip install scrapy

 


 

然后出来这些东西

 



结果当然是报错！

 


 在pip安装Scrapy的时候，报错Failed building wheel for Twisted。和error: Microsoft Visual C++ 14.0 is required。 

 


 


需要我们自己下载Twisted，然后安装。这里有Python的各种依赖包。选择适合自己Python以及系统的Twisted版本。 

我的解决方法如下：

 


我是python是3.6.1的 看完版本以后去http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

 

 


下载电脑对应twisted

下载好之后，cd到下载文件夹。pip install Twisted的文件名。比如: 

pip install Twisted-17.5.0-cp36-cp36m-win_amd64.whl



即可安装Twisted 

 


安装完了twisted再安装scrapy

pip install scrapy



好了装完了!