使用pycharm运行scrapy项目

初次使用scrapy来写爬虫，发现网上好多教程都是直接在命令行中执行，一般执行类似于下面的命令

1. scrapy crawl Crawler

通过google发现scrapy命令可以从pycharm内部执行，我们执行scrapy命令其实相当于如下命令

1. from scrapy.cmdline import execute
2. execute()

也就是说上面的命令

1. scrapy crawl Crawler

等价于

1. python ../site-packages/scrapy/cmdline.py crawl Crawler

那么我们就可以在pycharm中通过Edit Configurations进行如下设置



Script：选中安装scrapy下的cmdline.py文件。

Script parameters：填scrapy命令的参数，即可使用pycharm进行scrapy项目的执行。

设置好之后可能会出现以下问题：

1.ImportError: No module named 'http.client'

解决方法：在Edit Configurations中勾中Show command line afterwards

2. Unknown command: crawl

解决方法：在Edit Configurations将Working direction设置为scrapy项目根目录