pycharm中调试及执行scrapy爬虫

如果我们直接在Linux或者Windows的命令行下面执行scrapy的代码的话，可以直接在项目任何路劲下执行

scrapy crawl py_jinyi_film_spider

但是如果我们的爬虫代码需要调试的话上述执行方式就不太方便

因此我们就需要在pycharm中进行调试

在项目根目录下（第一级目录）新建一个begin.py



begin.py中添加如下代码

from scrapy import cmdline
cmdline.execute("scrapy crawl py_jinyi_film_spider".split())

其中的py_jinyi_film_spider为你在爬虫中声明的爬虫名称

OK，Debug运行begin.py就可以开始调试了