使用PyCharm执行scrapy项目

使用PyCharm执行scrapy项目



1.首先使用命令创建一个scrapy项目

进入自定义项目目录中，运行下列命令：

scrapy startproject mySpider










里面会有



2.添加start.py文件






编写start.py里面的内容

#!/usr/bin/env python
# -*- coding:utf-8 -*-

from scrapy import cmdline
#scrapy crawl itcast （itcast为爬虫名）
cmdline.execute("sscrapy crawl itcast".split())


3.打开PyCharm，配置项目


























安装完后会出现这个







配置完后，测试一下：



在里面添加如下代码



代码：

# _*_ coding:utf-8 _*_

import scrapy

#创建一个爬虫类
class ItcastSpider(scrapy.Spider):
#爬虫名
name = "itcast"
#允许爬虫作用范围
allowd_domains = ["http://www.itcast.cn/"]
#爬虫其实的url
start_urls = ["http://www.itcast.cn/channel/teacher.shtml#"]

def parse(self, response):
print response.body

结果：