Python Scrapy框架第一个入门程序示例
2020-02-13 11:31
651 查看
本文实例讲述了python Scrapy框架第一个入门程序。分享给大家供大家参考,具体如下:
首先创建项目:
scrappy start project maitian
第二步: 明确要抓取的字段items.py
import scrapy class MaitianItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() title = scrapy.Field() price = scrapy.Field() area = scrapy.Field() district = scrapy.Field()
第三步: 在spider目录下创建爬虫文件: zufang_spider.py
2.1 创建一个类,并继承scrapy的一个子类: scrapy.Spider
2.2 自定义爬取名, name="" 后面运行框架需要用到;
2.3 定义爬取目标网址
2.4 定义scrapy的方法
下面是简单项目:
import scrapy from maitian.items import MaitianItem class MaitianSpider(scrapy.Spider): name = "zufang" start_urls = ['http://bj.maitian.cn/zfall/PG1'] def parse(self, response): for zufang_itme in response.xpath('//div[@class="list_title"]'): yield { 'title': zufang_itme.xpath('./h1/a/text()').extract_first().strip(), 'price': zufang_itme.xpath('./div[@class="the_price"]/ol/strong/span/text()').extract_first().strip(), 'area': zufang_itme.xpath('./p/span/text()').extract_first().replace('㎡', '').strip(), 'district': zufang_itme.xpath('./p//text()').re(r'昌平|朝阳|东城|大兴|丰台|海淀|石景山|顺义|通州|西城')[0], } next_page_url = response.xpath( '//div[@id="paging"]/a[@class="down_page"]/@href').extract_first() if next_page_url is not None: yield scrapy.Request(response.urljoin(next_page_url))
第四步: 在settings.py文件中设置数据保存到数据库
. . . ITEM_PIPELINES = {'maitian.pipelines.MaitianPipeline': 300,} MONGODB_HOST = '127.0.0.1' MONGODB_PORT = 27017 MONGODB_DBNAME = 'maitian' MONGODB_DOCNAME = 'zufang'
第五步: 通过管道pipelines.py 连接上面的操作
import pymongo from scrapy.conf import settings class MaitianPipeline(object): def __init__(self): host = settings['MONGODB_HOST'] port = settings['MONGODB_PORT'] db_name = settings['MONGODB_DBNAME'] client = pymongo.MongoClient(host=host, port=port) db = client[db_name] self.post = db[settings['MONGODB_DOCNAME']] def process_item(self, item, spider): zufang = dict(item) self.post.insert(zufang) return item
其中 middlewares.py 文件暂不处理
以上简单的scrapy爬虫项目搭建完毕了
更多相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家基于Scrapy框架的Python程序设计有所帮助。
您可能感兴趣的文章:
- python3 Scrapy爬虫框架ip代理配置的方法
- Python利用Scrapy框架爬取豆瓣电影示例
- python scrapy重复执行实现代码详解
- Python scrapy增量爬取实例及实现过程解析
- VirtualBox CentOS7.7.1908 Python3.8 搭建Scrapy开发环境【图文教程】
- python网络爬虫 Scrapy中selenium用法详解
- Python使用scrapy爬取阳光热线问政平台过程解析
- python scrapy爬虫代码及填坑
- 基于python框架Scrapy爬取自己的博客内容过程详解
- Python爬虫 scrapy框架爬取某招聘网存入mongodb解析
- Python3环境安装Scrapy爬虫框架过程及常见错误
- 图文详解python安装Scrapy框架步骤
- 一步步教你用python的scrapy编写一个爬虫
- 详解python3 + Scrapy爬虫学习之创建项目
- 详解Python网络框架Django和Scrapy安装指南
- Scrapy框架爬取Boss直聘网Python职位信息的源码
- windows下搭建python scrapy爬虫框架步骤
- python爬虫库scrapy简单使用实例详解
相关文章推荐
- [Python]网络爬虫(12):爬虫框架Scrapy的第一个爬虫示例入门教程
- [Python]网络爬虫(12):爬虫框架Scrapy的第一个爬虫示例入门教程
- [Python]网络爬虫(12):爬虫框架Scrapy的第一个爬虫示例入门教程
- [Python]网络爬虫(12):爬虫框架Scrapy的第一个爬虫示例入门教程
- [Python]网络爬虫(12):爬虫框架Scrapy的第一个爬虫示例入门教程
- [Python]网络爬虫(12):爬虫框架Scrapy的第一个爬虫示例入门教程
- [Python]网络爬虫(12):爬虫框架Scrapy的第一个爬虫示例入门教程
- [Python]网络爬虫(12):爬虫框架Scrapy的第一个爬虫示例入门教程
- [Python]网络爬虫(12):爬虫框架Scrapy的第一个爬虫示例入门教程
- [Python]网络爬虫(12):爬虫框架Scrapy的第一个爬虫示例入门教程
- [Python]网络爬虫(12):爬虫框架Scrapy的第一个爬虫示例入门教程
- Python的爬虫程序编写框架Scrapy入门学习教程
- 第一个基于scrapy框架的python程序
- 爬虫框架Scrapy的第一个爬虫示例入门教程
- Python的爬虫程序编写框架Scrapy入门学习教程
- 爬虫框架Scrapy的第一个爬虫示例入门教程
- 【python】python入门篇:python安装和环境配置、pycharm安装、第一个python程序hello world
- Python与selenium环境安装以及第一个python和selenium程序,可作为入门第一课
- (七)Scrapy框架(二) ?python+scrapy爬虫5小时入门
- 初学Python之第一个入门小程序