python爬虫基础-概述
2018-02-23 15:24
302 查看
学习了基础的爬虫知识,将知识架构整理出来和大家分享,作为对已经学习过的知识框架的回顾和复习,同时也是一种查漏补缺,更加完善自己的知识体系。
首先,从概念的角度,什么是爬虫,或者说爬虫是用来做什么的。我想,数据相关产业的资深人士会有更深的理解,而作为一个入门者,需要知道的是,爬虫是一个程序,一个怎么的程序。如果互联网是一张大网,它所呈现出来的东西就是我们看到的网上面的线条,而爬虫就是那个将网上的线条获取到的东西。简言之,就是将网上我们看到的内容自动获取出来,从而可以为我们所利用。
当然,无论提到一个什么东西,我们都喜欢分类,因为本身很多事物都是有联系的,我们喜欢把一个东西和另外的东西归纳到一起。爬虫也有很多分类,根据爬取的网页类型或者是爬虫的性能,我们给爬虫分类,例如动态爬虫,静态网页爬虫,单线程,多线程爬虫。这里略过。
其次,从技术的角度,爬虫到底扮演着一个怎样的角色。总体来说,爬虫是一个请求者,通过模拟浏览器向特定的网址请求数据,网址返回我们需要的数据。也就是关注的是网页的请求和数据的处理。
请求一般的网页使用的是HTTP协议,部分有HTTPS,其实本质上也是HTTP,只是添加了证书的认证。
数据的处理分为2部分,数据的存储和数据的解析。数据存储分为临时数据的存取和持久数据的存储。临时的数据存储在数据结构中,而持久数据则存在数据库中。而数据的解析则使用正则表达式或者是第三方的解析工具,例如lxml。
这样一个大致的知识结构就出来了,主要是四部分,http,python数据结构,数据库,正则表达式(包括第三方解析工具)。
首先,从概念的角度,什么是爬虫,或者说爬虫是用来做什么的。我想,数据相关产业的资深人士会有更深的理解,而作为一个入门者,需要知道的是,爬虫是一个程序,一个怎么的程序。如果互联网是一张大网,它所呈现出来的东西就是我们看到的网上面的线条,而爬虫就是那个将网上的线条获取到的东西。简言之,就是将网上我们看到的内容自动获取出来,从而可以为我们所利用。
当然,无论提到一个什么东西,我们都喜欢分类,因为本身很多事物都是有联系的,我们喜欢把一个东西和另外的东西归纳到一起。爬虫也有很多分类,根据爬取的网页类型或者是爬虫的性能,我们给爬虫分类,例如动态爬虫,静态网页爬虫,单线程,多线程爬虫。这里略过。
其次,从技术的角度,爬虫到底扮演着一个怎样的角色。总体来说,爬虫是一个请求者,通过模拟浏览器向特定的网址请求数据,网址返回我们需要的数据。也就是关注的是网页的请求和数据的处理。
请求一般的网页使用的是HTTP协议,部分有HTTPS,其实本质上也是HTTP,只是添加了证书的认证。
数据的处理分为2部分,数据的存储和数据的解析。数据存储分为临时数据的存取和持久数据的存储。临时的数据存储在数据结构中,而持久数据则存在数据库中。而数据的解析则使用正则表达式或者是第三方的解析工具,例如lxml。
这样一个大致的知识结构就出来了,主要是四部分,http,python数据结构,数据库,正则表达式(包括第三方解析工具)。
相关文章推荐
- Python爬虫——web前端基础XPath、Json和HTTP
- python基础爬虫(非框架)
- python3.4.4实现网页爬虫基础之网页下载器三种方法
- python爬虫基础知识
- python爬虫基础
- python爬虫基础(1)
- Python爬虫基础实例教程
- Python爬虫系列(二):requests基础
- python网络爬虫基础(2)--Beautiful Soup库
- python爬虫由浅入深13--scrapy基础实战·爬取哈理工教务在线公告
- 零基础写python爬虫之爬虫框架Scrapy安装配置
- 零基础写python爬虫之神器正则表达式
- 0基础Python实战:爬虫计划---第一课
- Python爬虫基础——利用cookie实现模拟登陆
- python基础===【爬虫】爬虫糗事百科首页图片代码
- Python基础:00概述
- python爬虫基础知识
- 黑马程序员——JAVA基础---正则表达式---概述,匹配、切割、替换、提取,网页爬虫
- Python3 urllib库爬虫 基础
- 【Python爬虫基础】抓取知乎页面所有图片