网络爬虫学习笔记——网络爬虫简介

网络爬虫就是通过计算机程序来模拟人类利用浏览器浏览网页的行为来获取所需的信息的行为。这样可以节省人力和避免信息的遗漏，比较贴近的估计就是在网络上寻找电影资源了。我们都尝试过需要一些老的电影的资源，一般这些资源都相对较少了。我们需要逐个网页的去浏览来获取电影的下载地址，并对地址是否有效进行甄选。网络爬虫就是可以通过程序来实现这个过程，直接把最终的地址返回给用户。

 

正因为源于模拟浏览器的行为，我们能够更好的总结出浏览器行为的规律，我们编写的爬虫也就能够更加准确的返回我们需要的结果。目前，网页的抓取主要分为两种情况：

 

一种是网页不需要特殊处理，直接就可以访问。这样的网页信息是可以随时进行抓取的，相对较为简单，如百度检索出的信息等。

 

另一种是需要特殊处理的，如需要登录、或者每段时间内有访问次数限制，需要加载空间等等。这种相对较为复杂，这就需要根据具体的情况来进行抓取。