Python爬虫实战三 | 蓝奏网盘抓取网盘链接信息
2017-09-15 14:12
711 查看
今天在使用蓝奏网盘的时候发现有一个文件夹加密分享,然后我就尝试了加密文件夹,但是文件夹下的文件还是可以直接通过访问该文件链接得到,所以对于文件夹加密是否显得有点鸡肋了呐?
如此,我们便简单的使用Python爬虫来实现一下:
1.抓取网盘链接+文件名
2.作用:存为文本文件,当我们需要什么资料的时候或许就可以通过Ctrl+F快速搜索,从而得到我们想要的资源<_<
实现:
1.分析:
第一个链接:http://pan.lanzou.com/x/1671840
第二个链接:https://pan.lanzou.com/1671841
...
如此,我们便分析到,这个网站的文件链接极大可能是通过文件数量递增来的,我们继续分析。
我们在对url的有效数字大小判断
然而只有在167xxxx范围,当然我们不信怎么才会只有这么一点
再次分析原来是有的资源被取消分享了,所以会出现资源不存在的情况!
抓包分析知道:GET请求
因此,我们开始尝试写获取网页的代码
代码运行如下:
貌似,为啥?可以直接请求https???Excuse me
百度也可以。。。
那就先不管了。。。因为以前都是需要的,百度一下,在某个大神博客截图说明一下,
我们继续,等会儿通过判断返回的状态码来确定是否继续执行下一步。
既然HTTPS没问题了,那么问题现在就简单了:
print(res.status_code)#输出状态码为整数型
如此成功顺利
接下来尝试少量数据获取:
发现有获取不到文件的情况
原本是有文件的,只是被取消了,但是我们存储的数据利肯定不能有这些无效数据啊
所以必须得优化,补充一下,访问这种情况,网页的状态码也为200
获取的标题长度为7我们则认为此时文件被取消,虽然有点勉强,但是测试时基本没啥问题,因为有文件名的文件title长度为7+len(文字),至于这个七字节来自于' --- '
所以我们有理由相信,如果字符串title的长度为7,则文件不存在,则取消探索,这样做没较大的问题。
So,再写入文件中即可。
从早上7:45开始运行...
上完课回来已经12:38了,先结束吧。
下节课讲如何利用python模拟登陆保持会话。
关于这个爬取网盘项目还要继续下去,有惊喜哦~哈哈~
注:本文属于原创文章,转载请注明本文地址!
作者QQ:1099718640
CSDN博客主页:http://blog.csdn.net/dyboy2017
Github开源项目:暂无开源
如此,我们便简单的使用Python爬虫来实现一下:
1.抓取网盘链接+文件名
2.作用:存为文本文件,当我们需要什么资料的时候或许就可以通过Ctrl+F快速搜索,从而得到我们想要的资源<_<
实现:
1.分析:
第一个链接:http://pan.lanzou.com/x/1671840
第二个链接:https://pan.lanzou.com/1671841
...
如此,我们便分析到,这个网站的文件链接极大可能是通过文件数量递增来的,我们继续分析。
我们在对url的有效数字大小判断
然而只有在167xxxx范围,当然我们不信怎么才会只有这么一点
再次分析原来是有的资源被取消分享了,所以会出现资源不存在的情况!
抓包分析知道:GET请求
因此,我们开始尝试写获取网页的代码
代码运行如下:
貌似,为啥?可以直接请求https???Excuse me
百度也可以。。。
那就先不管了。。。因为以前都是需要的,百度一下,在某个大神博客截图说明一下,
我们继续,等会儿通过判断返回的状态码来确定是否继续执行下一步。
既然HTTPS没问题了,那么问题现在就简单了:
print(res.status_code)#输出状态码为整数型
如此成功顺利
接下来尝试少量数据获取:
发现有获取不到文件的情况
原本是有文件的,只是被取消了,但是我们存储的数据利肯定不能有这些无效数据啊
所以必须得优化,补充一下,访问这种情况,网页的状态码也为200
获取的标题长度为7我们则认为此时文件被取消,虽然有点勉强,但是测试时基本没啥问题,因为有文件名的文件title长度为7+len(文字),至于这个七字节来自于' --- '
所以我们有理由相信,如果字符串title的长度为7,则文件不存在,则取消探索,这样做没较大的问题。
So,再写入文件中即可。
从早上7:45开始运行...
上完课回来已经12:38了,先结束吧。
下节课讲如何利用python模拟登陆保持会话。
关于这个爬取网盘项目还要继续下去,有惊喜哦~哈哈~
注:本文属于原创文章,转载请注明本文地址!
作者QQ:1099718640
CSDN博客主页:http://blog.csdn.net/dyboy2017
Github开源项目:暂无开源
相关文章推荐
- Python爬虫实战---抓取图书馆借阅信息
- Python爬虫实战---抓取图书馆借阅信息
- Python爬虫实战一之使用Beautiful Soup抓取百度招聘信息并存储excel文件
- Python爬虫框架Scrapy实战之批量抓取招聘信息
- Python爬虫框架Scrapy实战 - 抓取BOSS直聘招聘信息
- python3.x爬虫实战:阿里巴巴网站定向信息抓取
- Python爬虫框架Scrapy实战之批量抓取招聘信息
- Python爬虫框架Scrapy实战 - 抓取BOSS直聘招聘信息
- 【极客学院】-python学习笔记-4-单线程爬虫 (提交表单抓取信息,实战练习)
- python 爬虫实战 抓取学校bbs相关板块的发帖信息
- Python爬虫框架Scrapy实战 - 抓取BOSS直聘招聘信息
- python网络爬虫实战3——抓取新闻内文相关信息
- Python爬虫框架Scrapy实战之定向批量获取职位招聘信息
- python爬虫抓取目标网页链接
- Python爬虫入门实战七:使用Selenium--以抓取QQ空间好友说说为例
- Python爬虫实战(1):抓取毒舌电影最新推送
- Python爬虫实战一 | 抓取取校花网的所有妹子
- Python爬虫实战:抓取并保存百度云资源(附代码)
- python3 [爬虫入门实战] 爬虫之selenium 模拟QQ登陆抓取好友说说内容(暂留)
- 【python爬虫】通过python多线程的抓取新浪新闻的标题时间评论信息