Python爬虫实战三 | 蓝奏网盘抓取网盘链接信息
来源:互联网 发布:淘宝店铺导航条图片 编辑:程序博客网 时间:2024/05/17 22:49
今天在使用蓝奏网盘的时候发现有一个文件夹加密分享,然后我就尝试了加密文件夹,但是文件夹下的文件还是可以直接通过访问该文件链接得到,所以对于文件夹加密是否显得有点鸡肋了呐?
如此,我们便简单的使用Python爬虫来实现一下:
1.抓取网盘链接+文件名
2.作用:存为文本文件,当我们需要什么资料的时候或许就可以通过Ctrl+F快速搜索,从而得到我们想要的资源<_<
实现:
1.分析:
第一个链接:http://pan.lanzou.com/x/1671840
第二个链接:https://pan.lanzou.com/1671841
...
如此,我们便分析到,这个网站的文件链接极大可能是通过文件数量递增来的,我们继续分析。
我们在对url的有效数字大小判断
然而只有在167xxxx范围,当然我们不信怎么才会只有这么一点
再次分析原来是有的资源被取消分享了,所以会出现资源不存在的情况!
抓包分析知道:GET请求
因此,我们开始尝试写获取网页的代码
代码运行如下:
貌似,为啥?可以直接请求https???Excuse me
百度也可以。。。
那就先不管了。。。因为以前都是需要的,百度一下,在某个大神博客截图说明一下,
我们继续,等会儿通过判断返回的状态码来确定是否继续执行下一步。
既然HTTPS没问题了,那么问题现在就简单了:
print(res.status_code)#输出状态码为整数型
如此成功顺利
接下来尝试少量数据获取:
发现有获取不到文件的情况
原本是有文件的,只是被取消了,但是我们存储的数据利肯定不能有这些无效数据啊
所以必须得优化,补充一下,访问这种情况,网页的状态码也为200
获取的标题长度为7我们则认为此时文件被取消,虽然有点勉强,但是测试时基本没啥问题,因为有文件名的文件title长度为7+len(文字),至于这个七字节来自于' --- '
所以我们有理由相信,如果字符串title的长度为7,则文件不存在,则取消探索,这样做没较大的问题。
So,再写入文件中即可。
从早上7:45开始运行...
上完课回来已经12:38了,先结束吧。
下节课讲如何利用python模拟登陆保持会话。
关于这个爬取网盘项目还要继续下去,有惊喜哦~哈哈~
注:本文属于原创文章,转载请注明本文地址!
作者QQ:1099718640
CSDN博客主页:http://blog.csdn.net/dyboy2017
Github开源项目:暂无开源
- Python爬虫实战三 | 蓝奏网盘抓取网盘链接信息
- Python爬虫实战---抓取图书馆借阅信息
- [python][project][爬虫] 时光网抓取信息
- Python爬虫实战之抓取淘宝MM照片(三)
- Python爬虫实战二 | 抓取小说网完结小说
- python爬虫抓取目标网页链接
- python 爬虫实战 抓取学校bbs相关板块的发帖信息
- Python爬虫实战一之使用Beautiful Soup抓取百度招聘信息并存储excel文件
- python 爬虫 实战 抓取妹子图中图
- Python爬虫实战 抓取淘宝照片
- Python爬虫实战:抓取淘宝MM照片
- Python爬虫实战:抓取淘宝MM照片
- python 爬虫抓取19楼租房信息
- Python网络爬虫与信息提取(三):网络爬虫之实战
- Python网络爬虫与信息提取(三):网络爬虫之实战
- 爬虫框架Scrapy实战之批量抓取招聘信息
- 爬虫框架Scrapy实战之批量抓取招聘信息
- python2.7爬虫实战(房地产信息抓取)
- POJ
- tslib: Selected device is not a touchscreen (must support ABS and KEY event types)解决方法
- cnn网络压缩、量化和优化实现
- Ant的使用(一)
- webStorm2017激活方法
- Python爬虫实战三 | 蓝奏网盘抓取网盘链接信息
- C++栈和队列
- openwrt make error 汇总
- PAT (Basic Level) Practise (中文) 1065. 单身狗(25)
- VMware下载以及安装Ubuntu
- 轻松学习java可重入锁(ReentrantLock)的实现原理
- 服务器环境搭建方法记录
- Docker安装、示例
- Oracle中 表空间,数字函数,日期函数,转换函数,同义词,反向键索引