python爬虫:爬取慕课网视频
来源:互联网 发布:美国反倾销数据库 编辑:程序博客网 时间:2024/05/29 12:02
前段时间安装了一个慕课网app,发现不用注册就可以在线看其中的视频,就有了想爬取其中的视频,用来在电脑上学习。
决定花两天时间用学了一段时间的python做一做。
我使用的是pycharm进行开发,使用BeautifulSoup模块解析html,整个代码进行了比较详细的注释。整个工程结构:
----entity
--------__init__.py
--------fileinfor.py用来描述视频文件信息
----filedeal
--------__init__.py
--------file_downloader.py用于视频文件的下载
----spider 爬虫的核心内容
--------__init__.py
--------html_downloader.py html下载器
--------html_parser.py html解析器
--------spiderman.py 爬虫核心逻辑
----test test文件夹主要是用来测试一些用例,不参与整个程序运行
----conf.py 一些全局变量
----index.py 程序启动入口
运行环境:
python 2.7.X
需要安装的支持模块:
BeautifulSoup (pip install或者下载源代码包setup.py),下载链接:https://pypi.python.org/pypi/beautifulsoup4/4.3.2
运行:在windows上直接双击start.bat,linux上没试
现在将程序运行起来,双击start.bat:输入课程号,选择视频品质:
等到显示100%时,会将视频下载到当前目录下
源代码在我的github上:https://github.com/qiyeboy/spider_smooc
欢迎大家指教学习
我的微信公众号:qiye_python
请大家关注,我会经常分享我的技术和作品,大家共同进步
1 0
- python爬虫:爬取慕课网视频
- python 爬虫视频网站
- python 爬虫视频网站(二)
- Python 爬虫 爬取视频
- 【python 视频爬虫】python下载头条视频
- python爬虫下载极客学院视频
- Python爬虫-进程池方式爬取头条视频
- Python爬虫-爬取腾讯小视频
- python爬虫脚本下载YouTube视频
- Python爬虫-爬取慕课网课程
- python小爬虫SendKey自动刷博刷视频外挂
- 使用Python编写简单网络爬虫抓取视频下载资源
- 【Python爬虫】批量抓取网页上的视频
- python小爬虫SendKey自动刷博刷视频外挂
- Python 爬虫,爬取”百思不得姐“搞笑视频
- 用python写爬虫爬取腾讯视频的评论
- Python爬虫-爬取爆米花视频下载至本地
- Python网络爬虫(四):视频下载器
- Codeforces Round #307 (Div. 2) 551D - GukiZ and Binary Operations 矩阵快速幂
- 优化
- Spring使用p空间配置属性——基于XML Schema的简化配置
- jdbc4.MySQLIntegrityConstraintViolationException: Cannot delete or update a parent row: a foreign ke
- Tricky Sum(等比数列)
- python爬虫:爬取慕课网视频
- html5 canvas 使用说明
- PUSHA/PUSHAD POPA/POPAD 指令详解
- 直线拟合算法
- magento安装出现的一些问题(后续补充)
- hdoj 1896 Stones 【优先队列】
- (十三)利用processing模拟粒子系统
- Java笔记基础
- 第39级台阶