Python爬虫系列(四)(简单)Dota排行榜爬取,并存入Excel表格
来源:互联网 发布:上海牙周炎医院 知乎 编辑:程序博客网 时间:2024/05/21 08:29
在编写Python程序的时候,有很多库供我们选择,如urllib、requests,BeautifulSoup,lxml,正则表达式等等,使得我们在获取网页源代码或者选择元素的时候很方便,但是库多了,自己纠结症也犯了。。。额。自己今天爬的是对战平台的DOTA排行榜(ps:我在简书看到的一个评论,关于这个网站的,索性自己爬下了-_-),巩固下知识吧。
1、分析网站
打开开发者工具,我们观察到排行榜的数据并没有在doc里
在Javascript里我么可以看到下面代码:
在 XHR一栏里,我们找到所请求的数据
请求字段为:
2、伪装浏览器,并将json数据存入excel里面
3、结果展示
4、总结
在掌握一些基本的爬虫知识之后,自己想做一些爬虫进阶的实战项目,比如使用一些框架(scrapy、pyspider等)、还有使用代理池等等。还有很多知识要学习自己加油吧。
阅读全文
0 0
- Python爬虫系列(四)(简单)Dota排行榜爬取,并存入Excel表格
- python爬虫:爬取豆瓣读书某个tag下的书籍并存入excel
- python爬虫----网易云音乐歌曲爬取并存入Excel
- Python爬虫入门实战系列(一)--爬取网络小说并存放至txt文件
- Python爬虫(三):爬取猫眼电影网经典电影TOP100信息并存入本地Markdown文件(上)
- Python爬虫(三):爬取猫眼电影网经典电影TOP100信息并存入本地Markdown文件(下)
- python爬虫系列之爬取百度文库(四)
- 使用简单的python语句编写爬虫 定时拿取信息并存入txt
- 简单爬虫,爬取CSDN博客阅读数量并存入数据库
- 实战爬虫-爬取红袖添香并存入数据库
- Python爬取天气预报数据,并存入到本地EXCEL中
- python爬虫实战笔记---selenium爬取QQ空间说说并存至本地(上)
- Selenium学习三——利用Python爬取网页表格数据并存到excel
- Selenium学习四——利用Python爬取网页多个页面的表格数据并存到已有的excel中
- python 爬虫爬取所有上市公司公告信息(四)
- python爬虫系列之爬取百度文库(一)
- python爬虫系列之爬取百度文库(二)
- python爬虫系列之爬取百度文库(三)
- 最新版CocoaPods安装和使用教程
- Java学习(一)我的2017年Java学习计划
- Python爬虫系列(一)初期学习爬虫的拾遗与总结(6.8更)
- Python爬虫系列(二)Quotes to Scrape(谚语网站的爬取实战)
- C++之const对象只能调用const成员函数---补充(18)《More Effective C++》
- Python爬虫系列(四)(简单)Dota排行榜爬取,并存入Excel表格
- Python爬虫系列(五)360图库美女图片下载
- RSA算法原理
- 经常用到的 ES6/7 新特性
- Python爬虫系列(六)外国图库Unsplash图片自动化下载
- Python爬虫系列(七)豆瓣图书排行榜(数据存入到数据库)
- 2017/6/8-python正则表达式的使用
- redis中修改密码
- VUE 生命周期图示