Python学习03 — 从11Game 爬取dota竞技场 TOP 100 用户名
来源:互联网 发布:sparkle mac 编辑:程序博客网 时间:2024/04/30 07:39
#import pandas as pdimport requestsclass DotaRank(): def __init__(self): self.url = 'http://score.5211game.com/Arena/request/handler.ashx' self.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'} self.post_data = {'action':'UserRankDatas'} self.userId = [] self.userName = [] self.userRank = [] def get_data(self): res = requests.post(self.url,data = self.post_data,headers=self.headers) all_data = res.json() # print(all_data) items = all_data['DataModel'] for item in items: self.userId.append(str(item['UserId'])) self.userName.append(str(item['UserName'])) self.userRank.append(str(item['Rank'])) print("第 " + str(item['Rank']) + " 名" + ":" + str(item['UserName']) + "\n") result = {'用户id':self.userId,'用户名':self.userName,'排名':self.userRank} return resultdata = DotaRank().get_data()#df = pd.DataFrame.from_dict(data)#df.to_excel('D:\\dota.xlsx')#print(data)
借鉴别人的例程,抓取11Game对战平台竞技场TOP100 的用户名和ID,requests模块需要导入第三方模块,可以 pip install requests 安装
good luck!
阅读全文
1 0
- Python学习03 — 从11Game 爬取dota竞技场 TOP 100 用户名
- Python爬虫系列(四)(简单)Dota排行榜爬取,并存入Excel表格
- iOS学习笔记-092.彩票07——竞技场
- 【Python爬虫】从零开始玩转爬虫——Top电影信息爬取
- python定时器爬取豆瓣音乐Top榜歌名
- Python用于取top N的模块——heapq
- 学习python爬取网页
- 简书用户名爬取
- 从dota看钓鱼岛
- Re+Selenium新手爬取猫眼Top 100
- 【Python】Python取top N相关的模块:heapq模块
- python正则表达式简单爬虫入门+案例(爬取猫眼电影TOP榜)
- Python Scrapy 学习----自动爬取网页
- python学习,爬取淘宝评论数据
- 【Python】从爬虫开始吧——爬取妹子图整站
- [Python] 从ip138网站爬取ip所处地点
- 用Python从百度百科爬取十个页面
- python爬虫: 从 指定路径 爬取 文件
- python学习(7)——函数基础篇
- linux-常用命令和技巧
- Pycharm使用技巧:Ctrl + F5(重新运行)
- linux-服务器网络配置
- Java基础_1
- Python学习03 — 从11Game 爬取dota竞技场 TOP 100 用户名
- Shiro自定义Realm
- ROS学习笔记(五):服务初探
- 【学习笔记】 linux中安装配置java
- 计算机网络--概述(第七版)
- bigchaindb源码分析(三)——后端存储
- 重拾Java——一些小的知识点(2)
- qt调用动态库注意点
- java面试题(一)