python获取csdn的访问量和排名+falcon画图
来源:互联网 发布:网络教育英语统考作弊 编辑:程序博客网 时间:2024/06/06 03:43
打从回到老家,平时没事儿就写写blog,看看访问量和排名,也算有点小成就感。
可是CSDN最近啥时候更新排名貌似时间上有点不准,以前的时候大概8点半左右就更新了,可是最近好像有点延迟。
可不可以做个监控呢?
拿falcon画图吧
#!/usr/bin/env python# -*- coding: utf-8 -*- #coding: utf8import sysimport jsonimport requestsimport timeimport urllib2, base64import reimport bs4reload(sys) sys.setdefaultencoding('utf8') # 获取数据headers = {'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}r = requests.get('http://blog.csdn.net/vbaspdelphi',headers = headers)soup = bs4.BeautifulSoup(r.text)r2 = soup.select('div#panel_Profile ul#blog_rank li')value_viewtotal=re.findall("\D+(\d+)\D+",str(r2[0]))[0]value_jifen=re.findall("\D+(\d+)\D+",str(r2[1]))[0]value_paiming=re.findall("\D+(\d+)\D+",str(r2[1]))[0]# 准备上报数据import timeimport urllib2import jsonp = []# 定义时间戳timestamp = int(time.time())def predata(endpoint,metric,key,value,timestamp,step,vtype): tags = '' i = { 'Metric' :'%s.%s'%(metric,key), 'Endpoint': endpoint, 'Timestamp': timestamp, 'Step': step, 'value': value, 'CounterType': vtype, 'TAGS': tags } return ip.append(predata("userdefine","csdn","viewtotal",value_viewtotal,timestamp,60,"GAUGE"))p.append(predata("userdefine","csdn","jifen",value_jifen,timestamp,60,"GAUGE"))p.append(predata("userdefine","csdn","paiming",value_paiming,timestamp,60,"GAUGE"))print json.dumps(p, sort_keys=True,indent = 4)#sys.exit(0)# 上报method = "POST"handler = urllib2.HTTPHandler()opener = urllib2.build_opener(handler)url = "http://127.0.0.1:1988/v1/push"request = urllib2.Request(url, data=json.dumps(p))request.add_header('Content-Type','application/json')request.get_method = lambda: methodtry: connection = opener.open(request)except urllib2.HTTPError,e: connection = eif connection.code == 200: print connection.read()else: print '{"err":1,"msg":"%s"}' % connection
- 效果图如下
另外,里面的一些模块,如果没有的话就下载,比如
pip install bs4
参考下 http://wuchong.me/blog/2014/04/24/easy-web-scraping-with-python/ 里面关于用bs4去拿html里面的元素非常不错。
重点:
其实遇到的最大难点是python里面的re在找的时候如果re.find(“排(\d+)名”,r.text)这种,貌似由于是unicode的原因,有点问题,可以尝试用\D作为非数字,但是这样以来范围就比较大了,所以借助bs4的威力就好多了。
0 0
- python获取csdn的访问量和排名+falcon画图
- 庆祝CSDN的个人博客访问量排名进入100
- 庆祝CSDN的个人博客访问量排名进入50名
- 脚本:获取CSDN文章的访问量
- python csdn增加访问量
- Python--刷csdn访问量
- Python刷csdn访问量
- (已更新)获取CSDN访问量、排名等信息存入JSON文件并绘图进行分析
- 【Python脚本】-爬虫得到CSDN博客的文章访问量和评论量
- python 增加csdn访问量升级
- 爬虫获取CSDN用户的排名
- 使用python统计csdn博客一段时间内的访问量
- CSDN排名第一和第二的人
- CSDN博客排名规则和积分获取方法
- 使用python爬取csdn博客访问量
- 使用python爬取csdn博客访问量
- 使用python爬取csdn博客访问量
- 使用python爬取csdn博客访问量
- 并查集
- Java基础语法--一张图全了解了(下)
- dubbo服務和war包在linux上得部署
- C++中的explicit关键字用法
- java 反射
- python获取csdn的访问量和排名+falcon画图
- apache2三种模式及参数调优
- Apache源码编译安装
- VTK修炼之道78:交互与拾取_点拾取
- try catch finally return执行顺序
- double类型的2.0-1.1为什么等于0.89999999999999999999
- 欢迎使用CSDN-markdown编辑器
- CSS内边距使用记录
- 【Python】学习笔记——-3.1、调用函数