数据转发中心高并发访问次数统计(mysql实现)
来源:互联网 发布:dcs编程软件 编辑:程序博客网 时间:2024/06/06 01:55
公司内部系统和外部系统要通过数据转发中心做统一做数据梳理,然后供各个系统之间互相调用。系统之间的调用日志落地到mysql之中。随着系统接入量日渐增加,mysql数据量达到千万级别之后查询速度变得非常缓慢。
现在要达到一个需求,做日访问量统计和月访问量统计查询速度要在毫秒级。以前的全表查询就不适用了。
为了达到毫秒级的统计速度,需要新建了一张调用次数统计表。字段如下:
day,主键,保存当前的日期,使用data属性值,以天为单位进行分组。
slot,主键,保存当前的位置,用于并发插入时随机产生位置信息。
cnt,访问次数。
插入时执行语句如下:
INSERT INTO day_hit(day,slot,cnt) VALUES(CURRENT_DATE(),RAND() * 100 ,1) ON DUPLICATE key UPDATE cnt = cnt + 1
向mysql写入数据时,先随机生成位置(slot)主键的值(0-100),如果存在该主键就将访问次数(cnt)+1,不存在就插入一条数据,cnt设为1。这样是避免因为频繁修改一条字段造成的串行执行降低执行速度。
查询当日数据语句如下:
select SUM(cnt) from day_hit GROUP BY day HAVING day = CURRENT_DATE()
第二天把前一天保存的数据进行汇总,只保留一行数据。
UPDATE day_hit AS aINNER JOIN ( SELECT DAY, SUM(cnt) AS cnt, MIN(slot) AS mslot FROM day_hit GROUP BY DAY HAVING DAY = CURDATE()-1) AS b USING (DAY)SET a.cnt =IF (a.slot = b.mslot, b.cnt, 0), a.slot =IF (a.slot = b.mslot, 0, a.slot);DELETE FROM day_hit where slot <> 0 and cnt = 0;
为了方便,将上述代码设置成定时任务,每天三点进行数据汇总清洗。先将代码改为存储过程,方便调用。
CREATE PROCEDURE p_day_hit_collect ()BEGIN UPDATE day_hit AS aINNER JOIN ( SELECT DAY, SUM(cnt) AS cnt, MIN(slot) AS mslot FROM day_hit GROUP BY DAY HAVING DAY = CURDATE()) AS b USING (DAY)SET a.cnt =IF (a.slot = b.mslot, b.cnt, 0), a.slot =IF (a.slot = b.mslot, 0, a.slot);DELETEFROM day_hitWHERE slot <> 0AND cnt = 0;END;
再创建定时任务,每天凌晨三点汇总前一天的数据。
开启定时任务:SET GLOBAL event_scheduler = 1;
查询定时任务:SHOW VARIABLES LIKE 'event_scheduler'
创建定时任务:
CREATE EVENT e_day_hit_collect ON SCHEDULE EVERY 1 DAY STARTS DATE_ADD( DATE(CURRENT_DATE() + 1), INTERVAL 3 HOUR) DO CALL p_day_hit_collect()
以上部分参照于《高性能mysql》
阅读全文
0 0
- 数据转发中心高并发访问次数统计(mysql实现)
- PHP+MYSQL 如何准确实现页面访问统计次数
- 实现页面访问次数统计
- 统计网站访问次数的实现
- 统计访问次数
- 统计访问次数
- 统计访问次数
- 统计网页访问次数
- 如何实现网站高并发访问
- 实现网站的高并发访问
- php实现静态页面的访问次数统计
- mysql大数据高并发处理(转载)
- mysql大数据高并发处理
- mysql大数据高并发处理
- mysql大数据高并发处理
- mysql大数据高并发处理
- MySql大数据高并发处理
- mysql大数据高并发处理
- SQL 约束 (Constraints)
- CLion 配置 C C++ 编译环境(MinGW)
- Android studio gradle中分渠道加载res、libraries及Class
- bug修复-android中的onCreate两个参数的方法是什么鬼?
- 61、二叉搜索树的第k个结点
- 数据转发中心高并发访问次数统计(mysql实现)
- javascript Array数组常用的方法
- (1798: [Ahoi2009]Seq 维护序列seq)<线段树乘法操作>
- docker--容器和镜像
- Java,bit比特,byte字节,char字符,short,int,long,float,double,string,字母,汉字/编码等
- 面试题7:用两个栈实现队列
- 关于地理数据坐标转换
- TimerTask定时执行删除文件
- 将myeclipse的控制台固定住