高并发环境下qps计算
来源:互联网 发布:ubuntu配置ip 编辑:程序博客网 时间:2024/05/29 14:39
最近在研究阿里的一些中间件,最近看到了sentinel,由于和我们现在使用的统计-判断-预警-熔断有点类似,所以就深入了源码细看了一下,不看不要紧,一看吓一跳。我们现在的熔断的粒度是分钟级别的,没想到sentinel可以精细到任何级别,甚至是毫秒。我们姑且就按秒来说吧,一对比,就不是一个级别的了。
不说我们之前的架构了,还是说一下阿里sentinel使用的qps计算方法吧,给我印象最深刻的地方就是qps的计算模式了。
大家要知道,按qps为2000来算,每一毫秒就要有2个请求要处理,如果为了获取qps和并发环境下为了数据正确而加锁处理,那么会耗费很大的cpu资源。
而且若按curtime%1000作为key来统计请求数的话,假如当前时间为200ms,那么取得的qps则很有可能是总量的20%,那么肯定是不行的。
其实就是这么一个文件 https://github.com/Netflix/Hystrix/blob/master/hystrix-core/src/main/java/com/netflix/hystrix/util/HystrixRollingNumber.java
分片
首先sentinel采用的方法就是把一段时间分成若干片,如把1s分成10片,那么每片统计当前100ms内的数据,然后当前qps则为当前分片往前推10格,再求和,即为当前的qps。
那么问题来了,在分片的交接时刻,需要为新的分片创建对应的对象,若不加控制的话,直接加锁,会导致所有的线程等待(只有一个线程去创建当前bucket)。但sentinel的模式则是若发现要创建新的bucket,则让一个线程去创建,别的线程则取出上一个bucket进行处理(牺牲了一点时刻准确度,但换来了性能的大量提示)。
longadd
具体到某一个bucket时,需要对当前的bucket的value进行增加,传统的思路就是再对这个bucket的value进行加锁,那么这个地方就又回阻塞了,那么有没有好的办法的。肯定有啦,看sentinel的思路吧,其实就是用到了netflix的hytrixRollingNumber的办法(https://github.com/Netflix/Hystrix)。具体一点就是Striped64。
数据 striping 就是把逻辑上连续的数据分为多个段,使这一序列的段存储在不同的物理设备上。通过把段分散到多个设备上可以增加访问并发性,从而提升总体的吞吐量。
在JDK 8中,已经添加到的 java.util.concurrent.atomic
下的 Striped64 了。
abstract class Striped64 extends Number { static final int NCPU = Runtime.getRuntime().availableProcessors(); // 存放 Cell 的表。当不为空时大小是 2 的幂。 transient volatile Cell[] cells; // base 值,在没有竞争时使用,也作为表初始化竞争时的一个后备。 transient volatile long base; // 自旋锁,在 resizing 和/或 创建Cell时使用。 transient volatile int cellsBusy;}
@sun.misc.Contended static final class Cell { volatile long value; Cell(long x) { value = x; } final boolean cas(long cmp, long val) { return UNSAFE.compareAndSwapLong(this, valueOffset, cmp, val); } // Unsafe mechanics private static final sun.misc.Unsafe UNSAFE; private static final long valueOffset; static { try { UNSAFE = sun.misc.Unsafe.getUnsafe(); Class<?> ak = Cell.class; valueOffset = UNSAFE.objectFieldOffset (ak.getDeclaredField("value")); } catch (Exception e) { throw new Error(e); } }}
看上面的注释应该就能看懂了吧,思路就是把锁的粒度变小,刚好这种思路是非常适合处理qps的。当然真实的value就是Striped64.value + Cell[0-n].value之和的,所以这种设计思路可以达到写基本是O(1)的,读会耗电cpu。但正是我们想要的了。
- 高并发环境下qps计算
- 谈高QPS下的优化
- 峰值QPS/QPS/PV/UV/服务器数量/并发数/吐吞量/响应时间计算公式
- 峰值QPS/QPS/PV/UV/服务器数量/并发数/吐吞量/响应时间计算公式
- 征集峰值QPS/QPS/PV/UV/服务器数量/并发数/吐吞量/响应时间计算公式?
- 高并发环境下的连接器性能优化
- 浅谈高并发环境下的服务器和数据库技术
- 作文网高并发环境下如何使用MySQL
- 大数据,高并发环境下的数据问题解决
- 并发用户数和QPS
- 并发用户数和QPS
- openresty-redis在不同网络环境下QPS对比
- 高并发计算服务器数量
- 大数据环境下的高性能分布式计算&存储系统
- 计算redis qps
- 服务器qps计算
- 计算 TPS,QPS
- 高并发应用中客户端等待、响应时间的推算,及RT/QPS概念辨析
- POJ-Palindrome(马拉车模板题)
- 聊天界面关键代码实现
- HDU 1896
- 小菜鸟的C++游戏编程学习日记(一)
- Linux Wget 命令
- 高并发环境下qps计算
- 触发器操作
- Linux init命令
- [树状数组] poj 1990 MooFest
- HDOJ 2199 Can you solve this equation?
- BD___工厂模式
- 第5章 报警
- 64位和32位程序性能差别
- python __init__.py __name__ __doc__ __file__ argv[0] 浅析