缓存
来源:互联网 发布:淘宝网官网首页太极服 编辑:程序博客网 时间:2024/05/11 17:19
关于串行和并行的思考
最近一个项目中有如下一个应用场景:
我们实时记录用户的行为,并产生日志,每次产生一条日志的时候,我们就通过一系列规则来判断这个行为是否属于用户监控的行为。 监测日志行为的规则不止一条,而且具有优先级,如果该日志满足多条规则时候,以最高规则为准,处理用户的行为。
我们以前实现的代码如下:
Filter saveLog(Log log){ //在执行前,已经按优先级将filters排序了。 for(Filter filter : filters){ if(filter.doFilte(log)){ return filter; } }}
这样是串行执行,时间复杂度为O(n)
由于我们的系统,大部分情况下不会有满足条件的规则,所以基本都是要遍历一遍这个规则链。
我觉得其实可以用并行来处理,并行匹配每个策略,然后再匹配成功的策略中,进行优先级排序,选择优先级最高的就好了。
Filter saveLog(Log log){ filters.stream().parallel() .filter(in->in.doFilte()) .max(Comparator.comparing(in.getPrority())) .get();}
这样的话,虽然每次都计算所有的规则,但是每个规则计算相互独立,并行计算,可以加快速度,max也是mapreduce的思想,也是并行计算的,速度会非常快。
0 0