海量处理用户日志(一)

来源:互联网 发布:网络写手已成高危职业 编辑:程序博客网 时间:2024/05/29 17:26

项目前景:处理用户提交日志

项目需求:将用户日志处理为报表

项目实现:

1、将用户日志储存在mongodb中(储存性能远远高于mysql)

        2、定时批量处理同一类用户日志

数据处理过程分析:

1、在加工报表的过程中,属于非事务过程。只有在用户反馈的时候重新处理该批数据;

2、加工同一类型的报表过程中,具有不具有数据依赖的处理过成采用多线程提高性能;

        3、集群处理。

         

原创粉丝点击