游戏数据实时监控和分析

来源:互联网 发布:linux ar命令 编辑:程序博客网 时间:2024/05/17 06:35
 概述

为了更好的了解到游戏运行时的状态,对相关的功能和数据进行分析是很重要的,设计了本系统。

现有的游戏数据大部分采用的是文本输出,备份,然后离线数据分析的方式,不能实时的监控的游戏的状态.

相关技术:

1:产生日志服务器采用c++ 实现

2:日志监控服务器采用Java 实现

3: 采用hadloop分布式架构.为应付大规模数据和实时的要求,尽快对数据进行分析

4: 存储日志采用mongodb分布式部署,mongodb的日志插入性能有保证.

架构图:

实现的难点:

1:日志直接入mongodb数据库,安全性和性能直接的权衡,以及那些日志入库和是不是要采用缓冲

2:不同用户的需求,日志分析服务器map,reduce实现的通用和性能权衡。对于固定的需求,采用每天定时输出就可以了,转化为图表的格式。

 但对于实时的需求,可能没法采用固定的map,reduce算法了,可以考虑采用hadoop的streaming,用python来实现

实现先从日志入mongodb开始吧

原创粉丝点击