使用mongodb处理上亿级别数据

来源:互联网 发布:mysql开启远程连接 编辑:程序博客网 时间:2024/05/22 01:31
最近接到一个任务关于效能监控平台的开发,该效能平台要求监控日志的发送量以及成功率等信息,了解到需求,由于每天将会有平均200万的日志信息,最大接近400万,这数据还是十分庞大的,哪么半年下来起码有6亿以上的数据,这时候使用关系型数据库已经满足不了需求,毕竟关系型数据库不能处理这么大的数据量,我们决定采用mongodb非关系型数据库,该数据库有良好的数据处理能力,在开发的途中,遇到过排序空间不足引用索引来解决的问题,以及使用aggregation聚合函数来进行分析数据,能够大大减少数据的分析时间,满足系统的需求。