Mongo数据库吃内存问题以及解决情况

来源:互联网 发布:柏曼灯具 知乎 编辑:程序博客网 时间:2024/04/23 14:47

起因

最近一直跑得好好的项目总是会莫名其妙的停了服务,最初的时候没有在意这个情况,觉得可能只是一个意外而已,可连着发生了好几次,就觉得有点怪异了,然后查看tomcat的log文件,就发现了问题所在了,内存不足

当时还觉得有点不理解,应该这台服务器的配置还是很高的,然后服务器上也只是跑了两个tomcat和一个mongo数据库,觉得不应该有这种问题的,然后就去查了一下资料,原来是mongo数据库在作祟,然后自己也用命令去查看了一下

真是不看不知道,一看吓一跳,一个mongo数据库占了服务器超过一半的内存,厉害的时候可以到70多,这时候才知道mongo吃内存的严重了。

MongoDB如何使用内存

        目前,MongoDB使用的是内存映射存储引擎,它会把磁盘IO操作转换成内存操作,如果是读操作,内存中的数据起到缓存的作用,如果是写操作,内存还可以把随机的写操作转换成顺序的写操作,总之可以大幅度提升性能。mongodb并不干涉内存管理工作,而是把这些工作留给操作系统的虚拟缓存管理器去处理,这样的好处是简化了MongoDB的工作,但坏处是你没有方法很方便的控制MongoDB占多大内存,事实上MongoDB会占用所有能用的内存,所以最好不要把别的服务和MongoDB放一起。


有时候,即便MongoDB使用的是64位操作系统,也可能会遭遇臭名昭著的OOM问题,出现这种情况,多半是因为限制了虚拟内存的大小所致,可以这样查看当前值:

大部分人都会和我一样,那就很好,如果不是的,可以自己修改过来:

不过要注意的是,ulimit的使用是有上下文的,最好放在MongoDB的启动脚本下。

       有时候,出于某些原因,你可能想释放掉MongoDB占用的内存,不过前面说了,内存管理工作是由虚拟内存管理器控制的,所以通常你只能通过重启服务来释放内存,你一定不齿于这样的方法,幸好可以使用MongoDB内置的closeAllDatabases命令达到目的:

当然,通过调整内核参数drop_caches也是可以释放缓存的:

平时可以通过mongo命令行来监控MongoDB的内存使用情况,如下所示:

还可以通过mongostat命令来监控MongoDB的内存使用情况,如下所示:

其中内存相关字段的含义是:

mapped:映射到内存的数据大小 


仅以该文让自己以后再遇该类问题可以有据可依,也让他人不再困惑于这个问题上