缓存,使用MAVEN时出现OutOfMemory错误(小结笔记一)

   今天难得上班有时间看看工作之外(也可以说是工作之内的东西),由于这周顺利完成原本16人日的工作量,所以现在没啥事可做了,老大这周没有过来,新需求也被搁置,所以就看看一些我不知道的事,别想多了当然是学习喽我这个人最爱学习了,哈哈开篇是需要鸡汤的,虽然这鸡汤不咋地,但是我觉得鸡汤还是要有的,万一那天美味了呢.

   首先我们来讲讲使用MAVEN时出现java.lang.OutOfMemoryError:PermGen Space错误,解决方法是增大PermGen区,默认是64m的,设置为set MAVEN_OPTS = -XX:MaxPermSize=128m,对于常见的OutOfMemory错误,就如我今天在项目中看到一样,这样设置: set MAVEN_OPTS = -Xms128m -Xmx512m, mvn clean package -DskipTest.不过我在网上看到一位同学说有些情况使用 set MAVEN_OPTS也没用,如果又遇到的同学可以参考下他的笔记:http://blog.sina.com.cn/s/blog_56d8ea9001015835.html.

   有时我们需要设定maven环境下的jvm参数,以便通过maven执行命令或启动系统得到设定的参数,当我们需要远程调试时,也需要设定监听端口,maven配置jvm参数的地方是%M2_HOME%/bin/mvn.bat的文件,这是启动maven的脚本文件,在文件中你可以看到这行注释:@REM set MAVEN_OPTS = -XdeBug -Xnoagent -Djava.compiler=NONE -Xrunjdw p:transport=dt_socket,server=t,suspend=n,address=4000注意：suspend最好设定为n.设定上述参数后，在eclipse中新建远程调试，设置端口为4000，这样通过jetty:run启动系统时就可以进行远程调试了。

   下面是有关缓存,说到缓存作为开发人员都知道这个,但是真正了解的嘛,我就不了解,今天看到项目有个ehcache.xml文件,进去看了下不知道是啥,肯定勾起我的好奇心,网上一搜,哈哈,摘要一些内容分享给大家.

EhCache是一个纯Java的进程内缓存框架，具有快速、精干等特点，是Hibernate中默认的CacheProvider。其9大特性如下:快速,简单,多种缓存策略,缓存数据分两级:内存和磁盘存储(无需担心容量问题),缓存数据会在虚拟机重启的过程中写入磁盘,可以通过RMI、可插入API等方式进行分布式缓存,具有缓存和缓存管理器的侦听接口,支持多缓存管理器实例以及一个实例的多个缓存区域.提供hibernate的缓存实现.

   下面是有关EhCache配置文件的详细说明:<cache name="CACHENAME" maxElementsInMemory="222" eternal="false" timeToIdleSeconds="22" timeToLiveSeconds="222" overflowToDisk="true" diskPersistent="true" diskExpiryThreadIntervalSeconds="222" />

maxElementsInMemory ：cache 中最多可以存放的元素的数量。如果放入cache中的元素超过这个数值，有两种情况：1、若overflowToDisk的属性值为true，会将cache中多出的元素放入磁盘文件中。2、若overflowToDisk的属性值为false，会根据memoryStoreEvictionPolicy的策略替换cache中原有的元素。

eternal ：意思是是否永驻内存。如果值是true，cache中的元素将一直保存在内存中，不会因为时间超时而丢失，所以在这个值为true的时候，timeToIdleSeconds和timeToLiveSeconds两个属性的值就不起作用了。

timeToIdleSeconds ：就是访问这个cache中元素的最大间隔时间。如果超过这个时间没有访问这个cache中的某个元素，那么这个元素将被从cache中清除。

timeToLiveSeconds : 这是cache中元素的生存时间。意思是从cache中的某个元素从创建到消亡的时间，从创建开始计时，当超过这个时间，这个元素将被从cache中清除。

 

overflowToDisk ：溢出是否写入磁盘。系统会根据标签<diskStore path="java.io.tmpdir"/>中path的值查找对应的属性值，如果系统的java.io.tmpdir的值是D:/temp，写入磁盘的文件就会放在这个文件夹下。文件的名称是cache的名称，后缀名的data。如：CACHE_FUNC.data。这个属性在解释maxElementsInMemory的时候也已经说过了。

diskExpiryThreadIntervalSeconds  ：磁盘缓存的清理线程运行间隔

memoryStoreEvictionPolicy ：内存存储与释放策略。有三个值：

LRU －least recently used

LFU －least frequently used

FIFO－first in first out, the oldest element by creation time

diskPersistent ： 是否持久化磁盘缓存。当这个属性的值为true时，系统在初始化的时候会在磁盘中查找文件名为cache名称，后缀名为index的的文件，如CACHE_FUNC.index。这个文件中存放了已经持久化在磁盘中的cache的index，找到后把cache加载到内存。要想把cache真正持久化到磁盘，写程序时必须注意，在是用net.sf.ehcache.Cache的void put (Element element)方法后要使用void flush()方法。

注:以上时间值都是以秒作为单位的。

下面是关于三大缓存比较,是引用一位同学的笔记,相关地址在最后.

 Ehcache

在java项目广泛的使用。它是一个开源的、设计于提高在数据从RDBMS中取出来的高花费、高延迟采取的一种缓存方案。正因为Ehcache具有健壮性（基于java开发）、被认证（具有apache 2.0  license）、充满特色（稍后会详细介绍），所以被用于大型复杂分布式web application的各个节点中。

什么特色？

 

1.  够快

Ehcache的发行有一段时长了，经过几年的努力和不计其数的性能测试，Ehcache终被设计于large, high concurrency systems.

 

2. 够简单

开发者提供的接口非常简单明了，从Ehcache的搭建到运用运行仅仅需要的是你宝贵的几分钟。其实很多开发者都不知道自己用在用Ehcache，Ehcache被广泛的运用于其他的开源项目

比如：hibernate

 

3.够袖珍

关于这点的特性，官方给了一个很可爱的名字small foot print ，一般Ehcache的发布版本不会到2M，V 2.2.3  才668KB。

 

4. 够轻量

核心程序仅仅依赖slf4j这一个包，没有之一！

 

5.好扩展

Ehcache提供了对大数据的内存和硬盘的存储，最近版本允许多实例、保存对象高灵活性、提供LRU、LFU、FIFO淘汰算法，基础属性支持热配置、支持的插件多

 

6.监听器

缓存管理器监听器 （CacheManagerListener）和 缓存监听器（CacheEvenListener）,做一些统计或数据一致性广播挺好用的

如何使用？

够简单就是Ehcache的一大特色，自然用起来just so easy!

贴一段基本使用代码

CacheManager manager = CacheManager.newInstance("src/config/ehcache.xml");

Ehcache cache = new Cache("testCache", 5000, false, false, 5, 2);

cacheManager.addCache(cache);

代码中有个ehcache.xml文件，现在来介绍一下这个文件中的一些属性

     name:缓存名称。

       maxElementsInMemory：缓存最大个数。

       eternal:对象是否永久有效，一但设置了，timeout将不起作用。

       timeToIdleSeconds：设置对象在失效前的允许闲置时间（单位：秒）。仅当eternal=false对象不是永久有效时使用，可选属性，默认值是0，也就是可闲置时间无穷大。

       timeToLiveSeconds：设置对象在失效前允许存活时间,最大时间介于创建时间和失效时间之间。仅当eternal=false对象不是永久有效时使用，默认是0.，也就是对象存活时 间无穷大。

       overflowToDisk：当内存中对象数量达到maxElementsInMemory时，Ehcache将会对象写到磁盘中。

       diskSpoolBufferSizeMB：这个参数设置DiskStore（磁盘缓存）的缓存区大小。默认是30MB。每个Cache都应该有自己的一个缓冲区。

       maxElementsOnDisk：硬盘最大缓存个数。diskPersistent：是否缓存虚拟机重启期数据 Whether the disk store persists between restarts of the Virtual Machine. The default value is false.

     diskExpiryThreadIntervalSeconds：磁盘失效线程运行时间间隔，默认是120秒。

       memoryStoreEvictionPolicy：当达到maxElementsInMemory限制时，Ehcache将会根据指定的策略去清理内存。默认策略是LRU。你可以设置为FIFO或是LFU。

      clearOnFlush：内存数量最大时是否清除。

   memcache 是一种高性能、分布式对象缓存系统，最初设计于缓解动态网站数据库加载数据的延迟性，你可以把它想象成一个大的内存HashTable，就是一个key-value键值缓存。Danga Interactive为了LiveJournal所发展的，以BSD license释放的一套开放源代码软件。

 

1.依赖

memcache C语言所编写，依赖于最近版本的GCC和libevent。GCC是它的编译器，同事基于libevent做socket io。在安装memcache时保证你的系统同事具备有这两个环境。

 

2.多线程支持

memcache支持多个cpu同时工作，在memcache安装文件下有个叫threads.txt中特别说明，By default, memcached is compiled as a single-threaded application.默认是单线程编译安装，如果你需要多线程则需要修改./configure --enable-threads，为了支持多核系统，前提是你的系统必须具有多线程工作模式。开启多线程工作的线程数默认是4，如果线程数超过cpu数容易发生操作死锁的概率。结合自己业务模式选择才能做到物尽其用。

 

3.高性能

通过libevent完成socket的通讯，理论上性能的瓶颈落在网卡上。

 

简单安装：

1.分别把memcached和libevent下载回来，放到/tmp目录下：

# cd /tmp

# wget http://www.danga.com/memcached/dist/memcached-1.2.0.tar.gz

# wget http://www.monkey.org/~provos/libevent-1.2.tar.gz

2.先安装libevent：

# tar zxvf libevent-1.2.tar.gz

# cd libevent-1.2

# ./configure -prefix=/usr

# make （如果遇到提示gcc没有安装则先安装gcc)

# make install

3.测试libevent是否安装成功：

# ls -al /usr/lib | grep libevent

lrwxrwxrwx 1 root root 21 11?? 12 17:38 libevent-1.2.so.1 -> libevent-1.2.so.1.0.3

-rwxr-xr-x 1 root root 263546 11?? 12 17:38 libevent-1.2.so.1.0.3

-rw-r-r- 1 root root 454156 11?? 12 17:38 libevent.a

-rwxr-xr-x 1 root root 811 11?? 12 17:38 libevent.la

lrwxrwxrwx 1 root root 21 11?? 12 17:38 libevent.so -> libevent-1.2.so.1.0.3

还不错，都安装上了。

4.安装memcached，同时需要安装中指定libevent的安装位置：

# cd /tmp

# tar zxvf memcached-1.2.0.tar.gz

# cd memcached-1.2.0

# ./configure -with-libevent=/usr

# make

# make install

如果中间出现报错，请仔细检查错误信息，按照错误信息来配置或者增加相应的库或者路径。

安装完成后会把memcached放到/usr/local/bin/memcached，

5.测试是否成功安装memcached：

# ls -al /usr/local/bin/mem*

-rwxr-xr-x 1 root root 137986 11?? 12 17:39 /usr/local/bin/memcached

-rwxr-xr-x 1 root root 140179 11?? 12 17:39 /usr/local/bin/memcached-debug

启动memcache服务

 

启动Memcached服务：

 

1.启动Memcache的服务器端：

# /usr/local/bin/memcached -d -m 8096 -u root -l 192.168.77.105 -p 12000 -c 256 -P /tmp/memcached.pid

-d选项是启动一个守护进程，

-m是分配给Memcache使用的内存数量，单位是MB，我这里是8096MB，

-u是运行Memcache的用户，我这里是root，

-l是监听的服务器IP地址，如果有多个地址的话，我这里指定了服务器的IP地址192.168.77.105，

-p是设置Memcache监听的端口，我这里设置了12000，最好是1024以上的端口，

-c选项是最大运行的并发连接数，默认是1024，我这里设置了256，按照你服务器的负载量来设定，

-P是设置保存Memcache的pid文件，我这里是保存在/tmp/memcached.pid，

 

2.如果要结束Memcache进程，执行：

# cat /tmp/memcached.pid 或者 ps -aux | grep memcache  （找到对应的进程id号）

# kill 进程id号

也可以启动多个守护进程，不过端口不能重复。

 memcache 的连接

telnet  ip   port 

注意连接之前需要再memcache服务端把memcache的防火墙规则加上

-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT 

重新加载防火墙规则

service iptables restart

OK ,现在应该就可以连上memcache了

在客户端输入stats 查看memcache的状态信息

 

pid              memcache服务器的进程ID

uptime      服务器已经运行的秒数

time           服务器当前的unix时间戳

version     memcache版本

pointer_size         当前操作系统的指针大小（32位系统一般是32bit）

rusage_user          进程的累计用户时间

rusage_system    进程的累计系统时间

curr_items            服务器当前存储的items数量

total_items           从服务器启动以后存储的items总数量

bytes                       当前服务器存储items占用的字节数

curr_connections        当前打开着的连接数

total_connections        从服务器启动以后曾经打开过的连接数

connection_structures          服务器分配的连接构造数

cmd_get get命令          （获取）总请求次数

cmd_set set命令          （保存）总请求次数

get_hits          总命中次数

get_misses        总未命中次数

evictions     为获取空闲内存而删除的items数（分配给memcache的空间用满后需要删除旧的items来得到空间分配给新的items）

bytes_read    读取字节数（请求字节数）

bytes_written     总发送字节数（结果字节数）

limit_maxbytes     分配给memcache的内存大小（字节）

threads         当前线程数

redis

 redis是在memcache之后编写的，大家经常把这两者做比较，如果说它是个key-value store的话但是它具有丰富的数据类型，我想暂时把它叫做缓存数据流中心，就像现在物流中心那样，order、package、store、classification、distribute、end。现在还很流行的LAMP PHP架构 不知道和 redis+mysql或者redis + mongodb的性能比较（听群里的人说mongodb分片不稳定）。

先说说reidis的特性

 

1. 支持持久化

     redis的本地持久化支持两种方式：RDB和AOF。RDB在redis.conf配置文件里配置持久化触发器，AOF指的是redis每增加一条记录都会保存到持久化文件中（保存的是这条记录的生成命令），如果不是用redis做DB用的话还会不要开AOF，数据太庞大了，重启恢复的时候是一个巨大的工程！

 

2.丰富的数据类型

    redis 支持 String、Lists、sets、sorted sets、hashes多种数据类型,新浪微博会使用redis做nosql主要也是它具有这些类型，时间排序、职能排序、我的微博、发给我的这些功能List和sorted set的强大操作功能息息相关

 

3.高性能

   这点跟memcache很想象，内存操作的级别是毫秒级的比硬盘操作秒级操作自然高效不少，较少了磁头寻道、数据读取、页面交换这些高开销的操作！这也是NOSQL冒出来的原因吧，应该是高性能是基于RDBMS的衍生产品，虽然RDBMS也具有缓存结构，但是始终在app层面不是我们想要的那么操控的。

 

4.replication

    redis提供主从复制方案，跟mysql一样增量复制而且复制的实现都很相似，这个复制跟AOF有点类似复制的是新增记录命令，主库新增记录将新增脚本发送给从库，从库根据脚本生成记录，这个过程非常快，就看网络了，一般主从都是在同一个局域网，所以可以说redis的主从近似及时同步，同时它还支持一主多从，动态添加从库，从库数量没有限制。 主从库搭建，我觉得还是采用网状模式，如果使用链式（master-slave-slave-slave-slave·····）如果第一个slave出现宕机重启，首先从master接收 数据恢复脚本，这个是阻塞的，如果主库数据几TB的情况恢复过程得花上一段时间，在这个过程中其他的slave就无法和主库同步了。

 

5.更新快

   这点好像从我接触到redis到目前为止 已经发了大版本就4个，小版本没算过。redis作者是个非常积极的人，无论是邮件提问还是论坛发帖，他都能及时耐心的为你解答，维护度很高。有人维护的话，让我们用的也省心和放心。目前作者对redis的主导开发方向是redis的集群方向。

redis的安装

 

redis的安装其实还是挺简单的，总的来说就三步：下载tar包，解压tar包，安装。

不过最近我在2.6.7后用centos 5.5 32bit时碰到一个安装问题，下面我就用图片分享下安装过程碰到的问题，在redis文件夹内执行make时有个如下的错 undefined reference to '__sync_add_and_fetch_4'

上网找了了好多最后在  https://github.com/antirez/redis/issues/736找到解决方案，write CFLAGS= -march=i686 on src/Makefile head!

记得要把刚安装失败的文件删除，重新解压新的安装文件，修改Makefile文件，再make安装。就不会发现原来那个错误了

关于redis的一些属性注释和基本类型操作在上一篇redis的开胃菜有详细的说明，这里就不再重复累赘了（实质是想偷懒 ，哈哈！）

 

最后，把memcache和redis放在一起不得不会让人想到两者的比较，谁快谁好用啊，群里面已经为这个事打架很久了，我就把我看到的在这里跟大家分享下。

在别人发了一个memcache性能比redis好很多后，redis作者antirez发表了一篇博文，主要是说到如何给redis和memcache做压力测试，文中讲到有个人说许多开源软件都应该丢进厕所，因为他们的压力测试脚本太2了，作者对这个说明了一番。redis  vs  memcache is  definitely an apple to apple comparison。 呵呵，很明确吧，两者的比较是不是有点鸡蛋挑骨头的效果，作者在相同的运行环境做了三次测试取多好的值，得到的结果如下图:

需要申明的是此次测试在单核心处理的过程的数据，memcache是支持多核心多线程操作的（默认没开）所以在默认情况下上图具有参考意义，若然则memcache快于redis。那为什么redis不支持多线程多核心处理呢？作者也发表了一下自己的看法，首先是多线程不变于bug的修复，其实是不易软件的扩展，还有数据一致性问题因为redis所有的操作都是原子操作，作者用到一个词nightmare噩梦，呵呵！ 当然不支持多线程操作，肯定也有他的弊端的比如性能想必必然差，作者从2.2版本后专注redis cluster的方向开发来缓解其性能上的弊端，说白了就是纵向不行，横向提高。

 

三大缓存比较网址:http://blog.csdn.net/jationxiaozi/article/details/8509732

感谢这位同学笔记!不错!