连接池配置 - tomcat7

    数据库连接是一种关键的有限的昂贵的资源，这一点在多用户的网页应用程序中体现得尤为突出。对数据库连接的管理能显著影响到整个
应用程序的伸缩性和健壮性，影响到程序的性能指标。数据库连接池正是针对这个问题提出来的。
　　数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而再不是重新建立一个；释放空闲时
间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。这项技术能明显提高对数据库操作的性能。
　　数据库连接池在初始化时将创建一定数量的数据库连接放到连接池中，这些数据库连接的数量是由最小数据库连接数来设定的。无论这些
数据库连接是否被使用，连接池都将一直保证至少拥有这么多的连接数量。连接池的最大数据库连接数量限定了这个连接池能占有的最大连接
数，当应用程序向连接池请求的连接数超过最大连接数量时，这些请求将被加入到等待队列中。数据库连接池的最小连接数和最大连接数的设
置要考虑到下列几个因素：
　　1) 最小连接数是连接池一直保持的数据库连接，所以如果应用程序对数据库连接的使用量不大，将会有大量的数据库连接资源被浪费；
　　2) 最大连接数是连接池能申请的最大连接数，如果数据库连接请求超过此数，后面的数据库连接请求将被加入到等待队列中，这会影响之
后的数据库操作。
　　3) 如果最小连接数与最大连接数相差太大，那么最先的连接请求将会获利，之后超过最小连接数量的连接请求等价于建立一个新的数据库
连接。不过，这些大于最小连接数的数据库连接在使用完不会马上被释放，它将被放到连接池中等待重复使用或是空闲超时后被释放。
目前常用的连接池有：C3P0、DBCP、Proxool
网上的评价是：
C3P0比较耗费资源，效率方面可能要低一点。
DBCP在实践中存在BUG，在某些种情会产生很多空连接不能释放，Hibernate3.0已经放弃了对其的支持。
Proxool的负面评价较少，现在比较推荐它，而且它还提供即时监控连接池状态的功能，便于发现连接泄漏的情况。
对比：
1>     相同时间内同等量的线程数和循环次数下:通过对三个连接池的三个标志性性能测试参数（Average,median,90%Line）进行比较发现：性能dbcp<=c3p0<proxool；
2>     不同情况下的同一数据库连接池测试：通过观察 Average,median,90%Line三个参数发
现三个连接池的稳定性（三种连接池的三个测试参数的变化情况）依次：稳定性dbcp>=c3p0>proxool。
结论：   
通过对三种数据库连接池的性能测试发现，proxool和 c3p0能够更好的支持高并发，但是在稳定性方面略逊于 dpcp。

Tomcat 7 的JDBC连接池实现类为org.apache.tomcat.jdbc.pool，作为替换commons-dbcp的方案。
替换commons-dbcp的原因如下：

    commons-dbcp是单线程的，为了线程安全，就要琐住整个连接池，查询验证阶段也要琐住整个连接池。
    commons-dbcp速度慢，性能差，多CPU的环境下单线程运行，不支持高并发，在JAVA 6中也不能解决速度和并发的问题。
    commons-dbcp实现复杂，超过60个类。tomcat-jdbc-pool核心只有8个类，修改更加简单，只需运行连接池本身，易测试。
    commons-dbcp应用静态接口，就意味着并不能用JDK 1.6编译它，在JDK 1.6/1.7中运行时，即使驱动程序支持，所有没有实现的方法也都会抛出NoSuchMethodException异常。
    commons-dbcp几乎停滞，很少更新。
    作为一个连接池的简单实现不值得重写超过60个类。
    Tomcat jdbc连接池实现了一个commons-dbcp没有的公平算法，并且比commons-dbcp性能更好。
    Tomcat jdbc连接池实现了异步获取连接，也不需增加额外的线程。
    Tomcat jdbc连接池是一个Tomcat的模块，依赖于Tomcat JULI(Tomcat日志框架)
    使用javax.sql.PooledConnection接口获取连接。
    饥饿算法。如果连接池空了，同时一个线程要获得连接，当一个连接返回到连接池，连接池会将正确的线程唤醒。

除了commons-dbcp连接池，还有其它可以选择的方案，如c3p0,bonecp等,与这些连接池实现相比，Tomcat jdbc pool更突出的功能体现在：

    支持多核系统，提供更好的高并发性能。
    接口动态实现，运行时环境支持java.sql和javax.sql接口，可以使用低版本JDK编译。
    无需每次使用连接时都验证连接，可以在获取或返回连接时验证，不用比设置的间隔时间更频繁。
    当数据库连接建立时，一个可设置的查询将运行一次。这对保持连接建立整个时间中的会话十分有用。
    可以自定义拦截器增强功能。可定义拦截器来收集查询统计，缓存会话状态，重新连接，重新查询，缓存查询结果等。
    高性能
    极其简单，由于非常简单的实现，源程序行数和文件数很少，相比c3p0的200多个源程序文件，Tomcat jdbc只有8个核心源文件，关于连接池的部分只有4个文件。这样更容易追溯和修改Bug。减少复杂性就是起初开发的一个焦点。
    异步获取连接，可将连接请求形成队列，系统返回Future<Connection>
    更好的空闲连接处理，应用更优化的算法调整连接池大小和连接的释放。
    用户来决定当连接池满了在什么时刻释放连接，或者直接设置一个超时的阀值。
    释放连接定时器将会在查询时重置。允许一个使用很长时间的连接不超时。这个功能由ResetAbandonedTimer完成。
    在连接一定长时间后关闭连接。时间与返回连接池的时间相似。
    当连接要被释放时，将得到JMX通知并且记录整个日志。这和removeAbandonedTimeout相似，但是只输出信息，不做任何操作。使用suspectTimeout属性完成设置。
    可以从java.sql.Driver，javax.sql.DataSource或者javax.sql.XADataSource中取得连接，使用dataSource和dataSourceJNDI属性完成。
    支持XA连接。

需要注意：使用tomcat jdbc需要将连接数据库的jar放到tomcat的lib目录下。

1、配置spring

<bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource"destroy-method="close"><!– Connection Info –>< property name="driverClassName" value="${jdbc.driver}" /><property name="url" value="${jdbc.url}" /><property name="username" value="${jdbc.username}" /><property name="password" value="${jdbc.password}" /><!– Connection Pooling Info –>< property name="initialSize" value="${tomcat.pool.initialSize.common}" /><property name="maxActive" value="${tomcat.pool.maxActive.common}" /><property name="maxIdle" value="${tomcat.pool.maxIdle.common}" /><property name="minIdle" value="${tomcat.pool.minIdle.common}" /><property name="maxWait" value="${tomcat.pool.maxWait.common}" /><property name="testWhileIdle" value="${tomcat.pool.testWhileIdle.common}" /><property name="validationQuery" value="${tomcat.pool.validationQuery.common}" /><property name="validationQueryTimeout" value="${tomcat.pool.validationQueryTimeout.common}" /><property name="validationInterval" value="${tomcat.pool.validationInterval.common}" /><property name="timeBetweenEvictionRunsMillis" value="${tomcat.pool.timeBetweenEvictionRunsMillis.common}" /><property name="minEvictableIdleTimeMillis" value="${tomcat.pool.minEvictableIdleTimeMillis.common}" /><property name="numTestsPerEvictionRun" value="${tomcat.pool.numTestsPerEvictionRun.common}" /><property name="removeAbandoned" value="${tomcat.pool.removeAbandoned.common}" /><property name="removeAbandonedTimeout" value="${tomcat.pool.removeAbandonedTimeout.common}" /><property name="defaultAutoCommit" value="true" /></bean>

2、jdbc.properties配置

#MySqljdbc.driver=com.mysql.jdbc.Driverjdbc.url=jdbc:mysql://192.168.1.15:3306/common?characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNulljdbc.username=rootjdbc.password=1921#tomcatpool – common#初始化连接: 连接池启动时创建的初始化连接数量tomcat.pool.initialSize.common=5#最大活动连接: 连接池在同一时间能够分配的最大活动连接的数量,如果设置为非正数则表示不限制tomcat.pool.maxActive.common=60#最大空闲连接: 连接池中容许保持空闲状态的最大连接数量, 超过的空闲连接将被释放, 如果设置为负数表示不限制tomcat.pool.maxIdle.common=10#最小空闲连接: 连接池中容许保持空闲状态的最小连接数量, 低于这个数量将创建新的连接, 如果设置为0则不创建.默认与initialSize相同tomcat.pool.minIdle.common=5# 最大等待时间: 当没有可用连接时, 连接池等待连接被归还的最大时间( 以毫秒计数), 超过时间则抛出异常, 如果设置为-1 表示无限等待单位毫秒tomcat.pool.maxWait.common=5000#是否对空闲连接进行校验，如果检测失败, 则连接将被从池中去除.注意: 设置为true 后如果要生效,validationQuery 参数必须设置为非空字符串tomcat.pool.testWhileIdle.common=true#SQL 查询, 用来验证从连接池取出的连接tomcat.pool.validationQuery.common=SELECT 1#校验查询超时时间以秒为单位tomcat.pool.validationQueryTimeout.common=10#避免过度验证，保证验证不超过这个频率——以毫秒为单位tomcat.pool.validationInterval.common=30000#空闲连接回收器执行间隔，单位毫秒tomcat.pool.timeBetweenEvictionRunsMillis.common=31000#空闲连接能够保持空闲的最小时间，单位毫秒，在这个区间不会被回收器回收tomcat.pool.minEvictableIdleTimeMillis.common=120000#空闲连接回收器的执行线程数tomcat.pool.numTestsPerEvictionRun.common=10#检查连接是否泄漏（一般是因为没有关闭连接）,如果他们超过了removeAbandonedTimout 的限制.如果设置为true, 连接被认为是被泄露并且可以被删除,tomcat.pool.removeAbandoned.common=true#连接多久没有释放则认为是泄漏线程tomcat.pool.removeAbandonedTimeout.common=180

数据源示例:
    Spring在第三方依赖包中包含了两个数据源的实现类包，其一是Apache的DBCP，其二是 C3P0。可以在Spring配置文件中利用这两者中任何一个配置数据源。

DBCP数据源
    DBCP类包位于 /lib/jakarta-commons/commons-dbcp.jar，DBCP是一个依赖 Jakarta commons-pool对象池机制的数据库连接池，所以在类路径下还必须包括/lib/jakarta- commons/commons-pool.jar。下面是使用DBCP配置MySql数据源的配置片断：
xml 代码

<bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource"                destroy-method="close">            <property name="driverClassName" value="com.mysql.jdbc.Driver" />           <property name="url" value="jdbc:mysql://localhost:3309/sampledb" />           <property name="username" value="root" />           <property name="password" value="1234" />       </bean>

  
BasicDataSource提供了close()方法关闭数据源，所以必须设定destroy-method=”close”属性， 以便Spring容器关闭时，数据源能够正常关闭。除以上必须的数据源属性外，还有一些常用的属性：
    defaultAutoCommit：设置从数据源中返回的连接是否采用自动提交机制，默认值为 true；
    defaultReadOnly：设置数据源是否仅能执行只读操作， 默认值为 false；
    maxActive：最大连接数据库连接数，设置为0时，表示没有限制；
    maxIdle：最大等待连接中的数量，设置为0时，表示没有限制；
    maxWait：最大等待秒数，单位为毫秒， 超过时间会报出错误信息；
    validationQuery：用于验证连接是否成功的查询SQL语句，SQL语句必须至少要返回一行数据， 如你可以简单地设置为：“select count(*) from user”；
    removeAbandoned：是否自我中断，默认是 false ；
    removeAbandonedTimeout：几秒后数据连接会自动断开，在removeAbandoned为true，提供该值；
    logAbandoned：是否记录中断事件， 默认为 false；

C3P0数据源
    C3P0是一个开放源代码的JDBC数据源实现项目，它在lib目录中与Hibernate一起发布，实现了JDBC3和JDBC2扩展规范说明的 Connection 和Statement 池。C3P0类包位于/lib/c3p0/c3p0-0.9.0.4.jar。下面是使用C3P0配置一个 Oracle数据源：
xml 代码

<bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource"                destroy-method="close">           <property name="driverClass" value=" oracle.jdbc.driver.OracleDriver "/>           <property name="jdbcUrl" value=" jdbc:oracle:thin:@localhost:1521:ora9i "/>           <property name="user" value="admin"/>           <property name="password" value="1234"/>       </bean>  

 
ComboPooledDataSource和BasicDataSource一样提供了一个用于关闭数据源的close()方法，这样我们就可以保证Spring容器关闭时数据源能够成功释放。
    C3P0拥有比DBCP更丰富的配置属性，通过这些属性，可以对数据源进行各种有效的控制：
    acquireIncrement：当连接池中的连接用完时，C3P0一次性创建新连接的数目；
    acquireRetryAttempts：定义在从数据库获取新连接失败后重复尝试获取的次数，默认为30；
    acquireRetryDelay：两次连接中间隔时间，单位毫秒，默认为1000；
    autoCommitOnClose：连接关闭时默认将所有未提交的操作回滚。默认为false；
    automaticTestTable： C3P0将建一张名为Test的空表，并使用其自带的查询语句进行测试。如果定义了这个参数，那么属性preferredTestQuery将被忽略。你 不能在这张Test表上进行任何操作，它将中为C3P0测试所用，默认为null；
    breakAfterAcquireFailure：获取连接失败将会引起所有等待获取连接的线程抛出异常。但是数据源仍有效保留，并在下次调   用getConnection()的时候继续尝试获取连接。如果设为true，那么在尝试获取连接失败后该数据源将申明已断开并永久关闭。默认为 false；
    checkoutTimeout：当连接池用完时客户端调用getConnection()后等待获取新连接的时间，超时后将抛出SQLException，如设为0则无限期等待。单位毫秒，默认为0；
    connectionTesterClassName： 通过实现ConnectionTester或QueryConnectionTester的类来测试连接，类名需设置为全限定名。默认为 com.mchange.v2.C3P0.impl.DefaultConnectionTester；
    idleConnectionTestPeriod：隔多少秒检查所有连接池中的空闲连接，默认为0表示不检查；
    initialPoolSize：初始化时创建的连接数，应在minPoolSize与maxPoolSize之间取值。默认为3；
    maxIdleTime：最大空闲时间，超过空闲时间的连接将被丢弃。为0或负数则永不丢弃。默认为0；
    maxPoolSize：连接池中保留的最大连接数。默认为15；
    maxStatements：JDBC的标准参数，用以控制数据源内加载的PreparedStatement数量。但由于预缓存的Statement属 于单个Connection而不是整个连接池。所以设置这个参数需要考虑到多方面的因素，如果maxStatements与 maxStatementsPerConnection均为0，则缓存被关闭。默认为0；
    maxStatementsPerConnection：连接池内单个连接所拥有的最大缓存Statement数。默认为0；
    numHelperThreads：C3P0是异步操作的，缓慢的JDBC操作通过帮助进程完成。扩展这些操作可以有效的提升性能，通过多线程实现多个操作同时被执行。默认为3；
    preferredTestQuery：定义所有连接测试都执行的测试语句。在使用连接测试的情况下这个参数能显著提高测试速度。测试的表必须在初始数据源的时候就存在。默认为null；
    propertyCycle： 用户修改系统配置参数执行前最多等待的秒数。默认为300；
    testConnectionOnCheckout：因性能消耗大请只在需要的时候使用它。如果设为true那么在每个connection提交的时候都 将校验其有效性。建议使用idleConnectionTestPeriod或automaticTestTable
等方法来提升连接测试的性能。默认为false；
    testConnectionOnCheckin：如果设为true那么在取得连接的同时将校验连接的有效性。默认为false。
读配置文件的方式引用属性：

<bean id="propertyConfigurer"              class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">           <property name="location" value="/WEB-INF/jdbc.properties"/>       </bean>       <bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource"                destroy-method="close">           <property name="driverClassName" value="${jdbc.driverClassName}" />           <property name="url" value="${jdbc.url}" />           <property name="username" value="${jdbc.username}" />           <property name="password" value="${jdbc.password}" />       </bean>    

    在jdbc.properties属性文件中定义属性值：
   

jdbc.driverClassName= com.mysql.jdbc.Driverjdbc.url= jdbc:mysql://localhost:3309/sampledbjdbc.username=rootjdbc.password=1234 

    提示 经常有开发者在${xxx}的前后不小心键入一些空格，这些空格字符将和变量合并后作为属性的值。如： 的属性配置项，在前后都有空格，被解析后，username的值为“ 1234 ”，这将造成最终的错误，因此需要特别小心。
获取JNDI数据源
    如果应用配置在高性能的应用服务器（如WebLogic或Websphere等）上，我们可能更希望使用应用服务器本身提供的数据源。应用服务器的数据源 使用JNDI开放调用者使用，Spring为此专门提供引用JNDI资源的JndiObjectFactoryBean类。下面是一个简单的配置：
xml 代码

<bean id="dataSource" class="org.springframework.jndi.JndiObjectFactoryBean">           <property name="jndiName" value="java:comp/env/jdbc/bbt"/>       </bean> 

 
通过jndiName指定引用的JNDI数据源名称。
    Spring 2.0为获取J2EE资源提供了一个jee命名空间，通过jee命名空间，可以有效地简化J2EE资源的引用。下面是使用jee命名空间引用JNDI数据源的配置：
xml 代码

<beans xmlns=http://www.springframework.org/schema/beans     xmlns:xsi=http://www.w3.org/2001/XMLSchema-instance     xmlns:jee=http://www.springframework.org/schema/jee     xsi:schemaLocation="http://www.springframework.org/schema/beans      http://www.springframework.org/schema/beans/spring-beans-2.0.xsd      http://www.springframework.org/schema/jee     http://www.springframework.org/schema/jee/spring-jee-2.0.xsd">       <jee:jndi-lookup id="dataSource" jndi-name=" java:comp/env/jdbc/bbt"/>       </beans>   

Spring的数据源实现类
    Spring本身也提供了一个简单的数据源实现类DriverManagerDataSource ，它位于org.springframework.jdbc.datasource包中。这个类实现了javax.sql.DataSource接口，但 它并没有提供池化连接的机制，每次调用getConnection()获取新连接时，只是简单地创建一个新的连接。因此，这个数据源类比较适合在单元测试 或简单的独立应用中使用，因为它不需要额外的依赖类。
     下面，我们来看一下DriverManagerDataSource的简单使用：当然，我们也可以通过配置的方式直接使用DriverManagerDataSource。
java 代码

DriverManagerDataSource ds = new DriverManagerDataSource ();       ds.setDriverClassName("com.mysql.jdbc.Driver");       ds.setUrl("jdbc:mysql://localhost:3309/sampledb");       ds.setUsername("root");       ds.setPassword("1234");       Connection actualCon = ds.getConnection();  

proxool 数据源

maven 信息：

      <!-- proxool连接池 -->        <dependency>            <groupId>com.cloudhopper.proxool</groupId>            <artifactId>proxool</artifactId>            <version>0.9.1</version>        </dependency>

在spring配置文件中，一般在applicationContext.xml中

<bean id="proxoolDataSource" class="org.logicalcobwebs.proxool.ProxoolDataSource">      <property name="driver" value="${jdbc.connection.driverClassName}"/>      <property name="driverUrl" value="${jdbc.connection.url}"/>      <property name="user" value="${jdbc.connection.username}"/>      <property name="password" value="${jdbc.connection.password}"/>      <!-- 测试的SQL执行语句 -->     <property name="houseKeepingTestSql" value="${proxool.houseKeepingTestSql}"/>      <!-- 最少保持的空闲连接数 （默认2个） -->       <property name="prototypeCount" value="${proxool.prototypeCount}"/>      <!-- proxool自动侦察各个连接状态的时间间隔(毫秒),侦察到空闲的连接就马上回收,超时的销毁 默认30秒） -->      <property name="houseKeepingSleepTime" value="${proxool.hourseKeepingSleepTime}"/>      <!-- 最大活动时间(超过此时间线程将被kill,默认为5分钟) -->       <property name="maximumActiveTime" value="${proxool.maximumActiveTime}"/>      <!-- 连接最长时间(默认为4个小时) -->      <property name="maximumConnectionLifetime" value="${proxool.maximumConnectionLifetime}"/>      <!-- 最小连接数 （默认2个） -->      <property name="minimumConnectionCount" value="${proxool.minimumConnectionCount}"/>      <!-- 最大连接数 （默认5个） -->      <property name="maximumConnectionCount" value="${proxool.maximumConnectionCount}"/>      <!-- -->      <property name="statistics" value="${proxool.statistics}"/>      <!-- 别名 -->       <property name="alias" value="${proxool.alias}"/>      <!-- -->      <property name="simultaneousBuildThrottle" value="${proxool.simultaneous-build-throttle}"/>  </bean> 

     
proxool.xml

<?xml version="1.0" encoding="UTF-8"?>   <proxool>         <alias>WMS</alias>         <driver-url>jdbc:postgresql://192.168.210.184:5432/wms</driver-url>         <driver-class>org.postgresql.Driver</driver-class>         <driver-properties>                <property name="user" value="wms_user" />                <property name="password" value="wms" />         </driver-properties>         <minimum-connection-count>2</minimum-connection-count>         <maximum-connection-count>40</maximum-connection-count>         <simultaneous-build-throttle>20</simultaneous-build-throttle>         <prototype-count>2</prototype-count>         <house-keeping-test-sql>select CURRENT_DATE</house-keeping-test-sql>   </proxool> 

配置说明：
alias                                        -〉数据库连接别名（程序中需要使用的名称）
driver-url                                   -〉数据库驱动
driver-class                                 -〉驱动程序类
driver-properties                            -〉联机数据库的用户和密码
minimum-connection-count                     -〉最小连接数量，建议设置0以上，保证第一次连接时间
maximum-connection-count                     -〉最大连接数量，如果超过最大连接数量则会抛出异常。连接数设置过多，服务器CPU和内存性能消耗很
大。
simultaneous-build-throttle                  -〉同时最大连接数
prototype-count                              -〉一次产生连接的数量。
                                                 例：如果现在prototype-count设置为4个，但是现在已经有2个可以获得的连接，那么
将会试图再创建2个连接。
                                                  但不能超过最大连接数。
maximum-active-time                         -〉连接最大时间活动 默认5分钟

maximum-connection-lifetime                 -〉连接最大生命时间 默认4小时

向 web.xml 中添加 proxool初始化设置servlet 。 即 添加如下内容：

<servlet>
     <servlet-name>ServletConfigurator</servlet-name>
     <servlet-class>
     org.logicalcobwebs.proxool.configuration.ServletConfigurator
     </servlet-class>
     <init-param>
      <param-name>propertyFile</param-name>
      <param-value>WEB-INF/Proxool.properties</param-value>
     </init-param>
     <load-on-startup>1</load-on-startup>
    </servlet>

   如果想要监控 proxool 连接池信息，可以加如下信息。 输入http://localhost:8080/PoolTest/admin.proxool 即可看见
<servlet>
   <servlet-name>Admin</servlet-name>
   <servlet-class>org.logicalcobwebs.proxool.admin.servlet.AdminServlet</servlet-class>
</servlet>
<servlet-mapping>
   <servlet-name>Admin</servlet-name>
   <url-pattern>/admin.proxool</url-pattern>
</servlet-mapping>

<!-- 配置受保护域，只有Tomcat管理员才能察看连接池的信息 -->  
<security-constraint>  
 <web-resource-collection>  
     <web-resource-name>proxool</web-resource-name>    
     <url-pattern>/admin</url-pattern>  
 </web-resource-collection>  
 <auth-constraint>  
    <role-name>manager</role-name>    
    </auth-constraint>  
 </security-constraint>  
<login-config>  
    <auth-method>BASIC</auth-method>    
    <realm-name>proxool manager Application</realm-name>    
 </login-config>  
 <security-role>  
   <description>The role that is required to log in to the Manager Application</description>    
    <role-name>manager</role-name>    
</security-role>