Druid连接池二(学习笔记)

来源:互联网 发布:齐天大肾余潇洒知乎 编辑:程序博客网 时间:2024/06/08 15:06

6.Druid关联

6.1.Web关联监控配置 

WebStatFilter用于采集web-jdbc关联监控的数据。

web.xml配置

 <filter>    <filter-name>DruidWebStatFilter</filter-name>    <filter-class>com.alibaba.druid.support.http.WebStatFilter</filter-class>    <init-param>        <param-name>exclusions</param-name>        <param-value>*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*</param-value>    </init-param>  </filter>  <filter-mapping>    <filter-name>DruidWebStatFilter</filter-name>    <url-pattern>/*</url-pattern>  </filter-mapping>

exlusions配置

    经常需要排除一些不必要的url,比如.js,/jslib/等等。配置在init-param中。比如:

<init-param>        <param-name>exclusions</param-name>        <param-value>*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*</param-value></init-param>

sessionStatMaxCount配置

缺省sessionStatMaxCount1000个。你可以按需要进行配置,比如:

<init-param>        <param-name>sessionStatMaxCount</param-name>        <param-value>1000</param-value></init-param>

sessionStatEnable配置

你可以关闭session统计功能,比如:

<init-param>        <param-name>sessionStatEnable</param-name>        <param-value>false</param-value></init-param>

principalSessionName配置

你可以配置principalSessionName,使得druid能够知道当前的session的用户是谁。比如:

<init-param>        <param-name>principalSessionName</param-name>        <param-value>xxx.user</param-value></init-param>

根据需要,把其中的xxx.user修改为你user信息保存在session中的sessionName

注意:如果你session中保存的是非string类型的对象,需要重载toString方法。

principalCookieName

    如果你的user信息保存在cookie中,你可以配置principalCookieName,使得druid知道当前的user是谁

    <init-param>        <param-name>principalCookieName</param-name>        <param-value>xxx.user</param-value>    </init-param>

根据需要,把其中的xxx.user修改为你user信息保存在cookie中的cookieName

profileEnable

    druid 0.2.7版本开始支持profile,配置profileEnable能够监控单个url调用的sql列表。

<init-param>    <param-name>profileEnable</param-name>    <param-value>true</param-value></init-param>

结果展示



6.2.Spring关联监控配置 

Druid提供了SpringJdbc的关联监控。

配置spring

com.alibaba.druid.support.spring.stat.DruidStatInterceptor是一个标准的Spring MethodInterceptor。可以灵活进行AOP配置。

    Spring AOP的配置文档: 

http://static.springsource.org/spring/docs/current/spring-framework-reference/html/aop-api.html

按类型拦截配置

  <bean id="druid-stat-interceptor"    class="com.alibaba.druid.support.spring.stat.DruidStatInterceptor">  </bean>   <bean id="druid-type-proxyCreator" class="com.alibaba.druid.support.spring.stat.BeanTypeAutoProxyCreator">    <!-- 所有ABCInterface的派生类被拦截监控  -->    <property name="targetBeanType" value="xxxx.ABCInterface" />    <property name="interceptorNames">        <list>            <value>druid-stat-interceptor</value>        </list>    </property>  </bean>

方法名正则匹配拦截配置

  <bean id="druid-stat-interceptor"    class="com.alibaba.druid.support.spring.stat.DruidStatInterceptor">  </bean> <bean id="druid-stat-pointcut" class="org.springframework.aop.support.JdkRegexpMethodPointcut"    scope="prototype">    <property name="patterns">        <list>            <value>com.mycompany.service.*</value>            <value>com.mycompany.dao.*</value>        </list>    </property></bean> <aop:config>    <aop:advisor advice-ref="druid-stat-interceptor"        pointcut-ref="druid-stat-pointcut" /></aop:config>

有些情况下,可能你需要配置proxy-target-class,例如

<aop:config proxy-target-class="true">    <aop:advisor advice-ref="druid-stat-interceptor"        pointcut-ref="druid-stat-pointcut" /></aop:config>

按照BeanId来拦截配置

<bean id="druid-stat-interceptor"    class="com.alibaba.druid.support.spring.stat.DruidStatInterceptor">  </bean> <bean    class="org.springframework.aop.framework.autoproxy.BeanNameAutoProxyCreator">    <property name="proxyTargetClass" value="true" />    <property name="beanNames">        <list>            <!-- 这里配置需要拦截的bean id列表 -->            <value>xxx-dao</value>            <value>xxx-service</value>        </list>    </property>    <property name="interceptorNames">        <list>            <value>druid-stat-interceptor</value>        </list>    </property></bean>

6.Druid防御

Druid提供了WallFilter,它是基于SQL语义分析来实现防御SQL注入攻击的。

这个文档提供基于Spring的各种配置方式

使用缺省配置的WallFilter

  <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">      ...      <property name="filters" value="wall"/>  </bean>

结合其他Filter一起使用

    WallFilter可以结合其他Filter一起使用,例如

  <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">      ...      <property name="filters" value="wall,stat"/>  </bean>

    这样,拦截检测的时间不在StatFilter统计的SQL执行时间内。

如果希望StatFilter统计的SQL执行时间内,则使用如下配置

<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">      ...      <property name="filters" value="stat,wall"/>  </bean>

指定dbType

    有时候,一些应用框架做了自己的JDBC Proxy Driver,是的DruidDataSource无法正确识别数据库的类型,则需要特别指定,如下:

<bean id="wall-filter" class="com.alibaba.druid.wall.WallFilter">      <property name="dbType" value="mysql" />  </bean>   <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">      ...      <property name="proxyFilters">          <list>              <ref bean="wall-filter"/>          </list>      </property>  </bean>

指定配置装载的目录

缺省情况下,配置装载的目录如下:

数据库类型

目录

mysql

META-INF/druid/wall/mysql

oracle

META-INF/druid/wall/oracle

sqlserver

META-INF/druid/wall/sqlserver

postgres

META-INF/druid/wall/postgres

从配置目录中以下文件中读取配置:

  deny-variant.txt  deny-schema.txt  deny-function.txt  deny-table.txt  deny-object.txt

指定配置装载的目录是可以指定,例如:

  <bean id="wall-filter-config" class="com.alibaba.druid.wall.WallConfig" init-method="init">      <!-- 指定配置装载的目录  -->      <property name="dir" value="META-INF/druid/wall/mysql" />  </bean>   <bean id="wall-filter" class="com.alibaba.druid.wall.WallFilter">      <property name="dbType" value="mysql" />      <property name="config" ref="wall-filter-config" />  </bean>   <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">      ...      <property name="proxyFilters">          <list>              <ref bean="wall-filter"/>          </list>      </property>  </bean>

WallConfig详细说明

本身的配置

配置项

缺省值

dir

按照dbType分别配置
mysql : META-INF/druid/wall/mysql 
oracle : META-INF/druid/wall/oracle 
sqlserver : META-INF/druid/wall/sqlserver 

拦截配置-语句

配置项

缺省值

描述

selelctAllow

true

是否允许执行SELECT语句

selectAllColumnAllow

true

是否允许执行SELECT * FROM T这样的语句。如果设置为false,不允许执行select * from t,但select * from (select id, name from t) a。这个选项是防御程序通过调用select *获得数据表的结构信息。

selectIntoAllow

true

SELECT查询中是否允许INTO字句

deleteAllow

true

是否允许执行DELETE语句

updateAllow

true

是否允许执行UPDATE语句

insertAllow

true

是否允许执行INSERT语句

replaceAllow

true

是否允许执行REPLACE语句

mergeAllow

true

是否允许执行MERGE语句,这个只在Oracle中有用

callAllow

true

是否允许通过jdbccall语法调用存储过程

setAllow

true

是否允许使用SET语法

truncateAllow

true

truncate语句是危险,缺省打开,若需要自行关闭

createTableAllow

true

是否允许创建表

alterTableAllow

true

是否允许执行Alter Table语句

dropTableAllow

true

是否允许修改表

commentAllow

false

是否允许语句中存在注释,Oracle的用户不用担心,Wall能够识别hints和注释的区别

noneBaseStatementAllow

false

是否允许非以上基本语句的其他语句,缺省关闭,通过这个选项就能够屏蔽DDL

multiStatementAllow

false

是否允许一次执行多条语句,缺省关闭

useAllow

true

是否允许执行mysqluse语句,缺省打开

describeAllow

true

是否允许执行mysqldescribe语句,缺省打开

showAllow

true

是否允许执行mysqlshow语句,缺省打开

commitAllow

true

是否允许执行commit操作

rollbackAllow

true

是否允许执行roll back操作

如果把selectIntoAllowdeleteAllowupdateAllowinsertAllowmergeAllow都设置为false,这就是一个只读数据源了。

拦截配置-永真条件

配置项

缺省值

描述

selectWhereAlwayTrueCheck

true

检查SELECT语句的WHERE子句是否是一个永真条件

selectHavingAlwayTrueCheck

true

检查SELECT语句的HAVING子句是否是一个永真条件

deleteWhereAlwayTrueCheck

true

检查DELETE语句的WHERE子句是否是一个永真条件

deleteWhereNoneCheck

false

检查DELETE语句是否无where条件,这是有风险的,但不是SQL注入类型的风险

updateWhereAlayTrueCheck

true

检查UPDATE语句的WHERE子句是否是一个永真条件

updateWhereNoneCheck

false

检查UPDATE语句是否无where条件,这是有风险的,但不是SQL注入类型的风险

conditionAndAlwayTrueAllow

false

检查查询条件(WHERE/HAVING子句)中是否包含AND永真条件

conditionAndAlwayFalseAllow

false

检查查询条件(WHERE/HAVING子句)中是否包含AND永假条件

conditionLikeTrueAllow

true

检查查询条件(WHERE/HAVING子句)中是否包含LIKE永真条件

其他拦截配置

配置项

缺省值

描述

selectIntoOutfileAllow

false

SELECT ... INTO OUTFILE 是否允许,这个是mysql注入攻击的常见手段,缺省是禁止的

selectUnionCheck

true

检测SELECT UNION

selectMinusCheck

true

检测SELECT MINUS

selectExceptCheck

true

检测SELECT EXCEPT

selectIntersectCheck

true

检测SELECT INTERSECT

mustParameterized

false

是否必须参数化,如果为True,则不允许类似WHERE ID = 1这种不参数化的SQL

strictSyntaxCheck

true

是否进行严格的语法检测,Druid SQL Parser在某些场景不能覆盖所有的SQL语法,出现解析SQL出错,可以临时把这个选项设置为false,同时把SQL反馈给Druid的开发者。

conditionOpXorAllow

false

查询条件中是否允许有XOR条件。XOR不常用,很难判断永真或者永假,缺省不允许。

conditionOpBitwseAllow

true

查询条件中是否允许有"&""~""|""^"运算符。

conditionDoubleConstAllow

false

查询条件中是否允许连续两个常量运算表达式

minusAllow

true

是否允许SELECT * FROM A MINUS SELECT * FROM B这样的语句

intersectAllow

true

是否允许SELECT * FROM A INTERSECT SELECT * FROM B这样的语句

constArithmeticAllow

true

拦截常量运算的条件,比如说WHERE FID = 3 - 1,其中"3 - 1"是常量运算表达式。

limitZeroAllow

false

是否允许limit 0这样的语句

禁用对象检测配置

配置项

缺省值

描述

tableCheck

true

检测是否使用了禁用的表

schemaCheck

true

检测是否使用了禁用的Schema

functionCheck

true

检测是否使用了禁用的函数

objectCheck

true

检测是否使用了禁用对对象

variantCheck

true

检测是否使用了禁用的变量

readOnlyTables

指定的表只读,不能够在SELECT INTODELETEUPDATEINSERTMERGE中作为"被修改表"出现

Jdbc相关配置

配置项

缺省值

描述

metadataAllow

true

是否允许调用Connection.getMetadata方法,这个方法调用会暴露数据库的表信息

wrapAllow

true

是否允许调用Connection/Statement/ResultSetisWrapForunwrap方法,这两个方法调用,使得有办法拿到原生驱动的对象,绕过WallFilter的检测直接执行SQL

WallFiler配置说明

配置项

缺省值

描述

logViolation

false

对被认为是攻击的SQL进行LOG.error输出

throwException

true

对被认为是攻击的SQL抛出SQLExcepton

config

 

 

provider

 

 

刚开始引入WallFilter的时候,把logViolation设置为true,而throwException设置为false。就可以观察是否存在违规的情况,同时不影响业务运行。

7.Druid参考

    不同的业务场景需求不同,你可以使用我们的参考配置,但建议你仔细阅读相关文档,了解清楚之后做定制配置。

 

以下是一个参考的连接池配置:

 <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">       <!-- 基本属性 url、user、password -->      <property name="url" value="${jdbc_url}" />      <property name="username" value="${jdbc_user}" />      <property name="password" value="${jdbc_password}" />       <!-- 配置初始化大小、最小、最大 -->      <property name="initialSize" value="1" />      <property name="minIdle" value="1" />       <property name="maxActive" value="20" />       <!-- 配置获取连接等待超时的时间 -->      <property name="maxWait" value="60000" />       <!-- 配置间隔多久才进行一次检测,检测需要关闭的空闲连接,单位是毫秒 -->      <property name="timeBetweenEvictionRunsMillis" value="60000" />       <!-- 配置一个连接在池中最小生存的时间,单位是毫秒 -->      <property name="minEvictableIdleTimeMillis" value="300000" />       <property name="validationQuery" value="SELECT 'x'" />      <property name="testWhileIdle" value="true" />      <property name="testOnBorrow" value="false" />      <property name="testOnReturn" value="false" />       <!-- 打开PSCache,并且指定每个连接上PSCache的大小 -->      <property name="poolPreparedStatements" value="true" />      <property name="maxPoolPreparedStatementPerConnectionSize" value="20" />       <!-- 配置监控统计拦截的filters -->      <property name="filters" value="stat" />   </bean>

通常来说,只需要修改initialSizeminIdlemaxActive

如果用Oracle,则把poolPreparedStatements配置为truemysql可以配置为false。分库分表较多的数据库,建议配置为false

9. Druid日志

Druid提供了Log4jFilterCommonsLogFilterSlf4jFilter,具体配置看这里:

    Druid内置提供了三种LogFilterLog4jFilterCommonsLogFilterSlf4jLogFilter),用于输出JDBC执行的日志。这些Filter都是Filter-Chain扩展机制中的Filter,所以配置方式可以参考这里:Filter配置

1. 别名映射

    在druid-xxx.jar!/META-INF/druid-filter.properties文件中描述了这三种Filter的别名

  druid.filters.log4j=com.alibaba.druid.filter.logging.Log4jFilter  druid.filters.slf4j=com.alibaba.druid.filter.logging.Slf4jLogFilter  druid.filters.commonlogging=com.alibaba.druid.filter.logging.CommonsLogFilter  druid.filters.commonLogging=com.alibaba.druid.filter.logging.CommonsLogFilter

他们的别名分别是log4jslf4jcommonloggingcommonLogging。其中commonloggingcommonLogging只是大小写不同。

  <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource"      init-method="init" destroy-method="close">      ... ...      <property name="filters" value="stat,log4j" />  </bean>

2. loggerName配置

    LogFilter都是缺省使用四种不同的Logger执行输出,看实现代码:

  public abstract class LogFilter {      protected String          dataSourceLoggerName                 = "druid.sql.DataSource";      protected String          connectionLoggerName                 = "druid.sql.Connection";      protected String          statementLoggerName                  = "druid.sql.Statement";      protected String          resultSetLoggerName                  = "druid.sql.ResultSet";  }

    你可以根据你的需要修改,在log4j.properties文件上做配置时,注意配置使用相关的logger

3. 配置输出日志

    缺省输入的日志信息全面,但是内容比较多,有时候我们需要定制化配置日志输出。

<bean id="log-filter" class="com.alibaba.druid.filter.logging.Log4jFilter">    <property name="resultSetLogEnabled" value="false" /></bean> <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">    ...    <property name="proxyFilters">        <list>            <ref bean="log-filter"/>        </list>    </property></bean>

参数

说明

dataSourceLogEnabled

所有DataSource相关的日志

connectionLogEnabled

所有连接相关的日志

connectionLogErrorEnabled

所有连接上发生异常的日志

statementLogEnabled

所有Statement相关的日志

statementLogErrorEnabled

所有Statement发生异常的日志

resultSetLogEnabled

 

resultSetLogErrorEnabled

 

connectionConnectBeforeLogEnabled

 

connectionConnectAfterLogEnabled

 

connectionCommitAfterLogEnabled

 

connectionRollbackAfterLogEnabled

 

connectionCloseAfterLogEnabled

 

statementCreateAfterLogEnabled

 

statementPrepareAfterLogEnabled

 

statementPrepareCallAfterLogEnabled

 

statementExecuteAfterLogEnabled

 

statementExecuteQueryAfterLogEnabled

 

statementExecuteUpdateAfterLogEnabled

 

statementExecuteBatchAfterLogEnabled

 

statementCloseAfterLogEnabled

 

statementParameterSetLogEnabled

 

resultSetNextAfterLogEnabled

 

resultSetOpenAfterLogEnabled

 

resultSetCloseAfterLogEnabled

 

4. log4j.properties配置

如果你使用log4j,可以通过log4j.properties文件配置日志输出选项,例如:

  log4j.logger.druid.sql=warn,stdout  log4j.logger.druid.sql.DataSource=warn,stdout  log4j.logger.druid.sql.Connection=warn,stdout  log4j.logger.druid.sql.Statement=warn,stdout  log4j.logger.druid.sql.ResultSet=warn,stdout

5. 输出可执行的SQL

Java启动参数配置方式

  -Ddruid.log.stmt.executableSql=true

logFilter参数直接配置

  <bean id="log-filter" class="com.alibaba.druid.filter.logging.Log4jFilter">        <property name="statementExecutableSqlLogEnable" value="true" />  </bean>

10.Druid泄露

    Druid提供了多种监测连接泄漏的手段

连接泄漏监测

    当程序存在缺陷时,申请的连接忘记关闭,这时候,就存在连接泄漏了。Druid提供了RemoveAbandanded相关配置,用来关闭长时间不使用的连接。例如:

配置

  <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" destroy-method="close">    ... ...    <property name="removeAbandoned" value="true" /> <!-- 打开removeAbandoned功能 -->    <property name="removeAbandonedTimeout" value="1800" /> <!-- 1800秒,也就是30分钟 -->    <property name="logAbandoned" value="true" /> <!-- 关闭abanded连接时输出错误日志 -->    ... ...  </bean>

    配置removeAbandoned对性能会有一些影响,建议怀疑存在泄漏之后再打开。在上面的配置中,如果连接超过30分钟未关闭,就会被强行回收,并且日志记录连接申请时的调用堆栈。

内置监控页面查看未关闭连接堆栈信息

    当removeAbandoned=true之后,可以在内置监控界面datasource.html中的查看ActiveConnection StackTrace属性的,可以看到未关闭连接的具体堆栈信息,从而方便查出哪些连接泄漏了。

web应用

    如果你的应用配置了WebStatFilter 
    在内置监控页面weburi-detail.html中,查看JdbcPoolConnectionOpenCountJdbcPoolConnectionCloseCount属性,如果不相等,就是泄漏了。


3 0
原创粉丝点击