应用Druid进行数据源、SQL、Web应用、URI、Session等监控的简单实现
来源:互联网 发布:macbook卸载软件 编辑:程序博客网 时间:2024/05/29 15:09
最近由于用户量的增加,项目有点力不从心了,感觉比以前慢了许多,着实给咱程序猿吓了一跳,莫非RP有限? 那当然是不可能的啦!仔细排查了下原因,有一点不可以质疑的就是SQL执行效率低,但是在项目茫茫SQL语句中如何找到那些SQL语句执行效率低呢?这时候Druid该派上用场啦!
首先来介绍下Druid(copy一段说明哈!)
Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统,旨在快速处理大规模的数据,并能够实现快速查询和分析。
Druid的主要特征:
- 为分析而设计——Druid是为OLAP工作流的探索性分析而构建,它支持各种过滤、聚合和查询等类;
- 快速的交互式查询——Druid的低延迟数据摄取架构允许事件在它们创建后毫秒内可被查询到;
- 高可用性——Druid的数据在系统更新时依然可用,规模的扩大和缩小都不会造成数据丢失;
- 可扩展——Druid已实现每天能够处理数十亿事件和TB级数据。
Druid可以做什么:
- 替换DBCP和C3P0。Druid提供了一个高效、功能强大、可扩展性好的数据库连接池。
- 可以监控数据库访问性能,Druid内置提供了一个功能强大的StatFilter插件,能够详细统计SQL的执行性能,这对于线上分析数据库访问性能有帮助。
- 数据库密码加密。直接把数据库密码写在配置文件中,这是不好的行为,容易导致安全问题。DruidDruiver和DruidDataSource都支持PasswordCallback。
- SQL执行日志,Druid提供了不同的LogFilter,能够支持Common-Logging、Log4j和JdkLog,你可以按需要选择相应的LogFilter,监控你应用的数据库访问情况。
- 扩展JDBC,如果你要对JDBC层有编程的需求,可以通过Druid提供的Filter机制,很方便编写JDBC层的扩展插件。
Druid已经在阿里巴巴部署了超过600个应用,经过一年多生产环境大规模部署的严苛考验。巴巴都已经部署这么应用了,那我们还等什么呢!哈哈! 配置很简单。
第一步:
下载druid包
Maven配置:
<dependency> <groupId>com.alibaba</groupId> <artifactId>druid</artifactId> <version>1.0.15</version></dependency>
第二步:
修改web.xml,添加druid的SQL监控,以及Web应用等监控配置。
<!-- 添加druid监控--> <servlet> <servlet-name>DruidStatView</servlet-name> <servlet-class>com.alibaba.druid.support.http.StatViewServlet</servlet-class> </servlet> <servlet-mapping> <servlet-name>DruidStatView</servlet-name> <url-pattern>/druid/*</url-pattern> </servlet-mapping><!-- 添加Web应用等监控--> <filter> <filter-name>DruidWebStatFilter</filter-name> <filter-class>com.alibaba.druid.support.http.WebStatFilter</filter-class> <init-param> <param-name>exclusions</param-name> <param-value>*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*</param-value> </init-param> <init-param> <param-name>profileEnable</param-name> <param-value>true</param-value> </init-param> <init-param> <param-name>principalCookieName</param-name> <param-value>USER_COOKIE</param-value> </init-param> <init-param> <param-name>principalSessionName</param-name> <param-value>USER_SESSION</param-value> </init-param></filter><filter-mapping> <filter-name>DruidWebStatFilter</filter-name> <url-pattern>/*</url-pattern></filter-mapping>
说明:上边DruidStatView为监控SQL和数据源,下边filter的DruidWebStatFilter是监控Web应用,URI,Session监控。
第三步:
修改spring配置文件的获取数据源配置
<!--读取配置文件--><bean id="propertyConfigurer" class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer"> <property name="locations"> <list> <value>classpath:jdbc.properties</value> </list> </property></bean><!-- Druid JNDI DataSource for J2EE environments --><bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close"> <property name="url" value="${jdbc.url}" /> <property name="username" value="${jdbc.username}" /> <property name="password" value="${jdbc.password}" /> <property name="maxActive" value="20" /> <property name="initialSize" value="1" /> <property name="maxWait" value="60000" /> <property name="minIdle" value="1" /> <property name="timeBetweenEvictionRunsMillis" value="3000" /> <property name="minEvictableIdleTimeMillis" value="300000" /> <property name="validationQuery" value="SELECT 'x' FROM DUAL" /> <property name="testWhileIdle" value="true" /> <property name="testOnBorrow" value="false" /> <property name="testOnReturn" value="false" /> <!-- mysql 不支持 poolPreparedStatements--> <!--<property name="poolPreparedStatements" value="true" />--> <!--<property name="maxPoolPreparedStatementPerConnectionSize" value="20" />--> <!-- 开启Druid的监控统计功能 --> <property name="filters" value="stat" /></bean>
说明:只需将dataSource获取方式改成DruidDataSource即可,里面的
参数可以从配置文件jdbc.properties里面配置。
好了,经过上边三个步骤,就可以进行监控了。访问页面http://127.0.0.1:8080/{projectName}/druid/sql.html就可以访问监控页面了,druid已经将数据友好的显示到页面上了,包括每条sql执行的次数,执行的时间,最慢时间等等很多详细信息,供我们参考,找到哪些执行效率低的耗时长的语句进行优化。同时提供数据源、sql防火墙,web应用,URI监控、Session监控,spring监控等,里面有详细的各种数据信息,大家可以参考查阅。
下边是监控结果页面截图
效果不错吧!
当然我们用到的只是druid的冰山一角,下边贴上相关参考资料,供大家学习参考。
github druid源码
druid官网docs
druid在线文档
- 应用Druid进行数据源、SQL、Web应用、URI、Session等监控的简单实现
- 应用数据源Druid监控SQL语句的执行情况配置
- 利用Druid实现应用和SQL监控
- 利用Druid实现应用和SQL监控
- 利用Druid实现应用和SQL监控
- 利用Druid实现应用和SQL监控
- 利用Druid实现应用和SQL监控
- 应用Druid监控SQL语句的执行情况
- 应用Druid监控SQL语句的执行情况
- 应用Druid监控SQL语句的执行情况
- 应用Druid监控SQL语句的执行情况
- 应用Druid监控SQL语句的执行情况
- 应用Druid监控SQL语句的执行情况
- 应用Druid监控SQL语句的执行情况
- 应用Druid监控SQL语句的执行情况
- 应用Druid监控SQL语句的执行情况
- 应用Druid监控SQL语句的执行情况
- 应用Druid监控SQL语句的执行情况
- 使用VBA将Excel工作表分割成多个文件
- 常用接口定义02——DB与DR系列端口
- 访问系统相册
- 虚拟视点图像生成011
- 第九章:对Ajax的支持——深入浅出学Spring Web MVC
- 应用Druid进行数据源、SQL、Web应用、URI、Session等监控的简单实现
- keepalive + Nginx实现高可用性及负载均衡
- 升级python到2.7 安装setuptoolos mysqldb
- 第十章:文件上传下载——深入浅出学Spring Web MVC
- es 参数配置
- 织梦DEDECMS网站后台系统菜单点击没有反应的解决办法(除了核心)
- BroadcastReceiver实现动态监测网络是否可用
- WebDAV客户端开发实例
- 第十一章:表单标签——深入浅出学Spring Web MVC