zhihu-spider之Druid——zhihu-spider开源项目使用技术详解（其三）

zhihu-spider之Druid——zhihu-spider开源项目使用技术详解（其三）

1.Druid简介

Druid是一个JDBC组件，它包括三部分:

• DruidDriver 代理Driver，能够提供基于Filter－Chain模式的插件体系。

• DruidDataSource 高效可管理的数据库连接池。

• SQLParser

Druid可以做什么？

• 可以监控数据库访问性能，Druid内置提供了一个功能强大的StatFilter插件，能够详细统计SQL的执行性能，这对于线上分析数据库访问性能有帮助。

• 替换DBCP和C3P0。Druid提供了一个高效、功能强大、可扩展性好的数据库连接池。

• 数据库密码加密。直接把数据库密码写在配置文件中，这是不好的行为，容易导致安全问题。DruidDruiver和DruidDataSource都支持PasswordCallback。

• SQL执行日志，Druid提供了不同的LogFilter，能够支持Common-Logging、Log4j和JdkLog，你可以按需要选择相应的LogFilter，监控你应用的数据库访问情况。

• 扩展JDBC，如果你要对JDBC层有编程的需求，可以通过Druid提供的Filter-Chain机制，很方便编写JDBC层的扩展插件。

  官方地址：https://github.com/alibaba/druid/wiki/%E9%A6%96%E9%A1%B5

  github地址：https://github.com/alibaba/druid

  Druid常见问题：https://github.com/alibaba/druid/wiki/%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98

2.Druid配置

//gradle依赖如下compile "com.alibaba:druid:1.0.11"// compile "com.alibaba:druid:1.0.29"//maven依赖如下<dependency>    <groupId>com.alibaba</groupId>    <artifactId>druid</artifactId>    <version>1.0.11</version></dependency>

(1).自定义数据源使用（较低版本druid-1.0.11在spring boot中的使用）

1>.配置文件application.yml中的配置

spring:  datasource:    druid:      driverClassName: com.mysql.jdbc.Driver      url: jdbc:mysql://localhost:3306/zhihu_spider?useUnicode=true&characterEncoding=utf-8      username: root      password: 555222      filters: stat      connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000

2>. 读取配置文件中配置的bean配置：

import org.springframework.boot.context.properties.ConfigurationProperties;import org.springframework.stereotype.Component;import lombok.Data;/** * 读取数据源配置信息 *  * @author sunzc * *         2017年7月5日 下午9:57:27 */@Component@ConfigurationProperties(prefix = "spring.datasource.druid")@Datapublic class DatasourceProperties {    private String driverClassName;    private String url;    private String username;    private String password;    private String filters;    private String connectionProperties;}

3>.配置数据源

import java.sql.SQLException;import javax.sql.DataSource;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;import com.alibaba.druid.pool.DruidDataSource;import com.wei.you.zhihu.spider.config.property.DatasourceProperties;import lombok.extern.slf4j.Slf4j;/** * 配置数据源 *  * @author sunzc * *         2017年6月2日 下午8:07:07 */@Configuration@Slf4jpublic class DatasourceConfiguration {    @Autowired    private DatasourceProperties property;    @Bean    public DataSource dataSource() {        DruidDataSource druidDataSource = new DruidDataSource();        /**         * 驱动配置         */        druidDataSource.setDriverClassName(property.getDriverClassName());        druidDataSource.setUrl(property.getUrl());        druidDataSource.setUsername(property.getUsername());        druidDataSource.setPassword(property.getPassword());        /**         * 其它链接池配置自行完成         */        druidDataSource.setConnectionProperties(property.getConnectionProperties());        try {            druidDataSource.setFilters(property.getFilters());        } catch (SQLException e) {            log.error("druid configuration initialization filter", e);        }        return druidDataSource;    }}

(2).Spring数据源中的druid数据源类型使用（较高版本druid-1.0.29在spring boot中的使用）

只需要在application.yml中配置以下属性即可

spring:  datasource:    type: com.alibaba.druid.pool.DruidDataSource    driverClassName: com.mysql.jdbc.Driver    url: jdbc:mysql://localhost:3306/zhihu_spider?useUnicode=true&characterEncoding=utf-8    username: root    password: 555222    filters: stat,wall,log4j    connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000

3.配置监控统计功能

1>.配置Servlet

  SpringBoot项目中基于注解的配置如下

import javax.servlet.annotation.WebInitParam;import javax.servlet.annotation.WebServlet;import com.alibaba.druid.support.http.StatViewServlet;/** * 配置Servlet *  * @author sunzc * *         2017年6月10日 上午9:40:55 */@SuppressWarnings("serial")@WebServlet(urlPatterns = "/monitor/sql/*",     initParams={            @WebInitParam(name="allow",value="192.168.16.110,127.0.0.1"),// IP白名单 (没有配置或者为空，则允许所有访问)            @WebInitParam(name="deny",value="192.168.16.111"),// IP黑名单 (存在共同时，deny优先于allow)            @WebInitParam(name="loginUsername",value="shanhy"),// 用户名            @WebInitParam(name="loginPassword",value="shanhypwd"),// 密码            @WebInitParam(name="resetEnable",value="false")// 禁用HTML页面上的“Reset All”功能    })public class DruidStatViewServlet extends StatViewServlet {}

2>.配置Filter

import javax.servlet.annotation.WebFilter;import javax.servlet.annotation.WebInitParam;import com.alibaba.druid.support.http.WebStatFilter;/** * 配置Filter *  * @author sunzc * *         2017年6月10日 上午9:40:46 */@WebFilter(filterName="druidWebStatFilter",urlPatterns="/*",    initParams={        @WebInitParam(name="exclusions",value="*.js,*.gif,*.jpg,*.bmp,*.png,*.css,*.ico,/monitor/sql/*")// 忽略资源})public class DruidStatFilter extends WebStatFilter {}

4.访问地址：http://localhost:8080/monitor/sql/sql.html

查看数据源及SQL统计等访问结果示例如下

5.项目的开源地址

https://github.com/sdc1234/zhihu-spider