利用spring的线程池ThreadPoolTaskExecutor对多个库进行数据归档

使用ThreadPoolTaskExecutor对多个数据库中的数据进行数据归档，配置文件如下：

<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p"       xmlns:context="http://www.springframework.org/schema/context" xmlns:tx="http://www.springframework.org/schema/tx"       xmlns:aop="http://www.springframework.org/schema/aop"       xmlns:cache="http://www.springframework.org/schema/cache"       xmlns:util="http://www.springframework.org/schema/util"       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.0.xsd       http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd       http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-4.0.xsd       http://www.springframework.org/schema/cache http://www.springframework.org/schema/cache/spring-cache-4.0.xsd       http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-4.0.xsd       http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util-3.1.xsd"><!-- 当一个任务通过execute(Runnable)方法欲添加到线程池时：  如果此时线程池中的数量小于corePoolSize，即使线程池中的线程都处于空闲状态，也要创建新的线程来处理被添加的任务。  如果此时线程池中的数量等于 corePoolSize，但是缓冲队列 workQueue未满，那么任务被放入缓冲队列。  如果此时线程池中的数量大于corePoolSize，缓冲队列workQueue满，并且线程池中的数量小于maximumPoolSize，建新的线程来处理被添加的任务。  如果此时线程池中的数量大于corePoolSize，缓冲队列workQueue满，并且线程池中的数量等于maximumPoolSize，那么通过 handler所指定的策略来处理此任务。也就是：处理任务的优先级为：核心线程corePoolSize、任务队列workQueue、最大线程 maximumPoolSize，如果三者都满了，使用handler处理被拒绝的任务。  当线程池中的线程数量大于 corePoolSize时，如果某线程空闲时间超过keepAliveTime，线程将被终止。这样，线程池可以动态的调整池中的线程数。 --> <!-- 通用的 TaskExecutor，适合执行一些小功能，并发低，效率高的任务--><bean id="commonTaskExecutor"class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor"><!-- 线程名称前缀 --><property name="threadNamePrefix" value="commonTaskExecutor" /><!-- 核心线程数，默认为1 --><property name="corePoolSize" value="10" /><!-- 最大线程数，默认为Integer.MAX_VALUE --><property name="maxPoolSize" value="200" /><!-- 队列最大长度，一般需要设置值>=notifyScheduledMainExecutor.maxNum；默认为Integer.MAX_VALUE --><property name="queueCapacity" value="1000" /><!-- 线程池维护线程所允许的空闲时间，默认为60s --><property name="keepAliveSeconds" value="300" /><!-- 容器停止时是否等待job执行完，默认为false --><property name="waitForTasksToCompleteOnShutdown" value="true" /><!-- 容器停止时等待job执行的秒数，默认为0 --><property name="awaitTerminationSeconds" value="30" /><!-- 线程池对拒绝任务（无线程可用）的处理策略，目前只支持AbortPolicy、CallerRunsPolicy；默认为后者 --><property name="rejectedExecutionHandler"><!-- AbortPolicy:直接抛出java.util.concurrent.RejectedExecutionException异常 --><!-- CallerRunsPolicy:主线程直接执行该任务，执行完之后尝试添加下一个任务到线程池中，可以有效降低向线程池内添加任务的速度 --><!-- DiscardOldestPolicy:抛弃旧的任务、暂不支持；会导致被丢弃的任务无法再次被执行 --><!-- DiscardPolicy:抛弃当前任务、暂不支持；会导致被丢弃的任务无法再次被执行 --><bean class="java.util.concurrent.ThreadPoolExecutor$CallerRunsPolicy" /></property></bean>    </beans>

此配置信息解释的很详细，下面注入taskExecutor，看java代码实现

//通过线程跑任务，线程池管理public void bakupDbByThread(final Map<String,Object> param) {final String dbtype = (String) param.get(DB_TYPE);ThreadPoolTaskExecutor commonTaskExecutor = BeanManager.getBean("commonTaskExecutor", ThreadPoolTaskExecutor.class);Future<String> future = commonTaskExecutor.submit(new Callable<String>() {@Overridepublic String call() throws Exception {long startime = System.currentTimeMillis();logger.info("归档 start---"+dbtype);try {WorkerFactory.work(WorkerFactory.WORKTYPE_BACKUP,param);} catch (Exception e) {logger.error("归档失败 error---"+dbtype , e);}logger.info("归档 end---" + dbtype + ",耗时="+ (System.currentTimeMillis() - startime)+ "ms");return "result" + dbtype;}});}

BeanManager如下：

/** * 装入spring对象 * @author wangzuojia * */@Componentpublic class BeanManager implements ApplicationContextAware {private static ApplicationContext context;public static Object getBean(String name) {return context.getBean(name);}public static <O> O getBean(String name, Class<O> requiredType) {return context.getBean(name, requiredType);}public static <O> O getBean(Class<O> requiredType) {return context.getBean(requiredType);}@Overridepublic void setApplicationContext(ApplicationContext applicationContext)throws BeansException {this.context = applicationContext;}}

本文主要讲的是spring的线程池ThreadPoolTaskExecutor，各个线程对应的库是在执行bakupDbByThread方法前读取的配置文件（在配置文件中进行配置的），有人会问如果线程执行失败了怎么办？在WorkerFactory.work(WorkerFactory.WORKTYPE_BACKUP,param)方法中对可能出现的异常进行了判断。