利用spring的线程池ThreadPoolTaskExecutor对多个库进行数据归档

使用ThreadPoolTaskExecutor对多个数据库中的数据进行数据归档，配置文件如下：

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p"
xmlns:context="http://www.springframework.org/schema/context" xmlns:tx="http://www.springframework.org/schema/tx"
xmlns:aop="http://www.springframework.org/schema/aop"
xmlns:cache="http://www.springframework.org/schema/cache"
xmlns:util="http://www.springframework.org/schema/util"
xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.0.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-4.0.xsd http://www.springframework.org/schema/cache http://www.springframework.org/schema/cache/spring-cache-4.0.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-4.0.xsd http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util-3.1.xsd"> <!--
当一个任务通过execute(Runnable)方法欲添加到线程池时：
如果此时线程池中的数量小于corePoolSize，即使线程池中的线程都处于空闲状态，也要创建新的线程来处理被添加的任务。
如果此时线程池中的数量等于 corePoolSize，但是缓冲队列 workQueue未满，那么任务被放入缓冲队列。
如果此时线程池中的数量大于corePoolSize，缓冲队列workQueue满，并且线程池中的数量小于maximumPoolSize，建新的线程来处理被添加的任务。
如果此时线程池中的数量大于corePoolSize，缓冲队列workQueue满，并且线程池中的数量等于maximumPoolSize，那么通过 handler所指定的策略来处理此任务。也就是：处理任务的优先级为：核心线程corePoolSize、任务队列workQueue、最大线程 maximumPoolSize，如果三者都满了，使用handler处理被拒绝的任务。
当线程池中的线程数量大于 corePoolSize时，如果某线程空闲时间超过keepAliveTime，线程将被终止。这样，线程池可以动态的调整池中的线程数。
-->

<!-- 通用的 TaskExecutor，适合执行一些小功能，并发低，效率高的任务-->
<bean id="commonTaskExecutor"
class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor">
<!-- 线程名称前缀 -->
<property name="threadNamePrefix" value="commonTaskExecutor" />
<!-- 核心线程数，默认为1 -->
<property name="corePoolSize" value="10" />
<!-- 最大线程数，默认为Integer.MAX_VALUE -->
<property name="maxPoolSize" value="200" />
<!-- 队列最大长度，一般需要设置值>=notifyScheduledMainExecutor.maxNum；默认为Integer.MAX_VALUE -->
<property name="queueCapacity" value="1000" />
<!-- 线程池维护线程所允许的空闲时间，默认为60s -->
<property name="keepAliveSeconds" value="300" />
<!-- 容器停止时是否等待job执行完，默认为false -->
<property name="waitForTasksToCompleteOnShutdown" value="true" />
<!-- 容器停止时等待job执行的秒数，默认为0 -->
<property name="awaitTerminationSeconds" value="30" />
<!-- 线程池对拒绝任务（无线程可用）的处理策略，目前只支持AbortPolicy、CallerRunsPolicy；默认为后者 -->
<property name="rejectedExecutionHandler">
<!-- AbortPolicy:直接抛出java.util.concurrent.RejectedExecutionException异常 -->
<!-- CallerRunsPolicy:主线程直接执行该任务，执行完之后尝试添加下一个任务到线程池中，可以有效降低向线程池内添加任务的速度 -->
<!-- DiscardOldestPolicy:抛弃旧的任务、暂不支持；会导致被丢弃的任务无法再次被执行 -->
<!-- DiscardPolicy:抛弃当前任务、暂不支持；会导致被丢弃的任务无法再次被执行 -->
<bean class="java.util.concurrent.ThreadPoolExecutor$CallerRunsPolicy" />
</property>
</bean>

</beans>

此配置信息解释的很详细，下面注入taskExecutor，看java代码实现

//通过线程跑任务，线程池管理
public void bakupDbByThread(final Map<String,Object> param) {
final String dbtype = (String) param.get(DB_TYPE);
ThreadPoolTaskExecutor commonTaskExecutor = BeanManager.getBean("commonTaskExecutor", ThreadPoolTaskExecutor.class);
Future<String> future = commonTaskExecutor.
submit(new Callable<String>() {
@Override
public String call() throws Exception {
long startime = System.currentTimeMillis();
logger.info("归档 start---"+dbtype);
try {
WorkerFactory.work(WorkerFactory.WORKTYPE_BACKUP,param);
} catch (Exception e) {
logger.error("归档失败 error---"+dbtype , e);
}
logger.info("归档 end---" + dbtype + ",耗时="	+ (System.currentTimeMillis() - startime)+ "ms");
return "result" + dbtype;
}
});
}

BeanManager如下：

/**
* 装入spring对象
* @author wangzuojia
*
*/
@Component
public class BeanManager implements ApplicationContextAware {
private static ApplicationContext context;

public static Object getBean(String name) {
return context.getBean(name);
}

public static <O> O getBean(String name, Class<O> requiredType) {
return context.getBean(name, requiredType);
}

public static <O> O getBean(Class<O> requiredType) {
return context.getBean(requiredType);
}

@Override
public void setApplicationContext(ApplicationContext applicationContext)
throws BeansException {
this.context = applicationContext;
}
}

本文主要讲的是spring的线程池ThreadPoolTaskExecutor，各个线程对应的库是在执行bakupDbByThread方法前读取的配置文件（在配置文件中进行配置的），有人会问如果线程执行失败了怎么办？在WorkerFactory.work(WorkerFactory.WORKTYPE_BACKUP,param)方法中对可能出现的异常进行了判断。