学习笔记 - java.util.concurrent 多线程框架（引）

最近由于工作需要，回去好好复习了一遍java，学习和温习了和多线程，正则表达式，模式设计，Socket编程等相关的知识，基本算把某个相当牛的程序看懂了，从中收获颇深，近期也会把相关的知识点做成笔记放到博客来。当然在这里得好好感谢一下晟晟和刁，在我迷惑的时候问他们总能找到自己想要的答案，当然还有晟晟的书，《精通正则表达式》，看完之后，感觉自己写正则的水平提高了不止一个档次，嘿嘿，
下面先整理一下与多线程相关的知识：

JDK5中的一个亮点就是将Doug
Lea的并发库引入到Java标准库中。Doug
Lea确实是一个牛人，能教书，能出书，能编码，不过这在国外还是比较普遍的，而国内的教授们就相差太远了。
一般的服务器都需要线程池，比如Web、FTP等服务器，不过它们一般都自己实现了线程池，比如以前介绍过的Tomcat、Resin和Jetty等，现在有了JDK5，我们就没有必要重复造车轮了，直接使用就可以，何况使用也很方便，性能也非常高。
packageconcurrent;

importjava.util.concurrent.ExecutorService;

importjava.util.concurrent.Executors;

public classTestThreadPool{

public staticvoidmain(String
args[])throwsInterruptedException{

// only two threads

ExecutorService exec = Executors.newFixedThreadPool(2);

for(intindex
=0; index <100;
index++) {

Runnable run =newRunnable()
{

publicvoidrun()
{

longtime
=(long)
(Math.random()*1000);

System.out.println(“Sleeping ”+
time +“ms”);

try{

Thread.sleep(time);

}catch(InterruptedException
e) {

}

}

};

exec.execute(run);

}

// must shutdown

exec.shutdown();

}

}
上面是一个简单的例子，使用了2个大小的线程池来处理100个线程。但有一个问题：在for循环的过程中，会等待线程池有空闲的线程，所以主线程会阻塞的。为了解决这个问题，一般启动一个线程来做for循环，就是为了避免由于线程池满了造成主线程阻塞。不过在这里我没有这样处理。[重要修正：经过测试，即使线程池大小小于实际线程数大小，线程池也不会阻塞的，这与Tomcat的线程池不同，它将Runnable实例放到一个“无限”的BlockingQueue中，所以就不用一个线程启动for循环，Doug
Lea果然厉害]
另外它使用了Executors的静态函数生成一个固定的线程池，顾名思义，线程池的线程是不会释放的，即使它是Idle。这就会产生性能问题，比如如果线程池的大小为200，当全部使用完毕后，所有的线程会继续留在池中，相应的内存和线程切换（while(true)+sleep循环）都会增加。如果要避免这个问题，就必须直接使用ThreadPoolExecutor()来构造。可以像Tomcat的线程池一样设置“最大线程数”、“最小线程数”和“空闲线程keepAlive的时间”。通过这些可以基本上替换Tomcat的线程池实现方案。
需要注意的是线程池必须使用shutdown来显式关闭，否则主线程就无法退出。shutdown也不会阻塞主线程。
许多长时间运行的应用有时候需要定时运行任务完成一些诸如统计、优化等工作，比如在电信行业中处理用户话单时，需要每隔1分钟处理话单；网站每天凌晨统计用户访问量、用户数；大型超时凌晨3点统计当天销售额、以及最热卖的商品；每周日进行数据库备份；公司每个月的10号计算工资并进行转帐等，这些都是定时任务。通过
java的并发库concurrent可以轻松的完成这些任务，而且非常的简单。
packageconcurrent;

import staticjava.util.concurrent.TimeUnit.SECONDS;

importjava.util.Date;

importjava.util.concurrent.Executors;

importjava.util.concurrent.ScheduledExecutorService;

importjava.util.concurrent.ScheduledFuture;

public classTestScheduledThread{

public staticvoidmain(String[]args)
{

finalScheduledExecutorService
scheduler = Executors

.newScheduledThreadPool(2);

finalRunnable
beeper =newRunnable()
{

intcount
=0;

publicvoidrun()
{

System.out.println(newDate()+”
beep ”+(++count));

}

};

// 1秒钟后运行，并每隔2秒运行一次

finalScheduledFuture
beeperHandle = scheduler.scheduleAtFixedRate(

beeper,1,2,
SECONDS);

// 2秒钟后运行，并每次在上次任务运行完后等待5秒后重新运行

finalScheduledFuture
beeperHandle2 = scheduler

.scheduleWithFixedDelay(beeper,2,5,
SECONDS);

// 30秒后结束关闭任务，并且关闭Scheduler

scheduler.schedule(newRunnable()
{

publicvoidrun()
{

beeperHandle.cancel(true);

beeperHandle2.cancel(true);

scheduler.shutdown();

}

},30,
SECONDS);

}

}
为了退出进程，上面的代码中加入了关闭Scheduler的操作。而对于24小时运行的应用而言，是没有必要关闭Scheduler的。
在实际应用中，有时候需要多个线程同时工作以完成同一件事情，而且在完成过程中，往往会等待其他线程都完成某一阶段后再执行，等所有线程都到达某一个阶段后再统一执行。
比如有几个旅行团需要途经深圳、广州、韶关、长沙最后到达武汉。旅行团中有自驾游的，有徒步的，有乘坐旅游大巴的；这些旅行团同时出发，并且每到一个目的地，都要等待其他旅行团到达此地后再同时出发，直到都到达终点站武汉。
这时候CyclicBarrier就可以派上用场。CyclicBarrier最重要的属性就是参与者个数，另外最要方法是await()。当所有线程都调用了await()后，就表示这些线程都可以继续执行，否则就会等待。
packageconcurrent;

importjava.text.SimpleDateFormat;

importjava.util.Date;

importjava.util.concurrent.BrokenBarrierException;

importjava.util.concurrent.CyclicBarrier;

importjava.util.concurrent.ExecutorService;

importjava.util.concurrent.Executors;

public classTestCyclicBarrier{

//徒步需要的时间: Shenzhen, Guangzhou, Shaoguan, Changsha, Wuhan

private staticint[]timeWalk
={5,8,15,15,10};

//自驾游

private staticint[]timeSelf
={1,3,4,4,5};

//旅游大巴

private staticint[]timeBus
={2,4,6,6,7};

staticString
now() {

SimpleDateFormat sdf =newSimpleDateFormat(“HH:mm:ss”);

returnsdf.format(newDate())+“:
“;

}
static classTourimplementsRunnable{

privateint[]times;

privateCyclicBarrier
barrier;

privateString
tourName;

publicTour(CyclicBarrier
barrier, String tourName,int[]times)
{

this.times = times;

this.tourName = tourName;

this.barrier = barrier;

}

publicvoidrun()
{

try{

Thread.sleep(times[0]*1000);

System.out.println(now()+
tourName +” Reached Shenzhen”);

barrier.await();

Thread.sleep(times[1]*1000);

System.out.println(now()+
tourName +” Reached Guangzhou”);

barrier.await();

Thread.sleep(times[2]*1000);

System.out.println(now()+
tourName +” Reached Shaoguan”);

barrier.await();

Thread.sleep(times[3]*1000);

System.out.println(now()+
tourName +” Reached Changsha”);

barrier.await();

Thread.sleep(times[4]*1000);

System.out.println(now()+
tourName +” Reached Wuhan”);

barrier.await();

}catch(InterruptedException
e) {

}catch(BrokenBarrierException
e) {

}

}

}
public staticvoidmain(String[]args)
{

//三个旅行团

CyclicBarrier barrier =newCyclicBarrier(3);

ExecutorService exec = Executors.newFixedThreadPool(3);

exec.submit(newTour(barrier,“WalkTour”,
timeWalk));

exec.submit(newTour(barrier,“SelfTour”,
timeSelf));

exec.submit(newTour(barrier,“BusTour”,
timeBus));

exec.shutdown();

}

}
运行结果：

00:02:25: SelfTour Reached Shenzhen

00:02:25: BusTour Reached Shenzhen

00:02:27: WalkTour Reached Shenzhen

00:02:30: SelfTour Reached Guangzhou

00:02:31: BusTour Reached Guangzhou

00:02:35: WalkTour Reached Guangzhou

00:02:39: SelfTour Reached Shaoguan

00:02:41: BusTour Reached Shaoguan
并发库中的BlockingQueue是一个比较好玩的类，顾名思义，就是阻塞队列。该类主要提供了两个方法put()和take()，前者将一个对象放到队列中，如果队列已经满了，就等待直到有空闲节点；后者从head取一个对象，如果没有对象，就等待直到有可取的对象。
下面的例子比较简单，一个读线程，用于将要处理的文件对象添加到阻塞队列中，另外四个写线程用于取出文件对象，为了模拟写操作耗时长的特点，特让线程睡眠一段随机长度的时间。另外，该Demo也使用到了线程池和原子整型（AtomicInteger），AtomicInteger可以在并发情况下达到原子化更新，避免使用了synchronized，而且性能非常高。由于阻塞队列的put和take操作会阻塞，为了使线程退出，特在队列中添加了一个“标识”，算法中也叫“哨兵”，当发现这个哨兵后，写线程就退出。
当然线程池也要显式退出了。
packageconcurrent;

importjava.io.File;

importjava.io.FileFilter;

importjava.util.concurrent.BlockingQueue;

importjava.util.concurrent.ExecutorService;

importjava.util.concurrent.Executors;

importjava.util.concurrent.LinkedBlockingQueue;

importjava.util.concurrent.atomic.AtomicInteger;
public classTestBlockingQueue{

staticlongrandomTime()
{

return(long)
(Math.random()*1000);

}
public staticvoidmain(String[]args)
{

//能容纳100个文件

finalBlockingQueue
queue =newLinkedBlockingQueue(100);

//线程池

finalExecutorService
exec = Executors.newFixedThreadPool(5);

finalFile
root =newFile(“F:\\JavaLib”);

//完成标志

finalFile
exitFile =newFile(“”);

//读个数

finalAtomicInteger
rc =newAtomicInteger();

//写个数

finalAtomicInteger
wc =newAtomicInteger();

//读线程

Runnable read =newRunnable()
{

publicvoidrun()
{

scanFile(root);

scanFile(exitFile);

}
publicvoidscanFile(File
file) {

if(file.isDirectory())
{

File[]files = file.listFiles(newFileFilter()
{

publicbooleanaccept(File
pathname) {

returnpathname.isDirectory()

|| pathname.getPath().endsWith(“.java”);

}

});

for(File
one : files)

scanFile(one);

}else{

try{

intindex
= rc.incrementAndGet();

System.out.println(“Read0: ”+
index +” “

+ file.getPath());

queue.put(file);

}catch(InterruptedException
e) {

}

}

}

};

exec.submit(read);

//四个写线程

for(intindex
=0; index <4;
index++) {

// write thread

finalintNO
= index;

Runnable write =newRunnable()
{

String threadName =“Write”+
NO;

publicvoidrun()
{

while(true)
{

try{

Thread.sleep(randomTime());

intindex
= wc.incrementAndGet();

File file = queue.take();

//队列已经无对象

if(file
== exitFile) {

//再次添加”标志”，以让其他线程正常退出

queue.put(exitFile);

break;

}

System.out.println(threadName +“:
”+ index +”
“

+ file.getPath());

}catch(InterruptedException
e) {

}

}

}

};

exec.submit(write);

}

exec.shutdown();

}

}

从名字可以看出，CountDownLatch是一个倒数计数的锁，当倒数到0时触发事件，也就是开锁，其他人就可以进入了。在一些应用场合中，需要等待某个条件达到要求后才能做后面的事情；同时当线程都完成后也会触发事件，以便进行后面的操作。
CountDownLatch最重要的方法是countDown()和await()，前者主要是倒数一次，后者是等待倒数到0，如果没有到达0，就只有阻塞等待了。
一个CountDouwnLatch实例是不能重复使用的，也就是说它是一次性的，锁一经被打开就不能再关闭使用了，如果想重复使用，请考虑使用CyclicBarrier。
下面的例子简单的说明了CountDownLatch的使用方法，模拟了100米赛跑，10名选手已经准备就绪，只等裁判一声令下。当所有人都到达终点时，比赛结束。
同样，线程池需要显式shutdown。
packageconcurrent;
importjava.util.concurrent.CountDownLatch;

importjava.util.concurrent.ExecutorService;

importjava.util.concurrent.Executors;
public classTestCountDownLatch{

public staticvoidmain(String[]args)throwsInterruptedException{

//开始的倒数锁

finalCountDownLatch
begin =newCountDownLatch(1);

//结束的倒数锁

finalCountDownLatch
end =newCountDownLatch(10);

//十名选手

finalExecutorService
exec = Executors.newFixedThreadPool(10);

for(intindex
=0; index <10;
index++) {

finalintNO
= index +1;

Runnable run =newRunnable(){

publicvoidrun()
{

try{

begin.await();

Thread.sleep((long)
(Math.random()*10000));

System.out.println(“No.”+
NO +” arrived”);

}catch(InterruptedException
e) {

}finally{

end.countDown();

}

}

};

exec.submit(run);

}

System.out.println(“Game Start”);

begin.countDown();

end.await();

System.out.println(“Game Over”);

exec.shutdown();

}

}
运行结果:

Game Start

No.4 arrived

No.1 arrived

No.7 arrived

No.9 arrived

No.3 arrived

No.2 arrived

No.8 arrived

No.10 arrived

No.6 arrived

No.5 arrived

Game Over
有时候在实际应用中，某些操作很耗时，但又不是不可或缺的步骤。比如用网页浏览器浏览新闻时，最重要的是要显示文字内容，至于与新闻相匹配的图片就没有那么重要的，所以此时首先保证文字信息先显示，而图片信息会后显示，但又不能不显示，由于下载图片是一个耗时的操作，所以必须一开始就得下载。
Java的并发库的Future类就可以满足这个要求。Future的重要方法包括get()和cancel()，get()获取数据对象，如果数据没有加载，就会阻塞直到取到数据，而
cancel()是取消数据加载。另外一个get(timeout)操作，表示如果在timeout时间内没有取到就失败返回，而不再阻塞。
下面的Demo简单的说明了Future的使用方法：一个非常耗时的操作必须一开始启动，但又不能一直等待；其他重要的事情又必须做，等完成后，就可以做不重要的事情。
packageconcurrent;
importjava.util.concurrent.Callable;

importjava.util.concurrent.ExecutionException;

importjava.util.concurrent.ExecutorService;

importjava.util.concurrent.Executors;

importjava.util.concurrent.Future;
public classTestFutureTask{

public staticvoidmain(String[]args)throwsInterruptedException,

ExecutionException{

finalExecutorService
exec = Executors.newFixedThreadPool(5);

Callable call =newCallable()
{

publicString
call()throwsException{

Thread.sleep(1000*5);

return“Other
less important but longtime things.”;

}

};

Future task = exec.submit(call);

//重要的事情

Thread.sleep(1000*3);

System.out.println(“Let’s do important things.”);

//其他不重要的事情

String obj = task.get();

System.out.println(obj);

//关闭线程池

exec.shutdown();

}

}
运行结果：

Let’s do important things.

Other less important but longtime things.
考虑以下场景：浏览网页时，浏览器了5个线程下载网页中的图片文件，由于图片大小、网站访问速度等诸多因素的影响，完成图片下载的时间就会有很大的不同。如果先下载完成的图片就会被先显示到界面上，反之，后下载的图片就后显示。
Java的并发库的CompletionService可以满足这种场景要求。该接口有两个重要方法：submit()和take()。submit用于提交一个runnable或者callable，一般会提交给一个线程池处理；而take就是取出已经执行完毕runnable或者callable实例的Future对象，如果没有满足要求的，就等待了。
CompletionService还有一个对应的方法poll，该方法与take类似，只是不会等待，如果没有满足要求，就返回null对象。
packageconcurrent;
importjava.util.concurrent.Callable;

importjava.util.concurrent.CompletionService;

importjava.util.concurrent.ExecutionException;

importjava.util.concurrent.ExecutorCompletionService;

importjava.util.concurrent.ExecutorService;

importjava.util.concurrent.Executors;

importjava.util.concurrent.Future;
public classTestCompletionService{

public staticvoidmain(String[]args)throwsInterruptedException,

ExecutionException{

ExecutorService exec = Executors.newFixedThreadPool(10);

CompletionService serv =

newExecutorCompletionService(exec);
for(intindex
=0; index <5;
index++) {

finalintNO
= index;

Callable downImg =newCallable()
{

publicString
call()throwsException{

Thread.sleep((long)
(Math.random()*10000));

return“Downloaded
Image ”+ NO;

}

};

serv.submit(downImg);

}
Thread.sleep(1000*2);

System.out.println(“Show web content”);

for(intindex
=0; index <5;
index++) {

Future task = serv.take();

String img = task.get();

System.out.println(img);

}

System.out.println(“End”);

//关闭线程池

exec.shutdown();

}

}
运行结果:

Show web content

Downloaded Image 1

Downloaded Image 2

Downloaded Image 4

Downloaded Image 0

Downloaded Image 3

End
操作系统的信号量是个很重要的概念，在进程控制方面都有应用。Java并发库的Semaphore可以很轻松完成信号量控制，Semaphore可以控制某个资源可被同时访问的个数，acquire()获取一个许可，如果没有就等待，而release()释放一个许可。比如在Windows下可以设置共享文件的最大客户端访问个数。
Semaphore维护了当前访问的个数，提供同步机制，控制同时访问的个数。在数据结构中链表可以保存“无限”的节点，用Semaphore可以实现有限大小的链表。另外重入锁ReentrantLock也可以实现该功能，但实现上要负责些，代码也要复杂些。
下面的Demo中申明了一个只有5个许可的Semaphore，而有20个线程要访问这个资源，通过acquire()和release()获取和释放访问许可。
packageconcurrent;
importjava.util.concurrent.ExecutorService;

importjava.util.concurrent.Executors;

importjava.util.concurrent.Semaphore;
public classTestSemaphore{

public staticvoidmain(String[]args)
{

//线程池

ExecutorService exec = Executors.newCachedThreadPool();

//只能5个线程同时访问

finalSemaphore
semp =newSemaphore(5);

//模拟20个客户端访问

for(intindex
=0; index <20;
index++) {

finalintNO
= index;

Runnable run =newRunnable()
{

publicvoidrun()
{

try{

//获取许可

semp.acquire();

System.out.println(“Accessing: ”+
NO);

Thread.sleep((long)
(Math.random()*10000));

//访问完后，释放

semp.release();

}catch(InterruptedException
e) {

}

}

};

exec.execute(run);

}

//退出线程池

exec.shutdown();

}

}
运行结果：

Accessing: 0

Accessing: 1

Accessing: 2

Accessing: 3

Accessing: 4

Accessing: 5

Accessing: 6

Accessing: 7

Accessing: 8

Accessing: 9

Accessing: 10

Accessing: 11

Accessing: 12

Accessing: 13

Accessing: 14

Accessing: 15

Accessing: 16

Accessing: 17

Accessing: 18

Accessing: 19