生产项目中queue同步问题导致项目部署后CPU爆表问题解决

1.问题描述

最近参与到一个新项目的开发当中，项目的大部分功能已经由另外一名同事实现，这名同事给我反映了一个问题，说每次部署这个项目成功之后CPU立马飙到将近百分之百，一直没发现问题在哪里。



2.解决过程

听了同事的描述之后，心想肯定是程序性能问题，由于之前一直没碰到过这类问题，怀着浓厚的好奇心想一探究竟，解决这类问题本省也是成长，说干就干。

我首先想到的解决这类问题是使用性能分析工具——Java VisualVM，JDK自带的可视化工具。



通过VisualVM可以看到，除了CPU爆表之外其他都比较正常。

再看看线程运行情况，按运行时间排序，发现占用CPU最多的线程如绿色部分，其中有RMI相关线程、I/O线程。



看到这个排名，首先怀疑是RMI远程调用相关问题，由于项目中使用了Dubbo等框架，再加上性能分析经验不足，一直以为问题的产生跟dubbo相关，然后就去项目中去掉dubbo相关的功能（虽然有点二，当时觉得值得试一试），花了不少功夫终于去掉dubbo可以重新部署了。

重新部署项目后，发现CPU突然又飙升上去了。显然与dubbo关系不大，接下来的怀疑对象就是OpenapiMonitorAsyncWriteLogThread这个线程，由于并不是我写的代码，所以并不了解这个线程的作用。我们接着生成线程的Dump文件：



接着看Dump文件，找到OpenapiMonitorAsyncWriteLogThread这个线程的相关信息，我们就可以跟踪到相应的代码了



到这里我们只是怀疑OpenapiMonitorAsyncWriteLogThread这个线程有问题，并没有确定，那么我们再看看抽样器对CPU抽样（如下图），发现这个线程中的pollOne()方法占用CPU很多，所以我们更加怀疑这个线程，所以还是值得去仔细研究一下这个线程中的代码。



看了代码之后发现，这个线程实现的功能就是在项目部署后创建一个线程，这个线程不断的向数据库中保存访问请求日志，这些日志对象首先放到一个队列当中，然后线程不停的从queue当中取出对象：

/**
* 获取待插入记录list
* @Title: pollBatch
* @param batchSize
* @return
* @throws ParseException
* @throws InterruptedException
*/
private List<OauthLog> pollBatch(int batchSize) throws InterruptedException {
List<OauthLog> retList = Lists.newLinkedList();

int count = 1;
while(count < batchSize){
OauthLog data = pollOne();
if(data != null){
retList.add(data);
}
count++;
}

return retList;
}

/**
* 获取待插入记录
* @Title: pollOne
* @return
* @throws InterruptedException
* @throws ParseException
*/
private OauthLog pollOne() throws InterruptedException {
return queue.poll();
}

先前我们怀疑的pollOne()方法很简单，就是一个调用queue.poll()（这个queue是用的LinkedBlockingQueue）。我们去看看这个poll()方法的源码有什么特别之处呢：



经过仔细琢磨，终于发现问题。

int count = 1;
while(count < batchSize){
OauthLog data = pollOne();
if(data != null){
retList.add(data);
}
count++;
}

这个循环会一直调用pollOne（）这个方法，也就是上图中的poll()方法，然而当queue为空的时候，那么poll()方法就会直接返回，继续回到while循环当中，如果while循环能够终止那么也不会有问题，关键是while循环所在方法一直在运行，如下图：



从而While循环所在方法会一直运行，所以问题就出在这里，到此为止我们已经找到了问题所在，就是从queue中获取日志对象的方法不管queue是否为空都会一直运行，就导致了CPU被这个线程一直消耗。

3.问题解决

我们上面已经知道了问题之所在，现在要做的就是解决问题。既然poll()方法在队列为空的情况下还会一直继续运行，那么我们就不应该用此方法来获取队列中的对象，而是使用take()方法。



显然take()方法在队列为空的情况下就会阻塞，从而避免了线程一直占用cpu的问题。

OK，将poll()方法换成take()方法，CPU瞬间正常！

大功告成？NO！然而却出现了另外的异常现象，获取到的日志对象并没有保存到数据库。这是什么原因呢。。。不管如何CPU爆表的问题算是解决了，至于日志对象没有保存到数据库是为什么，那就是另外的问题了，也跟线程相关，那么且听下回分解。