线上bug导致tomcat 线程池堆积

线上bug导致tomcat 线程池堆积

事情经过

今天早上项目搜索页偶现504 页面!



马上查看线上日志 发现大量的 ConnectionTimeOut 异常.

里面跟踪下代码

RequestConfig config = RequestConfig.custom().setConnectTimeout(10000).setSocketTimeout(10000).build();

ConnectionTimeOut 居然是10s

这个时候能确定2个问题:

- 第三方接口存在不可用情况

- 自身应用timeout设置过长

难道就是这个原因导致的?

仔细分析了下 发现 出现ConnectionTimeOut异常的地方并

不是搜索页的功能.而是一个依赖于第三方接口用户绑定功能.

这个时候很迷惑了.

到底是什么原因呢?

查看线程堆栈

通过查看线程堆栈



发现大量的线程都wait在httpGet在第三方接口上

我们看下线程树



发现一共有920上下的线程数目

我们在来看下容器(tomcat)的线程数



容器处理请求的线程数最大是1000个.

这个时候我们就可以大胆猜测

就是大量的第三方接口请求

导致耗光了容器的线程池.所以其他请过过来,

只能等待线程池中资源释放 才能正常处理.

验证

修改connectionTimeOut时间为1000

重启应用

ok 业务恢复正常了。线程数也降下来了