MongoDB 查询超时异常 SocketTimeoutException
2015-03-05 08:59
274 查看
摘要: 在对大数据量的集合进行聚合操作,如果用时过长,偶尔会发生Read timed out异常。
在对超过百万条记录的集合进行聚合操作。
偶尔会发生Read timed out 异常。
通过多次测试,发现执行一次聚合平均时间为5s,超过5s时就会报错!
然后查看MongoDB的配置信息:
socket-timeout的默认配置为0,也就是没有限制。
没有超时限制,系统出了问题也不容易发现,应该根据实际情况,给出合理的超时时间。
通过多次测试发现最长执行时间为6秒,就把超时时间设置成了10000。
注意:MongoDB在与Spring整合时,如果要配置多个MongDB源,只会启用最后一个<mongo:options>配置。
应该把参数配置信息存储在properties文件中。
如果与服务器(这里指数据库)请求建立连接的时间超过ConnectionTimeOut,就会抛 ConnectionTimeOutException,即服务器连接超时,没有在规定的时间内建立连接。
如果与服务器连接成功,就开始数据传输了。
如果服务器处理数据用时过长,超过了SocketTimeOut,就会抛出SocketTimeOutExceptin,即服务器响应超时,服务器没有在规定的时间内返回给客户端数据。
在对超过百万条记录的集合进行聚合操作。
DBObject match=(DBObject)JSON.parse("{$match:{logType:{'$in':[5,9]}}}"); DBObject group=(DBObject)JSON.parse("{$group:{'_id':'$domainUrl','count':{'$sum':1}}}"); AggregationOutput output = logCollection.aggregate(match,group);
偶尔会发生Read timed out 异常。
com.mongodb.MongoException$Network: Read operation to server /192.168.10.202:27017 failed on database adLogTable at com.mongodb.DBTCPConnector.innerCall(DBTCPConnector.java:253) at com.mongodb.DB.command(DB.java:261) at com.mongodb.DB.command(DB.java:243) ... Caused by: java.net.SocketTimeoutException: Read timed out at java.net.SocketInputStream.socketRead0(Native Method) at java.net.SocketInputStream.read(SocketInputStream.java:152)
通过多次测试,发现执行一次聚合平均时间为5s,超过5s时就会报错!
然后查看MongoDB的配置信息:
socket-timeout="5000" //5s
socket-timeout的默认配置为0,也就是没有限制。
没有超时限制,系统出了问题也不容易发现,应该根据实际情况,给出合理的超时时间。
通过多次测试发现最长执行时间为6秒,就把超时时间设置成了10000。
socket-timeout="10000" //10s
注意:MongoDB在与Spring整合时,如果要配置多个MongDB源,只会启用最后一个<mongo:options>配置。
应该把参数配置信息存储在properties文件中。
<mongo:mongo host="${mongodb.ip}" id="mongo202" port="${mongodb.port}"> <mongo:options connections-per-host="200" threads-allowed-to-block-for-connection-multiplier="100" connect-timeout="1000" max-wait-time="1000" auto-connect-retry="true" socket-keep-alive="true" socket-timeout="10000" slave-ok="true" write-number="1" write-timeout="0" write-fsync="true" /> </mongo:mongo>
通过Java API获取配置参数
DBCollection logCollection = mongoTemplate.getCollection(collName); MongoOptions mongoOptions = logCollection.getDB().getMongo().getMongoOptions(); System.out.println(mongoOptions.getSocketTimeout());
最后一点: ConnectionTimeOut和SocketTimeOut的区别:
一次完整的请求包括三个阶段:1、建立连接 2、数据传输 3、断开连接如果与服务器(这里指数据库)请求建立连接的时间超过ConnectionTimeOut,就会抛 ConnectionTimeOutException,即服务器连接超时,没有在规定的时间内建立连接。
如果与服务器连接成功,就开始数据传输了。
如果服务器处理数据用时过长,超过了SocketTimeOut,就会抛出SocketTimeOutExceptin,即服务器响应超时,服务器没有在规定的时间内返回给客户端数据。
相关文章推荐
- Xfire客户端异常---Caused by: java.net.SocketTimeoutException: Read timed out
- 出现连接超时SocketTimeoutException后一直连接不上的
- MySql 长时间读数据发生超时的异常 Mysql Reader Exception TimeOut expired
- MongoDB查询字段没有创建索引导致的连接超时异常解案例分享
- java.net.sockettimeoutexception read timed out 异常
- Android异常总结--- java.net.SocketTimeoutException: Transport endpoint is not connected
- MongoDB 查询超时异常的原因及解决办法
- Android真机调试异常java.net.SocketTimeoutException
- java.net.SocketTimeoutException: Read timed out 异常解决办法
- MongoDB查询字段没有创建索引导致的连接超时异常解案例分享
- CXF客户端配置请求超时限制-SocketTimeoutException(Spring配置文件中配置和通过代码进行配置)
- Android异常总结--- java.net.SocketTimeoutException: Transport endpoint is not connected
- MongoDB 查询超时异常的原因及解决办法
- java.net.SocketTimeoutException: Read timed out
- org.apache.solr.client.solrj.SolrServerException: java.net.SocketTimeoutException: Read timed out
- java.net.SocketException: Software caused connection abort: recv failed 异常分析
- ClientAbortException: java.net.SocketException: Connection reset by peer: socket write error"异常原因分析
- java.net.SocketException:Software caused connection abort: recv failed 异常分析
- activemq 异常 Failed to start ActiveMQ JMS Message Broker. Reason: java.net.SocketException: No such device
- 解决android网络异常java.net.SocketException: Bad address family