Netty(三)TCP粘包拆包处理
2015-12-01 17:25
381 查看
tcp是一个“流”的协议,一个完整的包可能会被TCP拆分成多个包进行发送,也可能把小的封装成一个大的数据包发送,这就是所谓的TCP粘包和拆包问题。
1.服务端分2次读取到了两个独立的包,分别是D1,D2,没有粘包和拆包;
2.服务端一次性接收了两个包,D1和D2粘在一起了,被成为TCP粘包;
3.服务端分2次读取到了两个数据包,第一次读取到了完整的D1和D2包的部分内容,第二次读取到了D2包的剩余内容,这被称为拆包;
4.服务端分2次读取到了两个数据包,第一次读取到了部分D1,第二次读取D1剩余的部分和完整的D2包;
如果此时服务端TCP接收滑动窗非常小,而数据包D1和D2都很大,很有可能发送第五种可能,即服务端多次才能把D1和D2接收完全,期间多次发生拆包情况。(TCP接收滑动窗:是接收端的大小,随着流量大小而变化,如果我的解释还不明确,请读者自行百度,或者查阅《计算机网络》、《TCP/IP》中TCP的内容)
1.消息定长,例如每个报文的大小为固定长度200字节,如果不够,空位补空格;
2.在包尾增加回车换行符进行分割,例如FTP协议;
3.将消息分为消息头和消息体,消息头中包含表示消息总长度(或者消息体长度)的字段,通常设计思路是消息头的第一个字段用int来表示消息的总长度;(我之前linux C开发,就用的这种)。
4.更复杂的应用层协议;
为了解决TCP粘包拆包的问题,Netty默认提供了多种编码器来处理,以下通过代码来说明;
服务端:
客服端
以上的代码,主要就是增加 LineBasedFrameDecoder 和StringDecoder编码器来处理粘包、拆包问题。全部项目代码,源码在src/main/java/NettyStickyPacket下,分为客户端和服务端,他们的代码基本和Netty入门章节的代码类似,只是增加了解码器。
StringDecoder功能:将接收到的对象转成字符串,然后继续调用后面的handler。 LineBasedFrameDecoder + StringDecoder组成就是按行切换的文本解码器,它被设计用来支持TCP的粘包和拆包。
可能读者会提出新的疑问:如果发送的消息不是以换行符结束怎么办?或者没有回车换行符,靠消息头中的长度字段来分包怎么办?是不是需要自己写半包解码器?答案是否定的,Netty提供了多种支持TCP粘包/拆包的解码器。
关于“分隔符解码器”,下一章单独讲解说明。
粘包、拆包问题说明
假设客户端分别发送数据包D1和D2给服务端,由于服务端一次性读取到的字节数是不确定的,所以可能存在以下4种情况。1.服务端分2次读取到了两个独立的包,分别是D1,D2,没有粘包和拆包;
2.服务端一次性接收了两个包,D1和D2粘在一起了,被成为TCP粘包;
3.服务端分2次读取到了两个数据包,第一次读取到了完整的D1和D2包的部分内容,第二次读取到了D2包的剩余内容,这被称为拆包;
4.服务端分2次读取到了两个数据包,第一次读取到了部分D1,第二次读取D1剩余的部分和完整的D2包;
如果此时服务端TCP接收滑动窗非常小,而数据包D1和D2都很大,很有可能发送第五种可能,即服务端多次才能把D1和D2接收完全,期间多次发生拆包情况。(TCP接收滑动窗:是接收端的大小,随着流量大小而变化,如果我的解释还不明确,请读者自行百度,或者查阅《计算机网络》、《TCP/IP》中TCP的内容)
粘包问题的解决策略
由于底层的TCP无法理解上层的业务逻辑,所以在底层是无法确保数据包不被拆分和重组的,这个问题只能通过上层的应用协议栈设计来解决,根据业界的主流协议的解决方案,归纳如下:1.消息定长,例如每个报文的大小为固定长度200字节,如果不够,空位补空格;
2.在包尾增加回车换行符进行分割,例如FTP协议;
3.将消息分为消息头和消息体,消息头中包含表示消息总长度(或者消息体长度)的字段,通常设计思路是消息头的第一个字段用int来表示消息的总长度;(我之前linux C开发,就用的这种)。
4.更复杂的应用层协议;
为了解决TCP粘包拆包的问题,Netty默认提供了多种编码器来处理,以下通过代码来说明;
服务端:
public class TimeServer { /* -------- 和Netty入门章节一样的代码 -------- */ private class ChildChannelHandler extends ChannelInitializer<SocketChannel>{ @Override protected void initChannel(SocketChannel arg0)throws Exception{ // 增加 LineBasedFrameDecoder 和StringDecoder编码器 arg0.pipeline().addLast(new LineBasedFrameDecoder(1024)); arg0.pipeline().addLast(new StringDecoder()); arg0.pipeline().addLast(new TimeServerHandler()); } } /* -------- 和Netty入门章节一样的代码 -------- */ }
public class TimeServerHandler extends ChannelHandlerAdapter{ private int counter; // 用于网络的读写操作 @Override public void channelRead(ChannelHandlerContext ctx,Object msg) throws Exception{ String body = (String)msg; System.out.println("the time server order : " + body+";the counter is :"+ (++counter)); String currentTime = "QUERY TIME ORDER".equalsIgnoreCase(body)?new Date( System.currentTimeMillis()).toString():"BAD ORDER"; currentTime +=System.getProperty("line.separator"); // System.getProperty("line.separator"),获取/n的作用 ByteBuf resp = Unpooled.copiedBuffer(currentTime.getBytes()); ctx.writeAndFlush(resp); // 当客户端和服务端建立tcp成功之后,Netty的NIO线程会调用channelActive // 发送查询时间的指令给服务端。 // 调用ChannelHandlerContext的writeAndFlush方法,将请求消息发送给服务端 // 当服务端应答时,channelRead方法被调用 } @Override public void exceptionCaught(ChannelHandlerContext ctx,Throwable cause){ ctx.close(); } }
客服端
public class TimeClient { public void connect(String host,int port)throws Exception{ // 配置服务端的NIO线程组 EventLoopGroup group = new NioEventLoopGroup(); try { // Bootstrap 类,是启动NIO服务器的辅助启动类 Bootstrap b = new Bootstrap(); b.group(group).channel(NioSocketChannel.class) .option(ChannelOption.TCP_NODELAY,true) .handler(new ChannelInitializer<SocketChannel>() { @Override public void initChannel(SocketChannel ch) throws Exception{ // 增加 LineBasedFrameDecoder 和StringDecoder编码器 ch.pipeline().addLast(new LineBasedFrameDecoder(1024)); ch.pipeline().addLast(new StringDecoder()); ch.pipeline().addLast(new TimeClientHandler()); } }); // 发起异步连接操作 ChannelFuture f= b.connect(host,port).sync(); // 等待客服端链路关闭 f.channel().closeFuture().sync(); }finally { group.shutdownGracefully(); } } public static void main(String[]args)throws Exception{ int port = 8080; if(args!=null && args.length>0){ try { port = Integer.valueOf(args[0]); } catch (NumberFormatException ex){} } new TimeClient().connect("127.0.0.1",port); } }
以上的代码,主要就是增加 LineBasedFrameDecoder 和StringDecoder编码器来处理粘包、拆包问题。全部项目代码,源码在src/main/java/NettyStickyPacket下,分为客户端和服务端,他们的代码基本和Netty入门章节的代码类似,只是增加了解码器。
LineBasedFrameDecoder 和StringDecoder编码器说明
LineBasedFrameDecoder 工作原理:依次编译bytebuf中的可读字符,判断看是否有“\n”或者“\r\n”,如果有,就以此位置为结束位置,从可读索引到结束位置区间的字节就组成了一行。它是以换行符为结束标志的解码器,支持携带结束符或者不携带结束符两种解码方式,同时支持单行的最大长度。如果连续读取到最大长度后,仍然没有发现换行符,就会抛出异常,同时忽略掉之前读到的异常码流。StringDecoder功能:将接收到的对象转成字符串,然后继续调用后面的handler。 LineBasedFrameDecoder + StringDecoder组成就是按行切换的文本解码器,它被设计用来支持TCP的粘包和拆包。
可能读者会提出新的疑问:如果发送的消息不是以换行符结束怎么办?或者没有回车换行符,靠消息头中的长度字段来分包怎么办?是不是需要自己写半包解码器?答案是否定的,Netty提供了多种支持TCP粘包/拆包的解码器。
关于“分隔符解码器”,下一章单独讲解说明。
源码下载
GitHub地址:https://github.com/orange1438/Netty_Course
作者:orange1438 出处:http://www.cnblogs.com/orange1438/ 本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
相关文章推荐
- http://www.cnblogs.com/kenshincui/p/3840294.html
- 服务器端HttpServletResponse对象编码发送信息及浏览器端解码显示信息原理剖析
- Swift中的HTTP请求
- 网络层—IP地址的三种分类方式
- HTTP请求和响应格式详细解析
- AFNetWork https 适配
- 网络层—网际协议IP
- HttpClient
- JavaScript中IE与DOM事件的区别http://www.cnblogs.com/stpangpang/archive/2008/06/03/1212607.html
- [计算机网络学习]开始或结束标志在数据中出现 的处理
- IDHTTP的基本用法
- Apache HttpClient调用Spring3 MVC Restful Web API演示
- 计算机网络---基础题目汇总八
- HTTP协议详解
- NSUrlSession 网络会话介绍
- 基于Node.js http-proxy库的本地HTTP代理服务器脚本
- 使用网络用户命令行工具的/passwordreq:yes
- idhttp的socket error # 10054 错误的处理办法
- APP开发人员的福利: 网络封包分析工具Charles
- http://www.cyqdata.com/