网络协议消息分片

很多人对网络大消息分片比较困惑，主要是一般情况下应用层消息不会超出发送窗口缓存（可以设置64k字节）。但实际上tcp/ip协议对所有超出分片字节的网络消息都会进行分片、编号。在应用层的自定义协议，使用tcp协议的情况下，大消息分片要编号，依赖tcp协议向上提供的有序特性并检查编号的递增性，（否则不是同一个消息，有可能是对端网络连接断开等原因），需要有结束标记。

这里说到的分片处理，并不包括应用层网络接收时根据包头中协议字节数字段的接收数据连包。数据连包是针对单个网络消息的（如果是分片好的网络消息则是单个分片网络消息）。

下面分别从tcp协议栈开始看下消息分片是怎样处理的。

1、tcp协议栈的数据分片处理

针对TCP/IP四层网络模型，有两层分别是用来处理数据分片和重组（传输层）、数据的发送和接受（网络互联层）。

 TCP/IP报文封装如下：

(1)传输层　　

　　在TCP/IP模型中，传输层的功能是使源端主机和目标端主机上的对等实体可以进行会话。在传输层定义了两种服务质量不同的协议。分别是传输控制协议TCP（transmission control protocol）和用户数据报协议UDP（user datagram protocol）。
　　TCP协议是一个面向连接的、可靠的协议。它将一台主机发出的字节流无差错地发往互联网上的其他主机。在发送端，它负责把上层传送下来的字节流分成报文段并传递给下层。在接收端，它负责把收到的报文进行重组后递交给上层。TCP协议还要处理端到端的流量控制，以避免缓慢接收的接收方没有足够的缓冲区接收发送方发送的大量数据。　　
　　UDP协议是一个不可靠的、无连接协议，主要适用于不需要对报文进行排序和流量控制的场合。　

(2)网络互连层　　

　　网络互连层是整个TCP/IP协议栈的核心。它的功能是把分组发往目标网络或主机。同时，为了尽快地发送分组，可能需要沿不同的路径同时进行分组传递。因此，分组到达的顺序和发送的顺序可能不同，这就需要上层必须对分组进行排序。　　
　　网络互连层定义了分组格式和协议，即IP协议（Internet Protocol）。　　
　　网络互连层除了需要完成路由的功能外，也可以完成将不同类型的网络（异构网）互连的任务。除此之外，网络互连层还需要完成拥塞控制的功能。

2、tcp协议栈的协议头

谈到消息分片就会涉及协议头，下面会分别就网络互连层和传输层主要涉及的3个协议(IP协议、TCP协议和UDP协议)来分析。

（1）IP协议头

　　IP协议是TCP/IP协议族中最为核心的协议。它提供不可靠、无连接的服务，也即依赖其他层的协议进行差错控制。在局域网环境，IP协议往往被封装在以太网帧中传送。而所有的TCP、UDP、ICMP、IGMP数据都被封装在IP数据报中传送。

ip报文头部是网络互连层添加的数据包头。

IP头部（报头）格式：（RFC 791）：

其中：　　
　　●版本（Version）字段：占4比特。用来表明IP协议实现的版本号，当前一般为IPv4，即0100。　　
　　●报头长度（Internet Header Length，IHL）字段：占4比特。是头部占32比特的数字，包括可选项。普通IP数据报（没有任何选项），该字段的值是5，即160比特=20字节。此字段最大值为60字节。　　
　　●服务类型（Type of Service ，TOS）字段：占8比特。其中前3比特为优先权子字段（Precedence，现已被忽略）。第8比特保留未用。第4至第7比特分别代表延迟、吞吐量、可靠性和花费。当它们取值为1时分别代表要求最小时延、最大吞吐量、最高可靠性和最小费用。这4比特的服务类型中只能置其中1比特为1。可以全为0，若全为0则表示一般服务。服务类型字段声明了数据报被网络系统传输时可以被怎样处理。例如：TELNET协议可能要求有最小的延迟，FTP协议（数据）可能要求有最大吞吐量，SNMP协议可能要求有最高可靠性，NNTP（Network News Transfer Protocol，网络新闻传输协议）可能要求最小费用，而ICMP协议可能无特殊要求（4比特全为0）。实际上，大部分主机会忽略这个字段，但一些动态路由协议如OSPF（Open Shortest Path First Protocol）、IS-IS（Intermediate System to Intermediate System Protocol）可以根据这些字段的值进行路由决策。　　
　　●总长度字段：占16比特。指明整个数据报的长度（以字节为单位）。最大长度为65535字节。　　
　　●标志字段：占16比特。用来唯一地标识主机发送的每一份数据报。通常每发一份报文，它的值会加1。　　
　　●标志位字段：占3比特。标志一份数据报是否要求分段。　　
　　●段偏移字段：占13比特。如果一份数据报要求分段的话，此字段指明该段偏移距原始数据报开始的位置。　　
　　●生存期（TTL：Time to Live）字段：占8比特。用来设置数据报最多可以经过的路由器数。由发送数据的源主机设置，通常为32、64、128等。每经过一个路由器，其值减1，直到0时该数据报被丢弃。　　
　　●协议字段：占8比特。指明IP层所封装的上层协议类型，如ICMP（1）、IGMP（2） 、TCP（6）、UDP（17）等。　　
　　●头部校验和字段：占16比特。内容是根据IP头部计算得到的校验和码。计算方法是：对头部中每个16比特进行二进制反码求和。（和ICMP、IGMP、TCP、UDP不同，IP不对头部后的数据进行校验）。　　
　　●源IP地址、目标IP地址字段：各占32比特。用来标明发送IP数据报文的源主机地址和接收IP报文的目标主机地址。　　
　　可选项字段：占32比特。用来定义一些任选项：如记录路径、时间戳等。这些选项很少被使用，同时并不是所有主机和路由器都支持这些选项。可选项字段的长度必须是32比特的整数倍，如果不足，必须填充0以达到此长度要求。　

（2）TCP协议头

　　TCP是一种可靠的、面向连接的字节流服务。源主机在传送数据前需要先和目标主机建立连接。然后，在此连接上，被编号的数据段按序收发。同时，要求对每个数据段进行确认，保证了可靠性。如果在指定的时间内没有收到目标主机对所发数据段的确认，源主机将再次发送该数据段。　　

TCP报文头部是传输层添加的数据包头。
　 TCP头部结构（RFC 793、1323）如下：

●源、目标端口号字段：占16比特。TCP协议通过使用"端口"来标识源端和目标端的应用进程。端口号可以使用0到65535之间的任何数字。在收到服务请求时，操作系统动态地为客户端的应用程序分配端口号。在服务器端，每种服务在"众所周知的端口"（Well-Know Port）为用户提供服务。
●顺序号字段：占32比特。用来标识从TCP源端向TCP目标端发送的数据字节流，它表示在这个报文段中的第一个数据字节。　　
●确认号字段：占32比特。只有ACK标志为1时，确认号字段才有效。它包含目标端所期望收到源端的下一个数据字节。　　
●头部长度字段：占4比特。给出头部占32比特的数目。没有任何选项字段的TCP头部长度为20字节；最多可以有60字节的TCP头部。　　
●标志位字段（U、A、P、R、S、F）：占6比特。各比特的含义如下：　　
◆URG：紧急指针（urgent pointer）有效。　　
◆ACK：确认序号有效。　　
◆PSH：接收方应该尽快将这个报文段交给应用层。　　
◆RST：重建连接。　　
◆SYN：发起一个连接。　　
◆FIN：释放一个连接。　　
●窗口大小字段：占16比特。此字段用来进行流量控制。单位为字节数，这个值是本机期望一次接收的字节数。　　
●TCP校验和字段：占16比特。对整个TCP报文段，即TCP头部和TCP数据进行校验和计算，并由目标端进行验证。　　
●紧急指针字段：占16比特。它是一个偏移量，和序号字段中的值相加表示紧急数据最后一个字节的序号。　　
●选项字段：占32比特。可能包括"窗口扩大因子"、"时间戳"等选项。

（3）UDP协议头

　　UDP是一种不可靠的、无连接的数据报服务。源主机在传送数据前不需要和目标主机建立连接。数据被冠以源、目标端口号等UDP报头字段后直接发往目的主机。这时，每个数据段的可靠性依靠上层协议来保证。在传送数据较少、较小的情况下，UDP比TCP更加高效。　　

UDP报文头部是传输层添加的数据包头。    
　UDP头部结构（RFC 793、1323）：

　　●源、目标端口号字段：占16比特。作用与TCP数据段中的端口号字段相同，用来标识源端和目标端的应用进程。　　
　　●长度字段：占16比特。标明UDP头部和UDP数据的总长度字节。　　
　　●校验和字段：占16比特。用来对UDP头部和UDP数据进行校验。和TCP不同的是，对UDP来说，此字段是可选项，而TCP数据段中的校验和字段是必须有的。　　

3、应用层的分片数据处理

好了，有了tcp协议栈的理论认识，再来分析下自定义应用层消息分片需要做的工作。环境linux，编译器g++，使用的是c++，其他语言理论上一致。

(1)发送和接受窗口

可以看到tcp协议内有窗口大小字段，表示期望一次接收的字节数。也就是说应用层一次发送和接受的缓存是有限的（也是套接字的发送和接受窗口大小），应用程序预分配的可发送缓冲区也是有限的（最好是小于窗口大小）。

对于udp协议包，可以看出没有窗口大小字段。一般也不建议使用udp协议来发送大网络消息，因为其不可靠性和无序性。

至于套接字的发送和接受窗口的大小设置方式：

socklen_t window_size = 64 * 1024;if(-1 == ::setsockopt(sock,SOL_SOCKET,SO_REVBUF,&window_size ,sizeof(window_size ))) {TEMP_FAILURE_RETRY(::close(sock));return false;}if(-1 == ::setsockopt(sock,SOL_SOCKET,SO_SNDBUF,&window_size ,sizeof(window_size ))) {TEMP_FAILURE_RETRY(::close(sock));return false;}

(2)应用层消息分片

应用层消息分片需要依赖tcp的可靠连接和编号严格递增性。

对需要发送的数据分多次发送，分片大小小于64*1024字节，如64*1023（设置的发送窗口是64*1024字节）

每个分片数据包含有包头,包头需要包含字段BYTE num (分片编号)，BYTE bFin（分片结束标志）

发送时分片编号从1开始递增，最后一个分片需要设置分片结束标志。

对端接受数据时，严格检查分片编号是递增的（tcp协议能向上提供同连接下的数据发送是先发先到的，就算网络层接到的数据包不一定是先发先到），遇到不是递增关系的后续那个数据包则丢弃并清除已缓存的接受数据，遇到结束标志包则表示数据包接收完整，可以开始处理数据包了。