TCP校验和的原理和实现

概述

TCP校验和是一个端到端的校验和，由发送端计算，然后由接收端验证。其目的是为了发现TCP首部和数据在发送端到

接收端之间发生的任何改动。如果接收方检测到校验和有差错，则TCP段会被直接丢弃。

TCP校验和覆盖TCP首部和TCP数据，而IP首部中的校验和只覆盖IP的首部，不覆盖IP数据报中的任何数据。

TCP的校验和是必需的，而UDP的校验和是可选的。

TCP和UDP计算校验和时，都要加上一个12字节的伪首部。

Author : zhangskd @ csdn blog

伪首部

伪首部共有12字节，包含如下信息：源IP地址、目的IP地址、保留字节(置0)、传输层协议号(TCP是6)、TCP报文长度(报头+数据)。

伪首部是为了增加TCP校验和的检错能力：如检查TCP报文是否收错了(目的IP地址)、传输层协议是否选对了(传输层协议号)等。

定义

(1) RFC 793的TCP校验和定义

The checksum field is the 16 bit one's complement of the one's complement sum of all 16-bit words in the header and text.

If a segment contains an odd number of header and text octets to be checksummed, the last octet is padded on the right

with zeros to form a 16-bit word for checksum purposes. The pad is not transmitted as part of the segment. While computing

the checksum, the checksum field itself is replaced with zeros.

上述的定义说得很明确：

首先，把伪首部、TCP报头、TCP数据分为16位的字，如果总长度为奇数个字节，则在最后增添一个位都为0的字节。

把TCP报头中的校验和字段置为0（否则就陷入鸡生蛋还是蛋生鸡的问题）。

其次，用反码相加法累加所有的16位字（进位也要累加）。

最后，对计算结果取反，作为TCP的校验和。

(2) RFC 1071的IP校验和定义

1. Adjacent octets to be checksummed are paired to form 16-bit integers, and the 1's complement sum of these

16-bit integers is formed.

2. To generate a checksum, the checksum field itself is cleared, the 16-bit 1's complement sum is computed over

the octets concerned, and the 1's complement of this sum is placed in the checksum field.

3. To check a checksum, the 1's complement sum is computed over the same set of octets, including the checksum

field. If the result is all 1 bits (-0 in 1's complement arithmetic), the check succeeds.

可以看到，TCP校验和、IP校验和的计算方法是基本一致的，除了计算的范围不同。

实现

基于2.6.18、x86_64。

csum_tcpudp_nofold()按4字节累加伪首部到sum中。

static inline unsigned long csum_tcpudp_nofold (unsigned long saddr, unsigned long daddr,
unsigned short len, unsigned short proto,
unsigned int sum)
{
asm("addl %1, %0\n"    /* 累加daddr */
"adcl %2, %0\n"    /* 累加saddr */
"adcl %3, %0\n"    /* 累加len(2字节), proto, 0*/
"adcl $0, %0\n"    /*加上进位 */
: "=r" (sum)
: "g" (daddr), "g" (saddr), "g" ((ntohs(len) << 16) + proto*256), "0" (sum));
return sum;
}

csum_tcpudp_magic()产生最终的校验和。

首先，按4字节累加伪首部到sum中。

其次，累加sum的低16位、sum的高16位，并且对累加的结果取反。

最后，截取sum的高16位，作为校验和。

static inline unsigned short int csum_tcpudp_magic(unsigned long saddr, unsigned long daddr,
unsigned short len, unsigned short proto,
unsigned int sum)
{
return csum_fold(csum_tcpudp_nofold(saddr, daddr, len, proto, sum));
}

static inline unsigned int csum_fold(unsigned int sum)
{
__asm__(
"addl %1, %0\n"
"adcl 0xffff, %0"
: "=r" (sum)
: "r" (sum << 16), "0" (sum & 0xffff0000)

/* 将sum的低16位，作为寄存器1的高16位，寄存器1的低16位补0。
* 将sum的高16位，作为寄存器0的高16位，寄存器0的低16位补0。
* 这样，addl %1, %0就累加了sum的高16位和低16位。
*
* 还要考虑进位。如果有进位，adcl 0xfff, %0为：0x1 + 0xffff + %0，寄存器0的高16位加1。
* 如果没有进位，adcl 0xffff, %0为：0xffff + %0，对寄存器0的高16位无影响。
*/

);

return (~sum) >> 16; /* 对sum取反，返回它的高16位，作为最终的校验和 */
}

发送校验

#define CHECKSUM_NONE 0 /* 需要由传输层自己计算校验和 */
#define CHECKSUM_HW 1 /* 由硬件计算报头和首部的校验和 */
#define CHECKSUM_UNNECESSARY 2 /* 表示不需要校验，或者已经成功校验了 */
#define CHECKSUM_PARTIAL CHECKSUM_HW
#define CHECKSUM_COMPLETE CHECKSUM_HW

@tcp_transmit_skb()

icsk->icsk_af_ops->send_check(sk, skb->len, skb); /* 计算校验和 */

void tcp_v4_send_check(struct sock *sk, int len, struct sk_buff *skb)
{
struct inet_sock *inet = inet_sk(sk);
struct tcphdr *th = skb->h.th;

if (skb->ip_summed == CHECKSUM_HW) {
/* 只计算伪首部，TCP报头和TCP数据的累加由硬件完成 */
th->check = ~tcp_v4_check(th, len, inet->saddr, inet->daddr, 0);
skb->csum = offsetof(struct tcphdr, check); /* 校验和值在TCP首部的偏移 */

} else {
/* tcp_v4_check累加伪首部，获取最终的校验和。
* csum_partial累加TCP报头。
* 那么skb->csum应该是TCP数据部分的累加，这是在从用户空间复制时顺便累加的。
*/
th->check = tcp_v4_check(th, len, inet->saddr, inet->daddr,
csum_partial((char *)th, th->doff << 2, skb->csum));
}
}

unsigned csum_partial(const unsigned char *buff, unsigned len, unsigned sum)
{
return add32_with_carry(do_csum(buff, len), sum);
}

static inline unsigned add32_with_carry(unsigned a, unsigned b)
{
asm("addl %2, %0\n\t"
"adcl $0, %0"
: "=r" (a)
: "0" (a), "r" (b));
return a;
}

do_csum()用于计算一段内存的校验和，这里用于累加TCP报头。

具体计算时用到一些技巧：

1. 反码累加时，按16位、32位、64位来累加的效果是一样的。

2. 使用内存对齐，减少内存操作的次数。

static __force_inline unsigned do_csum(const unsigned char *buff, unsigned len)
{
unsigned odd, count;
unsigned long result = 0;

if (unlikely(len == 0))
return result;

/* 使起始地址为XXX0，接下来可按2字节对齐 */
odd = 1 & (unsigned long) buff;
if (unlikely(odd)) {
result = *buff << 8; /* 因为机器是小端的 */
len--;
buff++;
}
count = len >> 1; /* nr of 16-bit words，这里可能余下1字节未算，最后会处理*/

if (count) {
/* 使起始地址为XX00，接下来可按4字节对齐 */
if (2 & (unsigned long) buff) {
result += *(unsigned short *)buff;
count--;
len -= 2;
buff += 2;
}
count >>= 1; /* nr of 32-bit words，这里可能余下2字节未算，最后会处理 */

if (count) {
unsigned long zero;
unsigned count64;
/* 使起始地址为X000，接下来可按8字节对齐 */
if (4 & (unsigned long)buff) {
result += *(unsigned int *)buff;
count--;
len -= 4;
buff += 4;
}
count >>= 1; /* nr of 64-bit words，这里可能余下4字节未算，最后会处理*/

/* main loop using 64byte blocks */
zero = 0;
count64 = count >> 3; /* 64字节的块数，这里可能余下56字节未算，最后会处理 */
while (count64) { /* 反码累加所有的64字节块 */
asm ("addq 0*8(%[src]), %[res]\n\t"    /* b、w、l、q分别对应8、16、32、64位操作 */
"addq 1*8(%[src]), %[res]\n\t"    /* [src]为指定寄存器的别名，效果应该等同于0、1等 */
"adcq 2*8(%[src]), %[res]\n\t"
"adcq 3*8(%[src]), %[res]\n\t"
"adcq 4*8(%[src]), %[res]\n\t"
"adcq 5*8(%[src]), %[res]\n\t"
"adcq 6*8(%[src]), %[res]\n\t"
"adcq 7*8(%[src]), %[res]\n\t"
"adcq %[zero], %[res]"
: [res] "=r" (result)
: [src] "r" (buff), [zero] "r" (zero), "[res]" (result));
buff += 64;
count64--;
}

/* 从这里开始，反序处理之前可能漏算的字节 */

/* last upto 7 8byte blocks，前面按8个8字节做计算单位，所以最多可能剩下7个8字节 */
count %= 8;
while (count) {
asm ("addq %1, %0\n\t"
"adcq %2, %0\n"
: "=r" (result)
: "m" (*(unsigned long *)buff), "r" (zero), "0" (result));
--count;
buff += 8;
}

/* 带进位累加result的高32位和低32位 */
result = add32_with_carry(result>>32, result&0xffffffff);

/* 之前始按8字节对齐，可能有4字节剩下 */
if (len & 4) {
result += *(unsigned int *) buff;
buff += 4;
}
}

/* 更早前按4字节对齐，可能有2字节剩下 */
if (len & 2) {
result += *(unsigned short *) buff;
buff += 2;
}
}

/* 最早之前按2字节对齐，可能有1字节剩下 */
if (len & 1)
result += *buff;

/* 再次带进位累加result的高32位和低32位 */
result = add32_with_carry(result>>32, result & 0xffffffff);

/* 这里涉及到一个技巧，用于处理初始地址为奇数的情况 */
if (unlikely(odd)) {
result = from32to16(result); /* 累加到result的低16位 */
/* result为：0 0 a b
* 然后交换a和b，result变为：0 0 b a
*/
result = ((result >> 8) & 0xff) | ((result & oxff) << 8);
}

return result; /* 返回result的低32位 */
}

static inline unsigned short from32to16(unsigned a)
{
unsigned short b = a >> 16;
asm ("addw %w2, %w0\n\t"
"adcw $0, %w0\n"
: "=r" (b)
: "0" (b), "r" (a));
return b;
}

csum_partial_copy_from_user()用于拷贝用户空间数据到内核空间，同时计算用户数据的校验和，

结果保存到skb->csum中（X86_64）。

/**
* csum_partial_copy_from_user - Copy and checksum from user space.
* @src: source address (user space)
* @dst: destination address
* @len: number of bytes to be copied.
* @isum: initial sum that is added into the result (32bit unfolded)
* @errp: set to -EFAULT for an bad source address.
*
* Returns an 32bit unfolded checksum of the buffer.
* src and dst are best aligned to 64bits.
*/

unsigned int csum_partial_copy_from_user(const unsigned char __user *src,
unsigned char *dst, int len, unsigned int isum, int *errp)
{
might_sleep();
*errp = 0;

if (likely(access_ok(VERIFY_READ, src, len))) {

/* Why 6, not 7? To handle odd addresses aligned we would need to do considerable
* complications to fix the checksum which is defined as an 16bit accumulator. The fix
* alignment code is primarily for performance compatibility with 32bit and that will handle
* odd addresses slowly too.
* 处理X010、X100、X110的起始地址。不处理X001，因为这会使复杂度大增加。
*/
if (unlikely((unsigned long)src & 6)) {
while (((unsigned long)src & 6) && len >= 2) {
__u16 val16;
*errp = __get_user(val16, (__u16 __user *)src);
if (*errp)
return isum;
*(__u16 *)dst = val16;
isum = add32_with_carry(isum, val16);
src += 2;
dst += 2;
len -= 2;
}
}

/* 计算函数是用纯汇编实现的，应该是因为效率吧 */
isum = csum_parial_copy_generic((__force void *)src, dst, len, isum, errp, NULL);

if (likely(*errp == 0))
return isum; /* 成功 */
}

*errp = -EFAULT;
memset(dst, 0, len);
return isum;
}

上述的实现比较复杂，来看下最简单的csum_partial_copy_from_user()实现（um）。

unsigned int csum_partial_copy_from_user(const unsigned char *src,
unsigned char *dst, int len, int sum,
int *err_ptr)
{
if (copy_from_user(dst, src, len)) { /* 拷贝用户空间数据到内核空间 */
*err_ptr = -EFAULT; /* bad address */
return (-1);
}

return csum_partial(dst, len, sum); /* 计算用户数据的校验和，会存到skb->csum中 */
}

接收校验

@tcp_v4_rcv

/* 检查校验和 */

if (skb->ip_summed != CHECKSUM_UNNECESSARY && tcp_v4_checksum_init(skb))

goto bad_packet;

接收校验的第一部分，主要是计算伪首部。

static int tcp_v4_checksum_init(struct sk_buff *skb)
{
/* 如果TCP报头、TCP数据的反码累加已经由硬件完成 */
if (skb->ip_summed == CHECKSUM_HW) {

/* 现在只需要再累加上伪首部，取反获取最终的校验和。
* 校验和为0时，表示TCP数据报正确。
*/
if (! tcp_v4_check(skb->h.th, skb->len, skb->nh.iph->saddr, skb->nh.iph->daddr, skb->csum)) {
skb->ip_summed = CHECKSUM_UNNECESSARY;
return 0; /* 校验成功 */

} /* 没有else失败退出吗？*/
}

/* 对伪首部进行反码累加，主要用于软件方法 */
skb->csum = csum_tcpudp_nofold(skb->nh.iph->saddr, skb->nh.iph->daddr, skb->len, IPPROTO_TCP, 0);

/* 对于长度小于76字节的小包，接着累加TCP报头和报文，完成校验；否则，以后再完成检验。*/
if (skb->len <= 76) {
return __skb_checksum_complete(skb);
}
}

接收校验的第二部分，计算报头和报文。

tcp_v4_rcv、tcp_v4_do_rcv()

| --> tcp_checksum_complete()

| --> __tcp_checksum_complete()

| --> __skb_checksum_complete()

tcp_rcv_established()

| --> tcp_checksum_complete_user()

| --> __tcp_checksum_complete_user()

| --> __tcp_checksum_complete()

| --> __skb_checksum_complete()

unsigned int __skb_checksum_complete(struct sk_buff *skb)
{
unsigned int sum;

sum = (u16) csum_fold(skb_checksum(skb, 0, skb->len, skb->csum));

if (likely(!sum)) { /* sum为0表示成功了 */
/* 硬件检测失败，软件检测成功了，说明硬件检测有误 */
if (unlikely(skb->ip_summed == CHECKSUM_HW))
netdev_rx_csum_fault(skb->dev);
skb->ip_summed = CHECKSUM_UNNECESSARY;
}
return sum;
}

计算skb包的校验和时，可以指定相对于skb->data的偏移量offset。

由于skb包可能由分页和分段，所以需要考虑skb->data + offset是位于此skb段的线性区中、

还是此skb的分页中，或者位于其它分段中。这个函数逻辑比较复杂。

/* Checksum skb data. */
unsigned int skb_checksum(const struct sk_buff *skb, int offset, int len, unsigned int csum)
{
int start = skb_headlen(skb); /* 线性区域长度 */
/* copy > 0，说明offset在线性区域中。
* copy < 0，说明offset在此skb的分页数据中，或者在其它分段skb中。
*/
int i, copy = start - offset;
int pos = 0; /* 表示校验了多少数据 */

/* Checksum header. */
if (copy > 0) { /* 说明offset在本skb的线性区域中 */
if (copy > len)
copy = len; /* 不能超过指定的校验长度 */

/* 累加copy长度的线性区校验 */
csum = csum_partial(skb->data + offset, copy, csum);

if ((len -= copy) == 0)
return csum;

offset += copy; /* 接下来从这里继续处理 */
pos = copy; /* 已处理数据长 */
}

/* 累加本skb分页数据的校验和 */
for (i = 0; i < skb_shinfo(skb)->nr_frags; i++) {
int end;
BUG_TRAP(start <= offset + len);

end = start + skb_shinfo(skb)->frags[i].size;

if ((copy = end - offset) > 0) { /* 如果offset位于本页中，或者线性区中 */
unsigned int csum2;
u8 *vaddr; /* 8位够吗？*/
skb_frag_t *frag = &skb_shinfo(skb)->frags[i];

if (copy > len)
copy = len;

vaddr = kmap_skb_frag(frag); /* 把物理页映射到内核空间 */
csum2 = csum_partial(vaddr + frag->page_offset + offset - start, copy, 0);
kunmap_skb_frag(vaddr); /* 解除映射 */

/* 如果pos为奇数，需要对csum2进行处理。
* csum2：a, b, c, d => b, a, d, c
*/
csum = csum_block_add(csum, csum2, pos);

if (! (len -= copy))
return csum;

offset += copy;
pos += copy;
}
start = end; /* 接下来从这里处理 */
}

/* 如果此skb是个大包，还有其它分段 */
if (skb_shinfo(skb)->frag_list) {
struct sk_buff *list = skb_shinfo(skb)->frag_list;

for (; list; list = list->next) {
int end;
BUG_TRAP(start <= offset + len);

end = start + list->len;

if ((copy = end - offset) > 0) { /* 如果offset位于此skb分段中，或者分页，或者线性区 */
unsigned int csum2;
if (copy > len)
copy = len;

csum2 = skb_checksum(list, offset - start, copy, 0); /* 递归调用 */
csum = csum_block_add(csum, csum2, pos);
if ((len -= copy) == 0)
return csum;

offset += copy;
pos += copy;
}
start = end;
}
}

BUG_ON(len);
return csum;
}