sendmsg: no buffer space available

今天在将项目从虚拟机上移植到真实机器上面的时候，发现问题，总是不成功，最后判断是userspace的程序没有向kernel发送消息成功，因为无法触发kernel的行为，但是userspace显示正常。

这个问题好像两个月之前，netlink模块测试的时候遇到过这个问题，当时加上sleep就好了，同样复制这个方法，发现使用usleep(1)就解决问题了。

接下来分析问题的原因，问题锁定在sendmsg上面。

查看sendmsg的返回值，发现是-1,也就是说sendmsg失败了，看errno: ENOBUFS。

ENOBUFS The output queue for a network interface was full. This generally indicates that the interface has stopped sending, but may be caused by transient conges- tion. (Normally, this does not occur in Linux. Packets are just silently dropped when a device queue overflows.)

也就是说发送队列占满了，怎么会出现出现这样的问题呢？

追踪sendmsg函数：

sys_sendmsg()

...... err = -ENOBUFS; if (msg_sys.msg_controllen > INT_MAX) goto out_freeiov; ctl_len = msg_sys.msg_controllen; if ((MSG_CMSG_COMPAT & flags) && ctl_len) { err = cmsghdr_from_user_compat_to_kern(&msg_sys, sock->sk, ctl, sizeof(ctl)); if (err) goto out_freeiov; ...... out_freectl: if (ctl_buf != ctl) sock_kfree_s(sock->sk, ctl_buf, ctl_len); out_freeiov: if (iov != iovstack) sock_kfree_s(sock->sk, iov, iov_size); out_put: fput_light(sock->file, fput_needed); out: return err;

发现在sys_sendmsg中会引用一些msg中的成员变量，一些变量很大导致返回ENOBUFS错误，最终导致no buffer space available。

看我们的userspace代码：

struct msghdr msg; msg.msg_name = (void *)&dest_addr; msg.msg_namelen = sizeof(dest_addr); msg.msg_iov = &iov; msg.msg_iovlen = 1;

OMG，竟然没有初始化，这样的话，msg.msg_controllen就有可能比较大，导致出现ENOBUFS错误。

解决方法就是初始化msg:

memset(&msg, 0 ,sizeof(msg));

注意：在调试内核相关程序的时候，一定要检查返回值，一定要进行初始化，不要想当然。有些编译器会帮你初始化，但是有些不会，程序员不能够依赖编译器来干活 :-)