调整Linux的网络栈(Buffer Size)来提升网络性能
2017-08-17 11:32
423 查看
调整Linux的网络栈(Buffer Size)来提升网络性能
本文基于CENTOS 、DEBIAN/UBUNTU 编写 。我有两台位于不同数据中心的服务器,都用来处理很多并行的大文件传输。但是处理大文件,网络性能非常差。并且涉及到一个大文件,会导致性能降级。我怎样通过调整Linux下面的 TCP 来解决这个问题?
默认,Linux的stack是没有为广域网之间的大文件高速传输而配置的,这样做是为了节约内存资源。为了使连接的系统服务之间能有更加高速的网络处理更多的网络包,你可以很容易的通过增加网络 buffer size 来调整 Linux 网络 stack 。
默认的 Linux buffer size 的最大值是非常小的,tcp 的内存是基于系统的内存自动计算的,你能通过键入以下命令找到实际的值:
$ cat /proc/sys/net/ipv4/tcp_mem
默认的和最大的接收数据包内存大小:
$ cat /proc/sys/net/core/rmem_default $ cat /proc/sys/net/core/rmem_max
默认的和最大的发送数据包内存的大小:
$ cat /proc/sys/net/core/wmem_default $ cat /proc/sys/net/core/wmem_max
最大的内存 buffers 的选项:
$ cat /proc/sys/net/core/optmem_max
调整值
为所有的协议队列设置操作系统层面的最大的发送 buffer size (wmem) 和 接收 buffer size (rmem)为 12 MB。换句话说,设置内存数量,分配给每一个为了传送文件而打开或者是创建的 tcp socket 。警告! 在大多数的 Linux 中 rmem_max 和 wmem_max 被分配的值为 128 k,在一个低延迟的网络环境中,或者是 apps 比如 DNS、Web Server,这或许是足够的。尽管如此,如果延迟太大,默认的值可能就太小了,所以请记录以下在你的服务器上用来提高内存使用方法的设置。
# echo 'net.core.wmem_max=12582912' >> /etc/sysctl.conf # echo 'net.core.rmem_max=12582912' >> /etc/sysctl.conf
你还需要设置 minimum size, initial size, and maximum size in bytes:
# echo 'net.ipv4.tcp_rmem= 10240 87380 12582912' >> /etc/sysctl.conf # echo 'net.ipv4.tcp_wmem= 10240 87380 12582912' >> /etc/sysctl.conf
打开 window scaling ,这是一个用来扩展传输窗口的选项:
# echo 'net.ipv4.tcp_window_scaling = 1' >> /etc/sysctl.conf
确保定义在 RFC1323 中的 timestamps 打开:
# echo 'net.ipv4.tcp_timestamps = 1' >> /etc/sysctl.conf
确保 select acknowledgments:
# echo 'net.ipv4.tcp_sack = 1' >> /etc/sysctl.conf
当连接关闭的时候,TCP 默认缓存了很多连接指标在 route cache 中,以至于在不久的将来,连接建立的时候,可以用这些值来设置初始化条件。通常,这提升了整体的性能,但是,有时候会引起性能下降, 如果设置的话,TCP 在关闭的时候不缓存这些指标。
# echo 'net.ipv4.tcp_no_metrics_save = 1' >> /etc/sysctl.conf
当 interface 接收到的数据包数量比内核处理速度的快的时候, 设置 input 队列最大的 packets 数量值。
# echo 'net.core.netdev_max_backlog = 5000' >> /etc/sysctl.conf
现在重载这些改变,使其生效:
# sysctl -p
使用 tcpdump 命令查看 通过 eth0 数据包流量的变化:
# tcpdump -ni eth0
推荐阅读:
请参考内核文档/networking/ip-sysctl.txt获取更加多的信息请查看 sysctl 的 man 手册
文章转自:segmentfault
好文章只为留个备份
相关文章推荐
- 调整Linux的网络栈(Buffer Size)来提升网络性能
- 通过调整Linux内核参数提升网络性能
- 通过调整Linux内核参数提升网络性能
- 2014年首个Linux内核更新发布 Linux 3.13提升了网络、内存性能
- linux系统初始化--提升网络可用性或性能(双网卡捆绑)
- linux下查找字符串&mysql-为magento性能测试修改innodb的innodb_buffer_pool_size而引发的问题
- 第十五章 提升网络性能技术--基于Linux3.10
- 提升mysql性能的关键参数之innodb_buffer_pool_size、innodb_buffer_pool_instances
- [原]MINA的网络性能 - ReceiveBufferSize
- 提升 Linux 网络性能,应付 100 GB的网卡
- 提升 Linux 网络性能,应付 100 GB的网卡
- Linux Network Tuning Linux网络环境性能优化调整
- 提升mysql性能的关键参数之innodb_buffer_pool_size、innodb_buffer_pool_instances
- 10.6 监控io性能 10.7 free命令 10.8 ps命令 10.9 查看网络状态 10.10 linux下抓包
- 如何利用负载均衡来提升网络性能
- linux网络、性能相关命令
- 10.6 监控io性能 ,free命令,ps命令,查看网络状态,linux下抓包
- 简谈linux环境下网络性能测试工具iperf
- Linux网络性能评估工具iperf