hadoop性能调优

操作系统调优

增大同时打开文件描述符和网络连接上限

操作系统的默认连接数上限为128 (sysctl -a | grep net.core.somaxconn),/etc/sysctl.conf 添加 net.core.somaxconn=32767

linux默认打开文件描述符数量为183731 ,同样在sysctl.conf中添加fs.file-max=800000

执行systcl -a 查看 systcl -p来刷新配置

关闭swap分区

在MR分布式环境中.用户完全可以通过控制每个作业处理的数据量和每个任务运行过程中用到的各个缓冲区大小,避免使用swap分区.

设置合理的预读取缓冲区大小

磁盘IO性能滞后于CPU和内存,设置预读可以较少磁盘寻道和应用程序IO等待时间,使用linux blockdev 设置读取缓冲区大小.

文件系统配置

开启linux的noatime属性.(/etc/fstab)

IO调度器选择

参考 Hadoop Performance Tuning Guide

Hadoop参数调优

磁盘块配置

以前博文分析shuffle过程已经提过怎么配置 mapreduce.cluster.local.dir 将tmp文件写到其他本地硬盘,可以提升IO

选择合适的压缩算法

mapreduce.map.output.compress=true

mapreduce.map.output.compress.codec=XXCodec

修改ifile预读大小

可以根据项目需求，适当修改预读缓冲区大小mapreduce.ifile.readahead.bytes

应用程序调优

设置Combiner

增加输入文件的副本数