在hadoop 的任务中设置 map数量
2016-02-22 18:59
267 查看
试验了一下：
调整mapred-site.xml中mapred.min.split.size的值可以改变map的数量
首先设置了hdfs-site.xml中的dfs.block.size为20M，测试文件为72M
然后调整mapred-site.xml中mapred.min.split.size的值
30M 时候为 3个map
20M 时候为 4个map
10M 时候为 8个map
也可以在程序中设置block.size
conf.setInt("dfs.block.size",65536);
调整mapred-site.xml中mapred.min.split.size的值可以改变map的数量
首先设置了hdfs-site.xml中的dfs.block.size为20M，测试文件为72M
然后调整mapred-site.xml中mapred.min.split.size的值
30M 时候为 3个map
20M 时候为 4个map
10M 时候为 8个map
也可以在程序中设置block.size
conf.setInt("dfs.block.size",65536);
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- linux 查询用户 w, who, last, lastlog
- 拥抱开源——Linux C/C++程序员必须熟悉的开源项目
- Android学习架构图
- OpenGL Common Mistakes
- 成为运维界的「福尔摩斯」，你还需要3个帮手！
- openssl 加解密命令
- 成为运维界的「福尔摩斯」，你还需要3个帮手！
- 安装单机模式Hadoop-2.6.3(1)
- Linux下使用nexus搭建maven仓库私服
- linux下shell编程示例-获取进程id
- openstack vm migrate
- openstack-nova添加镜像预分发功能
- （转）作为一个新人，怎样学习嵌入式Linux？(韦东山）
- Linux.BackDoor.AES.DDoS Attack And Defense Analysis
- Linux进程多导致CPU卡死的问题
- 基于内嵌Tomcat的应用开发
- linux lsof命令详解
- 在阿里云主机的Debian操作系统上安装Docker
- linux下使用shell脚本自动化部署项目
- 大型分布式网站架构