hadoop笔记之切片大小控制
2015-09-11 09:14
295 查看
HDFS的block是逻辑上的数据块.Hadoop2.0中每一块默认大小128MB,实际存储过程中block大小小于等128MB,它是以文件为存储对象.如一200MB大小文件,分两个数据块128MB+72MB
这里的两个块大实际小分别是128MB和72MB
算法分析:
max(minSize, min(maxSize,blockSize))
min(maxSize,blockSize)取maxSize,blockSize之间的最小值
max(minSize, min())取minSize, min()之间的最大值
blockSize=128MB
所以增加切片大小有要调整 min(maxSize,blockSize)中maxSize值
减小切片大小调整minSize值.
具体两个方法如下:
FileInputFormat.setMaxInputSplitSize(job, size);
FileInputFormat.setMinInputSplitSize(job, size);
这里的两个块大实际小分别是128MB和72MB
算法分析:
max(minSize, min(maxSize,blockSize))
min(maxSize,blockSize)取maxSize,blockSize之间的最小值
max(minSize, min())取minSize, min()之间的最大值
blockSize=128MB
所以增加切片大小有要调整 min(maxSize,blockSize)中maxSize值
减小切片大小调整minSize值.
具体两个方法如下:
FileInputFormat.setMaxInputSplitSize(job, size);
FileInputFormat.setMinInputSplitSize(job, size);
相关文章推荐
- Mac 下远程连接Linux
- 昨天修复的几个编译问题
- linux下使用tar命令
- ubuntu nginx configure 需要额外安装的库
- linux下svn常用命令
- centos下yum安装lamp
- wget -c -r -np -k -L -p www.oldlinux.org/Linux.old/
- Android架构设计和软硬整合完整训练
- Android架构设计和软硬整合完整训练
- CentOS 7 x64 Codis 群集 以及 单机 docker
- Linux 有问必答:如何解决 Linux 上的 Wireshark 界面僵死
- Linux查看CUP和内存的使用情况--top命令
- Linux基本操作
- Linux 上将出现一个新的文件系统:bcachefs
- arm-linux内存分段的分析
- CentOS上解压ZIP乱码的解决办法
- CentOS上解压ZIP乱码的解决办法
- ubuntu下配置nginx+php+mysql详解
- 修改Magento只允许登陆用户访问网站
- 使用YUM安装MySQL 5.5(适用于CentOS6.2/5.8及Fedora 17/16平台)