is running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 2.6 GB of 40 GB virtual memory used
2016-05-03 11:04
561 查看
昨天使用hadoop跑五一的数据,发现报错:
发现是内存溢出了,遇到这种问题首先要判断是map阶段溢出还是reduce阶段溢出,然后分别设置其内存的大小,比如:
因为默认值都是:1024M,也就是一个G,如果不够就会溢出!
Container [pid=47660,containerID=container_1453101066555_4130018_01_000067] is running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 2.6 GB of 40 GB virtual memory used. Killing container.
发现是内存溢出了,遇到这种问题首先要判断是map阶段溢出还是reduce阶段溢出,然后分别设置其内存的大小,比如:
在运行hive sql前加上 : (map) set mapreduce.map.memory.mb=2048 或者 (reduce) set mapreduce.reduce.memory.mb=2048
因为默认值都是:1024M,也就是一个G,如果不够就会溢出!
相关文章推荐
- 【框架】PullToRefresh下拉刷新上拉加载
- 毕业设计——系统
- Swift—扩展声明-备
- 软考二进宫-必考知识点
- Linux的sort命令
- 简单的Flume和hive的结合
- 解题报告:ZOJ3457 Absence Number (打表+数学)
- CSS中position:relative;的作用
- Androdi Application作用
- kvo浅析与实例
- 每天一个linux命令(31): /etc/group文件详解
- Linux的sort命令
- 如何控制dedecms描述的长度?
- 关键字static的作用
- MySQL执行计划解读
- error LNK2038: 检测到“_ITERATOR_DEBUG_LEVEL”的不匹配项
- error LNK2038: 检测到“_ITERATOR_DEBUG_LEVEL”的不匹配项
- error LNK2038: 检测到“_ITERATOR_DEBUG_LEVEL”的不匹配项
- error LNK2038: 检测到“_ITERATOR_DEBUG_LEVEL”的不匹配项
- error LNK2038: 检测到“_ITERATOR_DEBUG_LEVEL”的不匹配项