hadoop2.x整合手册【4】---mahout0.9安装部署与测试
2014-06-05 11:11
423 查看
基本过程和0.8版本的安装/article/1477589.html的一致
需要在bin目录下的mahout文件的头部添加如下环境变量
另外修改hadoop配置目录下的mapred-site.xml的文件,添加如下参数
另外修改hadoop配置目录下的hadoop-env.sh的文件,将export HADOOP_HEAPSIZE的注释取消
设置hadoop的可用内存为2000M
如果仍然在运行mahout中出现java heap space的错误,可以将以上的两项设置的参数依据实际硬件条件设置更大
mahout的验证方法与0.8版本方法相同
需要在bin目录下的mahout文件的头部添加如下环境变量
HADOOP_CONF_DIR="hadoop的配置目录需要以/结尾" HADOOP_HOME="hadoop的安装目录需要以/结尾" MAHOUT_HEAPSIZE=2000 mahout可以调用的内存量,建议设的比较大
另外修改hadoop配置目录下的mapred-site.xml的文件,添加如下参数
<name>mapred.child.java.opts</name> <value>-Xmx1024m</value> </property>如果是算法计算密集型的,建议超过1024的进行设置,而hadoop默认的200m的设置是不够用mahout使用的
另外修改hadoop配置目录下的hadoop-env.sh的文件,将export HADOOP_HEAPSIZE的注释取消
export HADOOP_HEAPSIZE=2000
设置hadoop的可用内存为2000M
如果仍然在运行mahout中出现java heap space的错误,可以将以上的两项设置的参数依据实际硬件条件设置更大
mahout的验证方法与0.8版本方法相同
相关文章推荐
- hadoop2.x整合手册【2】---sqoop1.9.x安装与部署
- hadoop2.x整合手册【1】--hadoop2.x安装与配置
- Zookeeper、Hadoop、Sqoop、Mahout、HBase整合安装
- Tez在hadoop 2.2.0下的安装部署测试
- zeus作业平台在hadoop2.x中的安装部署
- Mahout安装与测试-基于hadoop单结点伪分布式
- Sqoop1.4.5-安装测试部署(基于Hadoop2.2.0环境)
- 在hadoop1.2.1上安装配置mahout0.9
- hadoop 2.x安装:安装结果测试
- Mahout0.9的安装与测试
- hadoop2.4安装部署——亲手测试通过
- Mahout0.9的安装与测试
- hadoop2.x整合手册【3】---编译sqoop的jar以及client的api调用
- Hadoop生态系统搭建(3)——数据仓库 Hive 的安装部署与测试
- zeus作业平台在hadoop2.x中的安装部署
- 在Hadoop1.2.1分布式集群环境下安装Mahout0.9框架
- Hadoop生态系统搭建(5)—— 分布式协同服务框架 Zookeeper 的安装部署与测试
- Mahout0.9 ——hadoop2.2.0编译与安装
- Mahout0.9安装(Hadoop2.6.0)
- Hadoop生态系统搭建(4)——高性能分布式 NoSQL 数据库 HBase 的安装部署与测试