hadoop2.2+mahout0.9问题
2014-06-04 14:36
435 查看
版本:hadoop2.2.0,mahout0.9。
使用mahout的org.apache.mahout.cf.taste.hadoop.item.RecommenderJob进行测试。
首先说明下,如果使用官网提供的下载hadoop2.2.0以及mahout0.9进行调用mahout的相关算法会报错。一般报错如下:
这个是因为目前mahout只支持hadoop1 的缘故。在这里可以找到解决方法:https://issues.apache.org/jira/browse/MAHOUT-1329。主要就是修改pom文件,修改mahout的依赖。
大家可以下载修改后的源码包(http://download.csdn.net/detail/fansy1990/7165957)自己编译mahout(mvn clean install -Dhadoop2 -Dhadoop.2.version=2.2.0 -DskipTests),或者直接下载已经编译好的jar包(http://download.csdn.net/detail/fansy1990/7166017、http://download.csdn.net/detail/fansy1990/7166055)。
使用mahout的org.apache.mahout.cf.taste.hadoop.item.RecommenderJob进行测试。
首先说明下,如果使用官网提供的下载hadoop2.2.0以及mahout0.9进行调用mahout的相关算法会报错。一般报错如下:
java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected at org.apache.mahout.common.HadoopUtil.getCustomJobName(HadoopUtil.java:174) at org.apache.mahout.common.AbstractJob.prepareJob(AbstractJob.java:614) at org.apache.mahout.cf.taste.hadoop.preparation.PreparePreferenceMatrixJob.run(PreparePreferenceMatrixJob.java:73) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
这个是因为目前mahout只支持hadoop1 的缘故。在这里可以找到解决方法:https://issues.apache.org/jira/browse/MAHOUT-1329。主要就是修改pom文件,修改mahout的依赖。
大家可以下载修改后的源码包(http://download.csdn.net/detail/fansy1990/7165957)自己编译mahout(mvn clean install -Dhadoop2 -Dhadoop.2.version=2.2.0 -DskipTests),或者直接下载已经编译好的jar包(http://download.csdn.net/detail/fansy1990/7166017、http://download.csdn.net/detail/fansy1990/7166055)。
相关文章推荐
- Mahout 0.9 Hadoop 2.4.1的一些问题
- hadoop2.2+mahout0.9实战
- hadoop2.7.3 mahout 0.9 遇到问题
- hadoop2.2+mahout0.9实战
- 在Hadoop1.2.1分布式集群环境下安装Mahout0.9框架
- Mahout0.9—Hadoop2.20—FPG关联规则算法
- 【甘道夫】Mahout0.9 打patch使其支持 Hadoop2.2.0
- 【甘道夫】用贝叶斯文本分类测试打过1329-3.patch的Mahout0.9 on Hadoop2.2.0
- mahout 0.9 + hadoop 1.0.2 实现中文文本聚类
- hadoop 运行mahout 问题小结(二)
- Mahout0.9 ——hadoop2.2.0编译与安装
- Mahout0.9—Hadoop2.20—协同过滤算法
- hadoop2.2集群搭建问题只能启动一个datanode问题
- hadoop2.2+mahout-0.8
- Hadoop 2.6.0+Hbase1.12+mahout0.9 集群搭建
- Hadoop 2.6.0+Hbase1.12+mahout0.9 集群搭建
- Mahout0.9安装(Hadoop2.6.0)
- 【hadoop2.2(yarn)】基于yarn成功执行分布式map-reduce,记录问题解决过程。
- 在hadoop1.2.1上安装配置mahout0.9
- 【个人整理】Windows环境下进行hadoop 2.2开发工作需要注意的问题