【甘道夫】Mahout0.9 打patch使其支持 Hadoop2.2.0
2014-09-05 23:26
351 查看
引言
Mahout0.9之前的版本默认不支持Hadoop2.2.0以上版本,但很多情况下,由于集群环境的Hadoop已经是2.2.0以上版本,又必须使用Mahout,此时就需要编译源码,使得Mahout支持Hadoop2了。
欢迎转载,请注明出处: http://blog.csdn.net/u010967382/article/details/39088035
造好的车轮
让Mahout在Hadoop2.2.0上运行是需求十分广泛的,所以必定有前人已经栽好树了,我们可以在
https://issues.apache.org/jira/browse/MAHOUT-1354
里看到4个升级patch,及patch的作者们的详细讨论过程。
千万注意的是,不是4个升级patch按顺序依次用,而是用一个即可!
通过详细阅读了patch作者们的讨论,认为其中的两个patch最靠谱:
1329-3.patch
1329-3-additional.patch
经笔者实测,对于Mahout0.9,1329-3-additional.patch是无法成功应用的,而1329-3.patch可以成功应用。
步骤一:为Mahout源码打patch
到 http://archive.apache.org/dist/mahout/ 或者 https://github.com/apache/mahout/releases 去下载源码,解压到服务器上。
到 https://issues.apache.org/jira/browse/MAHOUT-1354 下载1329-3.patch,拷贝到服务器上。
到源码根目录下执行以下命令打patch:
yarn@singletest:~/Mahout/mahout-distribution-0.9$ patch -p0 < ../mahout0.9-patch-for-hadoop2/1329-3.patch
patching file core/pom.xml
patching file integration/pom.xml
patching file pom.xml
没有报错即升级成功。
步骤二:针对Hadoop2.2.0编译源码
到源码根目录下执行以下命令针对Hadoop2.2.0编译源码
yarn@singletest:~/Mahout/mahout-distribution-0.9$mvn clean package -Dhadoop2.version=2.2.0
。。。。。。漫长等待。。。。。。
注意:我没有加上-DskipTests参数,是为了了解打patch后的测试效果,结果显示,全部测试都通过,没有任何问题!
验证
由于在patch页面中,patch的作者有这样一句对话:
Sergey Svinarchuk added a comment - 21/Feb/14 09:46
I tested unit tests and examples with hadoop1 and hadoop2. All tests and examples passed.
相信大牛的人品和诚信,所以就不test all examples了,仅测试了一下贝叶斯文本分类器,参见
http://blog.csdn.net/u010967382/article/details/39088285
全过程正常执行!
Mahout0.9之前的版本默认不支持Hadoop2.2.0以上版本,但很多情况下,由于集群环境的Hadoop已经是2.2.0以上版本,又必须使用Mahout,此时就需要编译源码,使得Mahout支持Hadoop2了。
欢迎转载,请注明出处: http://blog.csdn.net/u010967382/article/details/39088035
造好的车轮
让Mahout在Hadoop2.2.0上运行是需求十分广泛的,所以必定有前人已经栽好树了,我们可以在
https://issues.apache.org/jira/browse/MAHOUT-1354
里看到4个升级patch,及patch的作者们的详细讨论过程。
千万注意的是,不是4个升级patch按顺序依次用,而是用一个即可!
通过详细阅读了patch作者们的讨论,认为其中的两个patch最靠谱:
1329-3.patch
1329-3-additional.patch
经笔者实测,对于Mahout0.9,1329-3-additional.patch是无法成功应用的,而1329-3.patch可以成功应用。
步骤一:为Mahout源码打patch
到 http://archive.apache.org/dist/mahout/ 或者 https://github.com/apache/mahout/releases 去下载源码,解压到服务器上。
到 https://issues.apache.org/jira/browse/MAHOUT-1354 下载1329-3.patch,拷贝到服务器上。
到源码根目录下执行以下命令打patch:
yarn@singletest:~/Mahout/mahout-distribution-0.9$ patch -p0 < ../mahout0.9-patch-for-hadoop2/1329-3.patch
patching file core/pom.xml
patching file integration/pom.xml
patching file pom.xml
没有报错即升级成功。
步骤二:针对Hadoop2.2.0编译源码
到源码根目录下执行以下命令针对Hadoop2.2.0编译源码
yarn@singletest:~/Mahout/mahout-distribution-0.9$mvn clean package -Dhadoop2.version=2.2.0
。。。。。。漫长等待。。。。。。
注意:我没有加上-DskipTests参数,是为了了解打patch后的测试效果,结果显示,全部测试都通过,没有任何问题!
验证
由于在patch页面中,patch的作者有这样一句对话:
Sergey Svinarchuk added a comment - 21/Feb/14 09:46
I tested unit tests and examples with hadoop1 and hadoop2. All tests and examples passed.
相信大牛的人品和诚信,所以就不test all examples了,仅测试了一下贝叶斯文本分类器,参见
http://blog.csdn.net/u010967382/article/details/39088285
全过程正常执行!
相关文章推荐
- 【甘道夫】用贝叶斯文本分类测试打过1329-3.patch的Mahout0.9 on Hadoop2.2.0
- Mahout0.9 ——hadoop2.2.0编译与安装
- 【甘道夫】Win7+Eclipse+Maven进行Mahout编程,使其兼容Hadoop2.2.0环境运行
- 【甘道夫】Win7环境下Eclipse连接Hadoop2.2.0
- 【甘道夫】Win7环境下Eclipse连接Hadoop2.2.0
- 【甘道夫】怎样在cdh5.2上执行mahout的itemcf on hadoop
- 【甘道夫】基于Mahout0.9+CDH5.2运行分布式ItemCF推荐算法
- 【甘道夫】Hive 0.13.1 on Hadoop2.2.0 + Oracle10g部署详解
- hadoop2.7.3 mahout 0.9 遇到问题
- eclipse下mahout0.9开发实战(不使用hadoop eclipse plugins)
- 【甘道夫】Hadoop2.2.0 NN HA详细配置+Client透明性试验【完整版】
- 【甘道夫】Hadoop2.2.0环境使用Sqoop-1.4.4将Oracle11g数据导入HBase0.96,并自动生成组合行键
- mahout0.9 hadoop2.4.1 编译错误 math-scala wrappers
- 【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse小工具
- 【甘道夫】基于Mahout0.9+CDH5.2运行分布式ItemCF推荐算法
- 【甘道夫】Hadoop2.2.0环境使用Sqoop-1.4.4将Oracle11g数据导入HBase0.96,并自己主动生成组合行键
- mahout 0.9与 hadoop2.x 冲突 解决办法
- Hadoop-2.2.0 HDFS暂时不支持并发追加
- Mahout0.9—Hadoop2.20—协同过滤算法
- 在hadoop1.2.1上安装配置mahout0.9