eclipse下mahout0.9开发实战(不使用hadoop eclipse plugins)
2014-09-22 17:33
513 查看
1、eclipse开发要求
在eclipse下新建java工程,导入开发mahout所需的jar包,如图所示
如果需要其它包导入即可。
2、新建一个类,用来调用mahout算法,自己编写,具体api看mahout官网,可以写 (推荐算法、聚类算法和分类算法三类机器学习算法)
本例中使用mahout源码中的一个k-means算法实例,直接将文件复制过来。
3、程序编写完毕后,将工程导出为test.jar包(可以自己命名),(注意导出jar包时不用加 依赖jar包)
4、在hadoop上安装mahout,将mahout下的jar包复制到每个hadoop节点的hadoop- yarn目录下。(hadoop执行时会将运行jar文件分发到其他节点的hadoop-yarn目录 下,如果不将mahout下jar文件复制过去,会造成找不到类错误)
5、将test.jar文件上传到hadoop上的mahout文件夹下
6、执行hadoop命令
cd mahout目录
hadoop jar ./test.jar com.wang.Job
运行结果和mahout自带的mahout-examples-0.9-cdh5.1.2-job.jar文件运行一样
hadoop jar ./mahout-examples-0.9-cdh5.1.2-job.jar org.apache.mahout.clustering.syntheticcontrol.kmeans.Job
在eclipse下新建java工程,导入开发mahout所需的jar包,如图所示
如果需要其它包导入即可。
2、新建一个类,用来调用mahout算法,自己编写,具体api看mahout官网,可以写 (推荐算法、聚类算法和分类算法三类机器学习算法)
本例中使用mahout源码中的一个k-means算法实例,直接将文件复制过来。
3、程序编写完毕后,将工程导出为test.jar包(可以自己命名),(注意导出jar包时不用加 依赖jar包)
4、在hadoop上安装mahout,将mahout下的jar包复制到每个hadoop节点的hadoop- yarn目录下。(hadoop执行时会将运行jar文件分发到其他节点的hadoop-yarn目录 下,如果不将mahout下jar文件复制过去,会造成找不到类错误)
5、将test.jar文件上传到hadoop上的mahout文件夹下
6、执行hadoop命令
cd mahout目录
hadoop jar ./test.jar com.wang.Job
运行结果和mahout自带的mahout-examples-0.9-cdh5.1.2-job.jar文件运行一样
hadoop jar ./mahout-examples-0.9-cdh5.1.2-job.jar org.apache.mahout.clustering.syntheticcontrol.kmeans.Job
相关文章推荐
- Hadoop实战-使用Eclipse开发Hadoop API程序(四)
- Linux下使用Eclipse开发Hadoop应用程序 测试成功
- Windows下使用Eclipse开发Hadoop程序
- hadoop2.2+mahout0.9实战
- Windows下使用Eclipse搭建Hadoop开发环境
- ubuntu下使用Eclipse搭建Hadoop开发环境
- eclipse环境下使用hadoop-eclipse插件配置并开发mapreduce程序
- 使用eclipse编译生成hadoop eclipse开发插件
- hadoop2.2+mahout0.9实战
- 使用cygwin 和 scala-eclipse 搭建 Mahout 源代码的开发环境
- windows下使用eclipse开发hadoop
- 如何在windows上使用eclipse远程连接hadoop进行程序开发
- Azure HDInsights实战:使用Azure Hadoop和Mahout实现推荐功能
- 在Ubuntu13.10下使用Eclipse搭建Hadoop-2.2.0 开发环境
- Eclipse plugins 插件开发学习 - 使用 IScanner 扫描 Java 源代码
- 在Windos上使用Eclipse进行Hadoop开发的环境搭建
- Windows上使用Eclipse远程连接Hadoop进行程序开发
- Linux下使用Eclipse开发Hadoop应用程序
- Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境
- 【hadoop之翊】——windows 7使用eclipse下hadoop应用开发环境搭建