hadoop下安装mahout
2016-12-22 14:42
176 查看
安装hadoop
完成安装mahout
首先下载mahout压缩文件apache-mahout-distribution-0.12.2.tar.gz放到/home/hadoop/software-ljd/下
解压该文件到/home/Hadoop/mahout下:
tar –zxvf apache-mahout-distribution-0.12.2.tar.gz –C /home/Hadoop/mahout/
完成后需要配置环境变量:/etc/profile文件需要新增(maven:非必须,java:必须,hadoop:必须, mahout:必须)如下的配置
###配置maven home export MAVEN_HOME=/usr/share/maven export PATH=$PATH:$MAVEN_HOME/bin ### java配置 export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_101 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH ###mahout配置 export MAHOUT_HOME=/home/hadoop/mahout/apache-mahout-distribution-0.12.2 export MAHOUT_CONF_DIR=$MAHOUT_HOME/conf export PATH=$MAHOUT_HOME/conf:$MAHOUT_HOME/bin:$PATH ####配置mahout所需要的hadoop环境 export HADOOP_HOME=/home/hadoop/hadoop-2.7.1 export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop export PATH=$PATH:$HADOOP_HOME/bin export HADOOP_HOME_WARN_SUPPRESS=not_null
需要在root下配置,完成后保存,然后 source /etc/profile 立即生效
检测mahout是否配置成功
到mahout-home下执行bin/mahout 查看
这里需要说明下,当你看到下面的代码时,以为是错的,其实不是,原因:
MAHOUT_LOCAL:设置是否本地运行,如果设置这个参数就不会运行hadoop了,一旦设置这个参数,那HADOOP_CONF_DIR 和HADOOP_HOME 这两个参数的
设置就自动失效了。
MAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath. hadoop binary is not in PATH,HADOOP_HOME/bin,HADOOP_PREFIX/bin, running locally
在hadoop下使用mahout
先启动hadoop首先下载测试数据
地址:http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data
在hadoop下创建testdata目录
bin/hadoop fs -mkdir /testdata(错误,需要创建的为/user/hadoop/testdata)
bin/hadoop fs -mkdir /user/hadoop bin/hadoop fs -mkdir /user/hadoop/testdata(正确)
查看是否已经创建
bin/hadoop fs –ls /
然后把测试数据放到hadoop的testdata中
bin/hadoop fs -put /home/hadoop/software-ljd/data /user/hadoop/testdata
运行mahout上的kmeans算法:
bin/hadoop jar /home/hadoop/mahout/apache-mahout-distribution-0.12.2/mahout-examples-0.12.2-job.jar org.apache.mahout.clustering.syntheticcontrol.kmeans.Job
最终运行结果
最终生成的文件在hdfs的/user/Hadoop/output/data/part-m-00000中
使用mahout vectordump –i /user/Hadoop/output/data/part-m-00000 –o /home/Hadoop/software-ljd/test.txt
将该文件转换成正常可读文件并存储到本机的文件系统中(输出文件在非hadoop文件系统,但是输入文件需要时hadoop文件系统中的文件)
相关文章推荐
- Hadoop+Mahout安装手记
- apache-hadoop-1.2.1、hbase、hive、mahout、nutch、solr安装教程
- mahout0.6-hadoop1.1.2安装配置及运行kmeans聚类算法
- 在hadoop1.2.1上安装配置mahout0.9
- Mac os10.9.4下安装Hadoop2.4.0,Mahout的惨痛血泪史
- mahout在hadoop下安装与测试过程
- Mahout0.9 ——hadoop2.2.0编译与安装
- 在hadoop-2.4.0环境下安装mahout最新版
- Mahout安装与测试-基于hadoop单结点伪分布式
- 【hadoop学习】--(3)安装mahout
- 图文讲解基于centos虚拟机的Hadoop集群安装,并且使用Mahout实现贝叶斯分类实例 (1)
- 图文讲解基于centos虚拟机的Hadoop集群安装,并且使用Mahout实现贝叶斯分类实例 (5)
- 图文讲解基于centos虚拟机的Hadoop集群安装,并且使用Mahout实现贝叶斯分类实例 (4)
- hadoop-2.0.0-cdh4.6.0、sqoop-1.4.3-cdh4.6.0、mahout-0.7-cdh4.6.0 安装笔记
- Hadoop集群中的Mahout-distribution-0.7安装与配置
- mahout安装配置,运行kmeans算法,bin/mahout -help出现MAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath
- 图文讲解基于centos虚拟机的Hadoop集群安装,并且使用Mahout实现贝叶斯分类实例 (3)
- 图文讲解基于centos虚拟机的Hadoop集群安装,并且使用Mahout实现贝叶斯分类实例 (7)
- hadoop家族之mahout安装
- Mahout安装与测试-基于hadoop单结点伪分布式