ubuntu12.04下hadoop单机模式和伪分布模式环境搭建
2014-01-09 08:30
573 查看
1.添加hadoop组(专门用来进行hadoop测试)到系统用户:
2.在hadoop中添加hadoop用户:
3.赋予hadoop管理员权限
( 如果不想新建用户,只在自己现有用户下搭建,上面三步可以省去直接进入第四步)
4切换用户!!
5.安装ssh远程登录协议:
6.启动ssh
7.免密码登录,并生成公钥与私钥:
第一次操作时会提示输入密码,按Enter直接过,这时会在~/home/hadoop/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥.
8.现在我们将公钥追加到authorized_keys中(authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容)
9登录ssh
10退出
11再登录退出一次,之后登录就不用输入密码了。
12安装java
13安装hadoop,hadoop官网下载这里选择的是hadoop-1.2.1.tar.gz ,解压并放到你想放的地方
14确保所有操作均在hadoop用户下
15配置hadoop-env.sh,所在目录:/usr/local/hadoop/conf,添加如下代码
16让环境变量配置生效
17单机配置成功:
伪分布模式继续:
18配置conf目录下三个文件:core-site.xml,hdfs-site.xml,mapred-site.xml
core-site.xml:
hdfs-site.xml:
mapred-site.xml:
19 在hadoop目录下新建几个目录:
20 修改data文件夹的权限:
21 让配置文件生效:
22.确认hadoop没有运行:
23 格式化namenode
24运行
25 jps
如果出现下图表示成功
![](https://oscdn.geek-share.com/Uploads/Images/Content/201912/21/d4841e5178b63293764cc4aaed0dcacf.png)
26测试程序:
在伪分布模式下运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:
这时注意程序是在文件系统dfs运行的,创建的文件也都基于文件系统:
首先在dfs中创建input目录
将conf中的文件拷贝到dfs中的input
在伪分布式模式下运行WordCount
显示输出结果
![](https://oscdn.geek-share.com/Uploads/Images/Content/201912/21/3748b09d3a49fed71db1903890cf95aa.png)
当Hadoop结束时,可以通过stop-all.sh脚本来关闭Hadoop的守护进程
本文主要参考的csdn狂奔的蜗牛,Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)链接,在此表示感谢,结合自己在安装时候出现的问题给以解决方法,加以总结。
<!-- lang: java --> sudo addgroup hadoop
2.在hadoop中添加hadoop用户:
<!-- lang: java --> sudo adduser --ingroup hadoop hadoop
3.赋予hadoop管理员权限
<!-- lang: java --> sudo usermod -aG sudo hadoop
( 如果不想新建用户,只在自己现有用户下搭建,上面三步可以省去直接进入第四步)
4切换用户!!
5.安装ssh远程登录协议:
<!-- lang: java --> sudo apt-get install openssh-server
6.启动ssh
<!-- lang: java --> sudo /etc/init.d/ssh start
7.免密码登录,并生成公钥与私钥:
<!-- lang: java --> ssh-keygen -t rsa -P ""
第一次操作时会提示输入密码,按Enter直接过,这时会在~/home/hadoop/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥.
8.现在我们将公钥追加到authorized_keys中(authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容)
<!-- lang: java --> cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
9登录ssh
<!-- lang: java --> ssh localhost
10退出
<!-- lang: java --> exit
11再登录退出一次,之后登录就不用输入密码了。
12安装java
13安装hadoop,hadoop官网下载这里选择的是hadoop-1.2.1.tar.gz ,解压并放到你想放的地方
<!-- lang: java --> sudo mv /Downloads/hadoop-1.2.1.tar.gz /usr/local/hadoop
14确保所有操作均在hadoop用户下
<!-- lang: java --> sudo chown -R hadoop:hadoop /usr/local/hadoop
15配置hadoop-env.sh,所在目录:/usr/local/hadoop/conf,添加如下代码
<!-- lang: cpp --> export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386 (视你机器的java安装路径而定) export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:/usr/local/hadoop/bin export HADOOP_HOME_WARN_SUPPRESS="TRUE"
16让环境变量配置生效
<!-- lang: java --> source /usr/local/hadoop/conf/hadoop-env.sh
17单机配置成功:
<!-- lang: java --> hadoop version
伪分布模式继续:
18配置conf目录下三个文件:core-site.xml,hdfs-site.xml,mapred-site.xml
core-site.xml:
<!-- lang: java --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> </configuration>
hdfs-site.xml:
<!-- lang: java --> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>/usr/local/hadoop/hdfs/name</value> </property> <property> <name>dfs.data.dir</name> <value>/usr/local/hadoop/hdfs/data</value> </property> </configuration>
mapred-site.xml:
<!-- lang: java --> <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
19 在hadoop目录下新建几个目录:
<!-- lang: java --> ~/hadoop$ mkdir tmp ~/hadoop$ mkdir hdfs ~/hadoop$ mkdir hdfs/name ~/hadoop$ mkdir hdfs/data
20 修改data文件夹的权限:
<!-- lang: java --> sudo chmod g-w /usr/local/hadoop/hdfs/data
21 让配置文件生效:
<!-- lang: java --> source /usr/local/hadoop/conf/hadoop-env.sh
22.确认hadoop没有运行:
<!-- lang: java --> usr/local/hadoop bin/stop-all.sh
23 格式化namenode
<!-- lang: java --> usr/local/hadoop bin/hadoop namenode -format
24运行
<!-- lang: java --> /usr/local/hadoop bin/start-all.sh
25 jps
如果出现下图表示成功
![](https://oscdn.geek-share.com/Uploads/Images/Content/201912/21/d4841e5178b63293764cc4aaed0dcacf.png)
26测试程序:
在伪分布模式下运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:
这时注意程序是在文件系统dfs运行的,创建的文件也都基于文件系统:
首先在dfs中创建input目录
<!-- lang: java --> hadoop@lcj:/usr/local/hadoop$ bin/hadoop dfs -mkdir input
将conf中的文件拷贝到dfs中的input
<!-- lang: java --> hadoop@lcj:/usr/local/hadoop$ bin/hadoop dfs -copyFromLocal conf/* input
在伪分布式模式下运行WordCount
<!-- lang: java --> hadoop@lcj:/usr/local/hadoop$ bin/hadoop jar hadoop-examples-1.2.1.jar wordcount input output
显示输出结果
<!-- lang: java --> hadoop@lcj:/usr/local/hadoop$ bin/hadoop dfs -cat output/*
![](https://oscdn.geek-share.com/Uploads/Images/Content/201912/21/3748b09d3a49fed71db1903890cf95aa.png)
当Hadoop结束时,可以通过stop-all.sh脚本来关闭Hadoop的守护进程
<!-- lang: java --> hadoop@lcj:/usr/local/hadoop$ bin/stop-all.sh
本文主要参考的csdn狂奔的蜗牛,Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)链接,在此表示感谢,结合自己在安装时候出现的问题给以解决方法,加以总结。
相关文章推荐
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- hadoop2.6.4+Ubuntu14.04的单机模式和伪分布模式环境搭建
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) - 狂奔的蜗牛 - 博客频道 - CSDN.NET http://blog.csdn.net/hitwengqi/article/detai
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- ubuntu12.04 hadoop单机模式和伪分布模式搭建
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) (转载)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)【转】
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)