Ubuntu 12.04搭建hadoop2.0.4单机版环境
2013-09-25 16:53
573 查看
一. 安装Ubuntu 12.04;
二. 在Ubuntu下创建hadoop用户组和用户;
1. 创建hadoop用户组:
如图:
2. 创建hadoop用户:
如图:
3. 给hadoop用户添加权限,打开/etc/sudoers文件:
按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户同样的权限。
在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL)ALL,
如图:
三. 在Ubuntu下安装JDK 7
四. 安装ssh服务
五、 建立ssh无密码登录本机
首先要转换成hadoop用户,执行以下命令:
如图:
ssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式。
1. 创建ssh-key,,这里我们采用rsa方式:
如图:
(注:回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的)
2. 进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的:
如图:
(完成后就可以无密码登录本机了。)
3. 登录localhost:
如图:
( 注:当ssh远程登录到其它机器后,现在你控制的是远程的机器,需要执行退出命令才能重新控制本地主机。)
4. 执行退出命令:
六. 安装hadoop
hadoop版本是2.0.4alpha
安装包解压缩后,先进入etc/hadoop/目录下,按照单机版方式配置几个配置文件。
以前的hadoop版本配置文件在hadoop/conf/路径下
有core-site.xml,hdfs-site.xml,但是没有了mapred-site.xml,取而代之的是yarn-site.xml
masters和slaves两个好像masters也没有,建一个内容就是localhost
<property>
<name>fs.defaultFS</name>
<value>hdfs://127.0.0.1:9000</value>
</property>
hadoop2.0.4alpha好像没有mapred-site.xml这个文件
可以自己建一个
三、启动
启动的文件都是
sbin下,bin下的都是命令。之前的hadoop版本启动文件好像在bin下。如果你为了方便可以把这两个目录添加到环境变量中去,这样就可以直接运行命令,而不用运行绝对路径。配置环境变量略(我这里还是用绝对路径)。
切换到该安装目录下
首先格式化 namenode
确定不报错,且出现
startos/192.168.0.101是我的计算机名和Ip
启动namenode
运行测试
jps
出现:
8431 Jps
8353 DataNode
8271 NameNode
证明启动成功,如果没有出现DataNode或者NameNode,证明启动没有成功,可以查看hadoop安装目录下的logs下的日志记录。
结果启动namenode失败
chown: changing ownership of `/usr/local/hadoop/logs': Operation not permitted
starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-ubuntu.out
sbin/hadoop-daemon.sh: line 151: /usr/local/hadoop/logs/hadoop-hadoop-namenode-ubuntu.out: Permission denied
head: cannot open `/usr/local/hadoop/logs/hadoop-hadoop-namenode-ubuntu.out' for reading: No such file or directory
sbin/hadoop-daemon.sh: line 166: /usr/local/hadoop/logs/hadoop-hadoop-namenode-ubuntu.out: Permission denied
sbin/hadoop-daemon.sh: line 167: /usr/local/hadoop/logs/hadoop-hadoop-namenode-ubuntu.out: Permission denied
进行一个授权
将hadoop安装目录授权给当前用户
sudo chown -R hadoop:hadoop /usr/local/hadoop
再次启动
sbin/hadoop-daemon.sh start namenode
经验证
jps
6296 NameNode
6332 Jps
成功启动
终于把NameNode启动了
二. 在Ubuntu下创建hadoop用户组和用户;
1. 创建hadoop用户组:
sudo addgroup hadoop |
2. 创建hadoop用户:
sudo adduser -ingroup hadoop hadoop |
3. 给hadoop用户添加权限,打开/etc/sudoers文件:
sudo gedit /etc/sudoers |
在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL)ALL,
hadoopALL=(ALL:ALL) ALL |
三. 在Ubuntu下安装JDK 7
四. 安装ssh服务
五、 建立ssh无密码登录本机
首先要转换成hadoop用户,执行以下命令:
su - hadoop |
ssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式。
1. 创建ssh-key,,这里我们采用rsa方式:
ssh-keygen -t rsa -P "" |
(注:回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的)
2. 进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的:
cd ~/.ssh cat id_rsa.pub >> authorized_keys |
(完成后就可以无密码登录本机了。)
3. 登录localhost:
ssh localhost |
( 注:当ssh远程登录到其它机器后,现在你控制的是远程的机器,需要执行退出命令才能重新控制本地主机。)
4. 执行退出命令:
exit |
hadoop版本是2.0.4alpha
安装包解压缩后,先进入etc/hadoop/目录下,按照单机版方式配置几个配置文件。
以前的hadoop版本配置文件在hadoop/conf/路径下
有core-site.xml,hdfs-site.xml,但是没有了mapred-site.xml,取而代之的是yarn-site.xml
masters和slaves两个好像masters也没有,建一个内容就是localhost
1、core-site.xml
<property><name>fs.defaultFS</name>
<value>hdfs://127.0.0.1:9000</value>
</property>
2、hdfs-site.xml
1 | <property> |
2 | <name>dfs.namenode.name.dir</name> |
3 | <value>file:/usr/local/hadoop- 2.0 . 2 -alpha/dfs/name</value> |
4 | </property> |
5 |
6 | <property> |
7 | <name>dfs.datanode.data.dir</name> |
8 | <value>file:/usr/local/hadoop- 2.0 . 2 -alpha/dfs/data</value> |
9 | </property> |
3、mapred-site.xml
1 | <property> |
2 | <name>mapreduce.framework.name</name> |
3 | <value>yarn</value> |
4 | </property> |
可以自己建一个
启动的文件都是
sbin下,bin下的都是命令。之前的hadoop版本启动文件好像在bin下。如果你为了方便可以把这两个目录添加到环境变量中去,这样就可以直接运行命令,而不用运行绝对路径。配置环境变量略(我这里还是用绝对路径)。
切换到该安装目录下
首先格式化 namenode
1 | bin/hdfs namenode -format |
startos/192.168.0.101是我的计算机名和Ip
启动namenode
1 | sbin/hadoop-daemon.sh start namenode |
2 | sbin/hadoop-daemon.sh start datanode |
jps
出现:
8431 Jps
8353 DataNode
8271 NameNode
证明启动成功,如果没有出现DataNode或者NameNode,证明启动没有成功,可以查看hadoop安装目录下的logs下的日志记录。
结果启动namenode失败
chown: changing ownership of `/usr/local/hadoop/logs': Operation not permitted
starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-ubuntu.out
sbin/hadoop-daemon.sh: line 151: /usr/local/hadoop/logs/hadoop-hadoop-namenode-ubuntu.out: Permission denied
head: cannot open `/usr/local/hadoop/logs/hadoop-hadoop-namenode-ubuntu.out' for reading: No such file or directory
sbin/hadoop-daemon.sh: line 166: /usr/local/hadoop/logs/hadoop-hadoop-namenode-ubuntu.out: Permission denied
sbin/hadoop-daemon.sh: line 167: /usr/local/hadoop/logs/hadoop-hadoop-namenode-ubuntu.out: Permission denied
进行一个授权
将hadoop安装目录授权给当前用户
sudo chown -R hadoop:hadoop /usr/local/hadoop
再次启动
sbin/hadoop-daemon.sh start namenode
经验证
jps
6296 NameNode
6332 Jps
成功启动
终于把NameNode启动了
相关文章推荐
- 自搭建Hadoop环境全记录 单机+伪分布 (ubuntu-16.04 64-bit , Hadoop2.8.2)
- Virtualbox安装Ubuntu13.04并搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu 14.10(32位)上搭建Hadoop2.5.0单机伪分布式环境
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu 12.04搭建hadoop单机版环境
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu 12.04搭建hadoop单机版环境
- Ubuntu上搭建hadoop 2.2.0环境,配置yarn(单机)
- ubuntu14.04 Hadoop单机开发环境搭建MapReduce项目
- hadoop2.6.4+Ubuntu14.04的单机模式和伪分布模式环境搭建
- Ubuntu 12.04上搭建Hadoop环境(一)
- Ubuntu 12.04搭建Hadoop单机版环境
- Hadoop单机环境安装配置(Ubuntu 12.04)
- Ubuntu 12.04搭建Hadoop单机版环境
- Ubuntu 12.04搭建hadoop单机版环境
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)