Hadoop集群搭建
2015-06-23 20:10
441 查看
为了跟上时代步伐,附上新版本hadoop 2.5.2的安装教程链接
http://blog.csdn.net/shubingzhuoxue/article/details/49718095
在这个教程中需要注意几点:
1、对于/etc/profile环境变量配置完成后,/etc/environment环境变量也是需要配置的。
2、对于创建的~/dfs/data和~/dfs/name和~/tmp这些目录,在配置文件中不能这么写,因为配置文件是不识别~符号的,因此需要写出全局的路径,代替~。例如写成/home/root/dfs/name
下面介绍的事hadoop0.20.203版本的安装介绍
一. 搭建环境前的准备:
我的本机Ubuntu 12.04 32bit作为maser,就是上篇hadoop单机版环境搭建时用的那台机子,
还在KVM中虚拟了4台机子,分别起名为:
son-1 (ubuntu 12.04 32bit),
son-2 (ubuntu 12.04 32bit),
son-3 (centOS 6.2 32bit),
son-4 (redhat 6.0 32bit).
kvm的搭建详见:http://www.db89.org/post/2012-05-25/kvmxuniji
kvm的桥接设置详见:http://www.db89.org/post/2012-05-27/kvmnetset
Ubuntu12.04搭建hadoop单机版环境详见:http://www.db89.org/post/2012-06-03/hadoopdanjihuanjing
下来修改本机的host文件,
在后面添加内容为:
现在开始我们的打建之旅吧。
二 . 为本机(master)和子节点(son..)分别创建hadoop用户和用户组,其实ubuntu和centos下创建用户还多少还是有点区别的。
ubuntu下创建:
先创建hadoop用户组:
然后创建hadoop用户:
centos 和 redhat 下创建:
注:在centos 和 redhat下直接创建用户就行,会自动生成相关的用户组和相关文件,而ubuntu下直接创建用户,创建的用户没有家目录。
给hadoop用户添加权限,打开/etc/sudoers文件;
按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户同样的权限。
在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL,
三. 为本机(master)和子节点(son..)安装JDK环境。
ubuntu下一条命令即可:
centos和redhat建议下载源码安装。
详见:http://www.db89.org/post/2012-07-02/centosjava
四. 修改 本机(master)和子节点(son..)机器名
打开/etc/hostname文件;
分别修改为:master son-1 son-2 son-3 son-4。这样有利于管理和记忆!
五. 本机(master)和子节点(son..)安装ssh服务
主要为ubuntu安装,cents和redhat系统自带。
ubuntu下:
这时假设您已经安装好了ssh,您就可以进行第六步了哦~
六. 先为建立ssh无密码登录环境
做这一步之前首先建议所有的机子全部转换为hadoop用户,以防出现权限问题的干扰。
切换的命令为:
ssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式。
1. 创建ssh-key,,这里我们采用rsa方式;
(注:回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的)
2. 进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的;
七. 为本机mater安装hadoop
我们采用的hadoop版本是:hadoop-0.20.203(http://www.apache.org/dyn/closer.cgi/hadoop/common/ ),因为该版本比较稳定。
1. 假设hadoop-0.20.203.tar.gz在桌面,将它复制到安装目录 /usr/local/下;
2. 解压hadoop-0.20.203.tar.gz;
3. 将解压出的文件夹改名为hadoop;
4. 将该hadoop文件夹的属主用户设为hadoop,
5. 打开hadoop/conf/hadoop-env.sh文件;
6. 配置conf/hadoop-env.sh(找到#export JAVA_HOME=...,去掉#,然后加上本机jdk的路径);
7. 打开conf/core-site.xml文件;
编辑如下:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
8. 打开conf/mapred-site.xml文件;
编辑如下:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
</configuration>
9. 打开conf/hdfs-site.xml文件;
编辑如下:
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
10. 打开conf/masters文件,添加作为secondarynamenode的主机名,这里需填写 master 就Ok了。
11. 打开conf/slaves文件,添加作为slave的主机名,一行一个。
这里填成下列的内容 :
son-1
son-2
son-3
son-4
八. 要将master机器上的文件一一复制到datanode机器上(son-1,son-2,son-3,son-4都要复制):(这里以son-1为例子)
1. 公钥的复制
2. hosts文件的复制
注:这里如果不能复制,就先将文件复制到/home/hadoop下面,即为:
再在datanode机器上将其移到相同的路径下面/etc/hosts .
3. hadoop文件夹的复制,其中的配置也就一起复制过来了!
如果不能移动的话和上面的方法一样!
并且要将所有节点的hadoop的目录的权限进行如下的修改:
这些东西都复制完了之后,datanode机器还要将复制过来的公钥追加到收信任列表:
在每个子节点的自己种都要操作。
还有很重要的一点,子节点datanode机器要把复制过来的hadoop里面的data1,data2和logs删除掉!
还有要修改centos节点(son-3)和redhat节点(son-4)的java的环境变量地址,
配置centos节点(son-3)和redhat节点(son-4)的/usr/local/hadoop/conf/hadoop-env.sh(找到#export JAVA_HOME=...,去掉#,然后加上本机jdk的路径);这个环境不一,自己配置一下。
这样环境已经基本搭建好了,现在开始测试一下。
九. 这样之后基本上就差不多了,首先进入master的hadoop目录。
首先可以做一下负载平衡,我担心这个加上会有点乱,但是没有这部分不影响运行,想了解的给我留言!
启动datanode和tasktracker:
bin/start-dfs.sh
bin/hadoop-daemon.sh start datanode
bin/hadoop-daemon.sh start tasktracker
启动全部服务直接一条命令:
查看自己的datanode是否启动.
当jps不能正常使用的时候:
连接时可以在namenode上查看连接情况:
上面这个是转载他人的博客,我的Hadoop集群就是看这个博客完成的,失败了一次,第二次就直接成功了。
可能还有很多其他的相关文档,但是只有这篇算是把我带向成功的,在此很感谢作者。
http://blog.csdn.net/shubingzhuoxue/article/details/49718095
在这个教程中需要注意几点:
1、对于/etc/profile环境变量配置完成后,/etc/environment环境变量也是需要配置的。
2、对于创建的~/dfs/data和~/dfs/name和~/tmp这些目录,在配置文件中不能这么写,因为配置文件是不识别~符号的,因此需要写出全局的路径,代替~。例如写成/home/root/dfs/name
下面介绍的事hadoop0.20.203版本的安装介绍
一. 搭建环境前的准备:
我的本机Ubuntu 12.04 32bit作为maser,就是上篇hadoop单机版环境搭建时用的那台机子,
还在KVM中虚拟了4台机子,分别起名为:
son-1 (ubuntu 12.04 32bit),
son-2 (ubuntu 12.04 32bit),
son-3 (centOS 6.2 32bit),
son-4 (redhat 6.0 32bit).
kvm的搭建详见:http://www.db89.org/post/2012-05-25/kvmxuniji
kvm的桥接设置详见:http://www.db89.org/post/2012-05-27/kvmnetset
Ubuntu12.04搭建hadoop单机版环境详见:http://www.db89.org/post/2012-06-03/hadoopdanjihuanjing
下来修改本机的host文件,
sudo gedit /etc/hosts |
192.168.200.150 master 192.168.200.151 son-1 192.168.200.152 son-2 192.168.200.153 son-3 192.168.200.154 son-4 |
二 . 为本机(master)和子节点(son..)分别创建hadoop用户和用户组,其实ubuntu和centos下创建用户还多少还是有点区别的。
ubuntu下创建:
先创建hadoop用户组:
sudo addgroup hadoop |
sudo adduser -ingroup hadoop hadoop |
sudo adduser hadoop |
给hadoop用户添加权限,打开/etc/sudoers文件;
sudo gedit /etc/sudoers |
在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL,
hadoop ALL=(ALL:ALL) ALL |
ubuntu下一条命令即可:
sudo apt-get install openjdk-6-jre |
详见:http://www.db89.org/post/2012-07-02/centosjava
四. 修改 本机(master)和子节点(son..)机器名
打开/etc/hostname文件;
sudo gedit /etc/hostname |
五. 本机(master)和子节点(son..)安装ssh服务
主要为ubuntu安装,cents和redhat系统自带。
ubuntu下:
sudo apt-get install ssh openssh-server |
六. 先为建立ssh无密码登录环境
做这一步之前首先建议所有的机子全部转换为hadoop用户,以防出现权限问题的干扰。
切换的命令为:
su - hadoop |
1. 创建ssh-key,,这里我们采用rsa方式;
ssh-keygen -t rsa -P "" |
2. 进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的;
cd ~/.ssh cat id_rsa.pub >> authorized_keys |
我们采用的hadoop版本是:hadoop-0.20.203(http://www.apache.org/dyn/closer.cgi/hadoop/common/ ),因为该版本比较稳定。
1. 假设hadoop-0.20.203.tar.gz在桌面,将它复制到安装目录 /usr/local/下;
sudo cp hadoop-0.20.203.0rc1.tar.gz /usr/local/ |
cd /usr/local sudo tar -zxf hadoop-0.20.203.0rc1.tar.gz |
sudo mv hadoop-0.20.203.0 hadoop |
sudo chown -R hadoop:hadoop hadoop |
sudo gedit hadoop/conf/hadoop-env.sh |
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk |
sudo gedit hadoop/conf/core-site.xml |
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
8. 打开conf/mapred-site.xml文件;
sudo gedit hadoop/conf/mapred-site.xml |
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
</configuration>
9. 打开conf/hdfs-site.xml文件;
sudo gedit hadoop/conf/hdfs-site.xml |
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
10. 打开conf/masters文件,添加作为secondarynamenode的主机名,这里需填写 master 就Ok了。
sudo gedit hadoop/conf/masters |
sudo gedit hadoop/conf/slaves |
son-1
son-2
son-3
son-4
八. 要将master机器上的文件一一复制到datanode机器上(son-1,son-2,son-3,son-4都要复制):(这里以son-1为例子)
1. 公钥的复制
scp ~/.ssh/id_rsa.pub hadoop@son-1:~/.ssh/ |
scp /etc/hosts hadoop@son-1:/etc/hosts |
/home/hadoophadoop@son-1: scp /etc/hosts |
3. hadoop文件夹的复制,其中的配置也就一起复制过来了!
scp -r /usr/local/hadoop hadoop@son-1:/usr/local |
并且要将所有节点的hadoop的目录的权限进行如下的修改:
sudo chown -R hadoop:hadoop hadoop |
在每个子节点的自己种都要操作。
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys |
还有要修改centos节点(son-3)和redhat节点(son-4)的java的环境变量地址,
配置centos节点(son-3)和redhat节点(son-4)的/usr/local/hadoop/conf/hadoop-env.sh(找到#export JAVA_HOME=...,去掉#,然后加上本机jdk的路径);这个环境不一,自己配置一下。
这样环境已经基本搭建好了,现在开始测试一下。
九. 这样之后基本上就差不多了,首先进入master的hadoop目录。
cd /usr/local/hadoop |
启动datanode和tasktracker:
bin/start-dfs.sh
bin/hadoop-daemon.sh start datanode
bin/hadoop-daemon.sh start tasktracker
启动全部服务直接一条命令:
bin/start-all.sh |
jps |
resource /etc/profile |
bin/hadoop dfsadmin -report |
可能还有很多其他的相关文档,但是只有这篇算是把我带向成功的,在此很感谢作者。
相关文章推荐
- Spark集群搭建——Hadoop2.4.1集群搭建
- 高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南
- Hadoop集群在百度的应用
- Hadoop安装教程_单机/伪分布式配置_Ubuntu 14.04/Hadoop 2.4.1
- Hadoop作业提交多种方案具体流程详解
- 分布式集群环境hadoop1.2.0、hbase0.94.4、zookeeper、elasticsearch搭建
- hadoop学习笔记1:实现ssh免密码登录
- hadoop学习笔记2:hadoop分布式环境搭建
- hadoop学习笔记3:shell下的hdfs操作
- hadoop学习笔记4:java实现hdfs -ls/-lsr
- Hadoop集群系列教程之我眼中的Hadoop(一)
- 传智播客hadoop7天视频教程(非吴超版本)
- 吴超大数据高薪就业班二期和三期(官方培训费11000)
- hadoop-1.0.4 hbase-0.94.10 zookeeper-3.4.5集群配置
- HadoopHbaseZookeeper集群
- HadoopHbaseZookeeper集群
- HadoopHbaseZookeeper集群
- Fedora 18 Hadoop 1.2.0集群搭建
- hbase奇怪问题现场
- hbase Invalid HFile block magic on hdfs system