Hadoop2.6.3安装
2016-06-17 22:32
417 查看
Hadoop2.6.3安装
1 Hadoop简介
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统(HadoopDistributed
File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(highthroughput)来访问应用程序的数据,适合那些有着超大数据集(largedata
set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streamingaccess)文件系统中的数据。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。
2 环境说明
集群中包括3个节点:1个Master,2个Salve,节点之间局域网连接。机器名称 | IP地址 |
master | 192.168.0.104 |
s1 | 192.168.0.110 |
S2 | 192.168.0.111 |
三个节点上均是CentOS6.8系统,并且有一个相同的用户root。Master机器主要配置NameNode和JobTracker的角色,负责总管分布式数据和分解任务的执行;2个Salve机器配置DataNode和TaskTracker的角色,负责分布式数据存储以及任务的执行.
3.配置/etc/hosts
4 所需软件
1)JDK软件下载地址:http://www.oracle.com/technetwork/java/javase/index.html
2)Hadoop软件
下载地址:http://hadoop.apache.org/common/releases.html
5、SSH无密码验证配置
假设没有安装ssh和rsync,可以通过下面命令进行安装。yum install ssh 安装SSH协议
yum install rsync (rsync是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件)
service sshd restart 启动服务
在Master节点上执行以下命令:
ssh-keygen -t rsa
cd ~/.ssh
接着在Master节点上做如下配置,把id_rsa.pub追加到授权的key里面去。
执行下面两句
ssh-copy-id -i ~/.ssh/id_rsa.pub root@s1
ssh-copy-id -i ~/.ssh/id_rsa.pub root@s2
然后
免密码成功
5、JDK安装
下载地址:http://www.oracle.com/technetwork/java/javase/index.html首先用root身份登录"master "后在"/usr"下创建"java"文件夹,再把用FTP上传到"/home/hadoop/"下的"jdk-6u31-linux-i586.bin"复制到"/usr/java"文件夹中。
mkdir /usr/java
cp /home/hadoop/jdk-6u31-linux-i586.bin /usr/java
接着进入"/usr/java"目录下通过下面命令使其JDK获得可执行权限,并安装JDK。
chmod +x jdk-6u31-linux-i586.bin
./jdk-8u73-linux-i586.bin
按照上面几步进行操作,最后点击"Enter"键开始安装,安装完会提示你按"Enter"键退出,然后查看"/usr/java"下面会发现多了一个名为"1.8.0_73"文件夹,说明我们的JDK安装结束,删除"
jdk-8u73-linux-i586.bin "文件,进入下一个"配置环境变量"环节。
6 配置环境变量
编辑"/etc/profile"文件,在后面添加Java的"JAVA_HOME"、"CLASSPATH"以及"PATH"内容。1)编辑"/etc/profile"文件
vim /etc/profile
2)添加Java环境变量
在"/etc/profile"文件的尾部添加以下内容:
# set java environment
exportJAVA_HOME=/usr/java/jdk1.8.0_73
PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HBASE_HOME/bin:
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
3)使配置生效
保存并退出,执行下面命令使其配置立即生效。
source /etc/profile
然后远程copy到其他机器上,配置环境变量
scp –r /usr/java root@s1:/usr
scp –r /usr/java root@s2:/usr
7、Hadoop集群安装
所有的机器上都要安装hadoop,现在就先在master服务器安装,然后其他服务器按照步骤重复进行即可。安装和配置hadoop需要以"root"的身份进行。4.1 安装hadoop
首先用root用户登录"Master.Hadoop"机器,查看我们之前用FTP上传至"/home/Hadoop"上传的"hadoop-2.6.3.tar.gz"。进入下载目录
解压缩文件
tar –zxvf hadoop-2.6.3.tar.gz
移动到opt目录
mv hadoop-2.6.3 /opt
Hadoop配置文件
进入/opt/hadoop-2.6.3/etc/hadoop目录
cd /opt/hadoop-2.6.3/etc/Hadoop
修改core-site.xml
添加内容:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
修改hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///usr/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///usr/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.nameservices</name>
<value>hadoop-cluster1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
修改mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>master:50030</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>http://master:9001</value>
</property>
</configuration>
修改masters,Slaves
然后远程复制到是s1,s2
scp -r hadoop-2.6.3 root@s1:/opt
scp -r hadoop-2.6.3 root@s2:/opt
配置环境变量
关闭防火墙(所有节点)
service iptables stop
namenode初始化
hadoop namenode –format
进入/opt/hadoop-2.6.3/sbin
cd /opt/hadoop-2.6.3/sbin
执行./start-all.sh
上面结果代表执行完成
创建目录,然后展示,显示完成
综合以上我们的hadoop就装完成了。
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- 单机版搭建Hadoop环境图文教程详解
- hadoop常见错误以及处理方法详解
- hadoop 单机安装配置教程
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop实现grep示例分享
- Apache Hadoop版本详解
- linux下搭建hadoop环境步骤分享
- hadoop client与datanode的通信协议分析
- hadoop中一些常用的命令介绍
- Hadoop单机版和全分布式(集群)安装
- 用PHP和Shell写Hadoop的MapReduce程序
- hadoop map-reduce中的文件并发操作
- Hadoop1.2中配置伪分布式的实例
- hadoop上传文件功能实例代码
- java结合HADOOP集群文件上传下载
- Hadoop 2.x伪分布式环境搭建详细步骤
- Java访问Hadoop分布式文件系统HDFS的配置说明