hadoop的伪分布式以及完全分布式的搭建

1.伪分布式的搭建

准备工作：

1.将需要的软件进行上传到相应的虚拟机上；

2.对虚拟机首先实行一个ip对主机名的绑定，

vi /etc/hosts 加上本虚拟机的ip和主机名，

vi /etc/sysconfig/network 主机名的修改；

3.然后对jdk和hadoop进行初期的配置，环境变量，在、vi etc/profile 将jdk和hadoop的路径加上 ，格式：export JAVA_HOME=/../

export PATH=PATH:JAVA_HOME/bin 等hadoop也是同样操作 ；完了之后需要立即生效，source /etc/profile就行了；接下来查看是否配置成功，因为虚拟机自带jdk所以，需要将原本存在的进行卸载 rpm -e ….. –nodeps(依赖)

4.配置hadoop的配置文件了，主要是六个；

(1)hadoop-env.sh 这个里面只需要将jdk的路径加上就行了；

(2)core-site.xml 这个需要配置主节点的通信地址

name里面配置写入:fs.defaultFS

value：hdfs://master:9000 协议：//主机名：端口 hdfs 伪分布式9000 完全分布式8020 hdfs://master:9000为数据节点和主节点的通信地址

/property： 配置项的终止标签

/configuration：配置文件的终止标签

(3).hdfs-site.xml hdfs的配置文件

对于伪分布式先配副本个数就行了

property>

//配置hdfs的副本信息

name>dfs.replication <:name

value>1<:value

/property>

(4)首先需要复制一份mapred-site.xml然后进行配置

这个配置的就是计算程序使用的map框架

property>

name>mapreduce.framework.name<：name>

value>yarn<：value>

<：property>

(5)配置yarn-site.xml.配置服务，所用的是shuffle

name>yarn.nodemanager.aux-services<:name>

value>mapreduce_shuffle<:value>

<:property>

(6)slaves,添加节点信息，也就是主机名，

入 slave 01等；

（以上代码不完整，为了让其先显示，将反斜杠以：代替，少了一些括号）