64位CentOS6.8安装hadoop伪分布与64位win10Eclipse的Hadoop开发框架配置

64位CentOS6.8安装hadoop伪分布与64位win10Eclipse的Hadoop开发框架配置

一：centos6.8安装

在相关网站下载centos6.8后，用vmware虚拟机安装

选择稍后安装操作系统







打开虚拟机前，选择操作系统镜像



进行手动安装



跳过检查



选择基本版



选择时区



一路确定



更改下虚拟机的网络模式，以便配置固定ip



打开centos虚拟机，分别修改/etc/resolv.conf /etc/sysconfig/network /etc/config/network-scripts/ifcfg-eth0来配置好网关,ip,DNS等













重启网络服务，看到ip被正确设置为192.168.1.109





调整SELinux的值





添加hadoop用户并设置密码



为hadoop用户配置ssh免密码登陆

二：Jdk1.7安装

在win10上下载jdk1.7 linux64位版本，在cmd相关目录下，用pscp工具传输到centos虚拟机的/java目录下



解压完jdk1.7的rpm后删除





配置java路径

三：在等待hadoop2.4下载的同时，配置下win10上的java1.8路径和eclipse的hadoop开发插件

在相关网站上下载好jdk和ant后在用户和系统环境变量下配置相应的home和path变量





验证ant是否安装成功



下载hadoop2x-eclipse-plugin-master.zip并解压

下载完整版的eclipse并解压



修改D：\Hadoop\2xplugin\ivy 的libraries.properties文件根据git-hub的介绍修改以符合你的Hadoop版本



进入D:\Hadoop\2xplugin\src\contrib\eclipse-plugin

输入ant jar -Dversion=2.4.0 -Declipse.home=D:\eclipse\eclipse -Dhadoop.home=D:\hadoop\hadoop2.4.0\hadoop2.4.0



网络问题它会卡一会来下东西

安装完后会看到以下截图



在D:\Hadoop\2xplugin\build\contrib\ eclipse-plugin下会看到hadoop-eclipse-plugin-2.4.0.jar插件已经编译好了

四：我们去安装centOS下的hadoop2.4

将win10下下载的hadoop2.4包通过pscp工具传输到centOS的/usr目录下去



解压安装后删除hadoop24包并修改hadoop-2.4.0文件夹及其子目录的操作权限





为hadoop用户配置hadoop路径







修改/usr/hadoop/etc/hadoop下的hadoop-env.sh，为其配置java路径



修改/usr/hadoop/etc/hadoop下的core-site.xml配置map任务的临时目录，HDFS访问端口





修改/usr/hadoop/etc/hadoop下的hdfs-site.xml，配置分布式文件的备份数目，namenode的元文件目录，datanode的数据文件目录，是否开启网页查看功能





修改/usr/hadoop/etc/hadoop下的mapred-site.xml.template将它复制一份另外命名为mapred-site.xml打开它并修改job页面端口





修改/usr/hadoop/etc/hadoop下的yarn-site.xml





根据上面的配置文件在/usr/hadoop目录下创建tmp name data三个文件夹



修改/etc/hosts文件



格式化namenode





启动集群并启动historyserver

五：我们返回wi
4000
n10继续配置eclipse

将上面生成的hadoop-eclipse-plugin复制到eclipse的plugins目录下



打开eclipse选择windows->preferences选择hadoop Map/Reduce配置它关联的hadoop目录





打开windows->show view选择MapReduce Locations



找到MapReduce Locations窗口点击右边蓝色小象图标添加Hadoop Location



根据上面hdfs相关的xml里的配置来设置参数



在连接了hadoop的终端里建个hello目录测试一下win10的插件是否配置成功