hadoop介绍（一）：hdfs安装和eclipse插件

一： hdfs安装

说明：

1、 本次集群基于hadoop 1.x ,只是hdfs安装

机器分配：

角色—–NN—-SNN—-DN

node1—-1—————-

node2———–1——1

node3——————–1

node4———————1

步骤:

1、时间同步 ntpdate -u 时间服务器

网络 hosts 防火墙关闭 selinux关闭

2、jdk1.7

3、上传 解压

4、免秘钥 node1到node1-4 先ssh-keygen生成id_rsa.pub文件，然后把这个文件拷贝到node1-4的authority_keys文件里面

5、修改配置文件

hadoop-env.sh 中的JAVA_HOME

core-site.xml //一般修改fs.defaultFS和hadoop.tmp.dir目录，这个默认目录重启机器会删除掉数据

hdfs-site.xml //一般配置dfs.relication和dfs.namenode.secondary.http-address

slaves 指定DN

手动创建masters 指定SNN

6、 ！！！同步配置文件

7、 格式化NN hdfs namenode -format

8、 启动start-dfs.sh

页面展示：

1、 NN:50070端口

2、 SNN:50090

3、 NN:9000为rpc端口

二： eclipse插件安装

1、下载插件，将插件放在eclipse的plugins里面即可

2、 配置连接机器，如果只配置hdfs，只用配置hdfs主机名和端口即可,端口为hdfs的rpc端口，不是http端口

注：如果遇到可以连接机器，但是无法访问的情况，应该是hdfs的用户名认证问题