hadoop部署完全分布式简要步骤
2014-04-10 00:00
375 查看
摘要: hadoop部署完全分布式简要步骤
1、配置hosts文件为建立无密钥通信做准备
master,slave1,slave2都要做相同的配置
2、配置SSH无密钥通信双方互相通信
注意关闭防火墙和配置hosts network 要设置DNS和网关
通信原理让双方持有对方的公钥,放在authorized_keys中。
3、配置jdk
4、导入并配置hadoop
将jdk配置在hadoop_env.sh中
配置hadoop的core-site.xml
配置mapred-site.xml
配置hdfs-site.xml
配置masters,slaves最好都用地址写
5、格式化hadoop只需要格式化一次就行,如果想格式化第二次需要删除tmp文件夹的所有东西
6、启动
7、配置在eclipse中,制作插件,放在plugin下,如果有权限问题 设置权限为false
8、记得将hdfs-site.xml中的权限验证改为false.
1、配置hosts文件为建立无密钥通信做准备
master,slave1,slave2都要做相同的配置
2、配置SSH无密钥通信双方互相通信
注意关闭防火墙和配置hosts network 要设置DNS和网关
通信原理让双方持有对方的公钥,放在authorized_keys中。
3、配置jdk
4、导入并配置hadoop
将jdk配置在hadoop_env.sh中
配置hadoop的core-site.xml
配置mapred-site.xml
配置hdfs-site.xml
配置masters,slaves最好都用地址写
5、格式化hadoop只需要格式化一次就行,如果想格式化第二次需要删除tmp文件夹的所有东西
6、启动
7、配置在eclipse中,制作插件,放在plugin下,如果有权限问题 设置权限为false
8、记得将hdfs-site.xml中的权限验证改为false.
相关文章推荐
- hadoop2.6.5+spark2.1.0+hbase1.2.6完全分布式环境部署
- hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布式集群HA部署
- hadoop完全分布式安装部署-笔记
- CentOS 64位系统进行Hadoop2.3.0本地编译及完全分布式集群的部署
- Hadoop完全分布式部署
- Hadoop-2.7.3完全分布式环境搭建及环境部署脚本编写
- 超详细从零记录Hadoop2.7.3完全分布式集群部署过程
- centos 6.6 hadoop 2.7.1 完全分布式安装部署
- [参考]Hadoop集群完全分布式模式环境部署
- 搭建3个节点的hadoop集群(完全分布式部署)--2安装mysql及hive
- Linux集群部署系列(五):Hadoop 2.x完全分布式集群部署
- 超详细从零记录Hadoop2.7.3完全分布式集群部署过程
- centOS6.5安装hadoop2.7后,再安装hbase1.1.0.1,完全分布式部署
- hadoop完全分布式部署无法访问namenode的8020端口解决方案
- 用Linux Container在单机上部署完全分布式的Hadoop集群
- hadoop完全分布式环境启动步骤说明
- Hadoop集群完全分布式模式环境部署
- Hadoop 1.0.3 完全分布式 安装 配置 部署
- 超详细从零记录Hadoop2.7.3完全分布式集群部署过程
- Hadoop完全分布式部署---Hadoop学习笔记(3)