Hadoop:基础环境配置
2016-07-22 09:22
309 查看
Hadoop认证培训:基础环境配置,在开始使用Hadoop之前还需要有一个Hadoop的基础测试环境,这里搭建一个简单的伪分布式模式来提供一个测试环境。关于生产环境下的Hadoop的安装、部署将在后续章节详细讲解。
系统平台:Hadoop支持GUN/Linux系统,并推荐使用Linux作为开发测试和生产环境的平台,Win32仅支持开发测试环境,不推荐其作为生产环境系统,这里推荐直接使用GUN/Linux作为Hadoop的测试环境。
软件准备:jdk版本需要java1.6.x以上,安装jd后并配置JAVA_HOME环境变量,以及PATH环境变量,还需要ssh及rsync软件。对于ubuntu Linux发行版,使用以下命令进行
安装:
sudo apt-get install ssh
sudo apt-get install rsync
对于RedHat/CentOS使用以下命令进行安装:
sudo yum install ssh
sudo yum install rsync
由于Hadoop使用ssh协议来管理远程守护进程,因此还需要配置免密码登录,对于单机伪分布式使用以下命令进行操作:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
然后就可以使用ssh localhost命令来测试是否还需要密码才能登录了,如果不需要密码就可以进入,则说明免密码配置成功。来源:CUUG官网
系统平台:Hadoop支持GUN/Linux系统,并推荐使用Linux作为开发测试和生产环境的平台,Win32仅支持开发测试环境,不推荐其作为生产环境系统,这里推荐直接使用GUN/Linux作为Hadoop的测试环境。
软件准备:jdk版本需要java1.6.x以上,安装jd后并配置JAVA_HOME环境变量,以及PATH环境变量,还需要ssh及rsync软件。对于ubuntu Linux发行版,使用以下命令进行
安装:
sudo apt-get install ssh
sudo apt-get install rsync
对于RedHat/CentOS使用以下命令进行安装:
sudo yum install ssh
sudo yum install rsync
由于Hadoop使用ssh协议来管理远程守护进程,因此还需要配置免密码登录,对于单机伪分布式使用以下命令进行操作:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
然后就可以使用ssh localhost命令来测试是否还需要密码才能登录了,如果不需要密码就可以进入,则说明免密码配置成功。来源:CUUG官网
相关文章推荐
- crontab运行shell脚本报sudo错误
- Post Views Options怎么设置,WP-PostViews的后台设置五步法详解
- Hadoop:MapReduce模型
- Hadoop:HDFS数据存储与切分
- 实时监控系统设计
- 怎样在Linux上录制你的终端操作及回放
- Linux上安装Qt-SDK
- Linux上使用Qt Creator进行C/C++开发
- openwrt之ubus命令行工具
- spark集群与spark HA高可用快速部署 spark研习第一季
- 实现网站(网页)跳转且可隐藏跳转后网址的代码
- MySQL高可用方案MHA部署
- 截获导航控制器系统返回按钮的点击pop及右滑pop事件
- Linux兴趣小组暑假留校第二次讲座总结
- WinServer 之 内网发布网站后端口映射外网访问
- shell快速迁移海量文件
- nginx安装
- ubuntu下安装配置部署zabbix——基于docker
- Linux下C结构体初始化[总结]
- 软件架构设计---基于鲁棒图进行设计