hadoop安装集群完毕
2012-05-05 23:50
267 查看
今天经过一天的努力 终于将hadoop集群搭建完毕
一共三台机器 一台namenode 两台datanode
其中一台datanode 是jobtracker和tasktracker 另一台datanode是tasktracker
其中参考了文章 http://blog.csdn.net/lee_leefox/article/details/7071692
和hadoop官方文档和同事搭建的例子
安装过程中也遇到很多问题
1.ssh 无法连接本地
通过咨询运维同学 通过修改/etc/ssh/sshd_config文件
加入allowuser 后解决
2.技巧
参考了一篇文章,建议给所有机器都起名字
如namenode,datanode1,datanode2
不要用hadoop1 hadoop2这样久了不容易记清楚的名字
3.启动hadoop时 先启动namenode 再启动jobtracker
停止时顺序相反.
注意的是,要在namenode 上启动 hdfs
bin/start-dfs.sh
在jobtracker上启动mapreduce
bin/start-mapred.sh
一共三台机器 一台namenode 两台datanode
其中一台datanode 是jobtracker和tasktracker 另一台datanode是tasktracker
其中参考了文章 http://blog.csdn.net/lee_leefox/article/details/7071692
和hadoop官方文档和同事搭建的例子
安装过程中也遇到很多问题
1.ssh 无法连接本地
通过咨询运维同学 通过修改/etc/ssh/sshd_config文件
加入allowuser 后解决
2.技巧
参考了一篇文章,建议给所有机器都起名字
如namenode,datanode1,datanode2
不要用hadoop1 hadoop2这样久了不容易记清楚的名字
3.启动hadoop时 先启动namenode 再启动jobtracker
停止时顺序相反.
注意的是,要在namenode 上启动 hdfs
bin/start-dfs.sh
在jobtracker上启动mapreduce
bin/start-mapred.sh
相关文章推荐
- 集群安装完毕,该如何测试和使用集群-hadoop单机(伪分布)
- 完整 安装配置 hadoop 集群
- hadoop集群安装无密码登录
- Hadoop集群安装-CDH5(3台服务器集群)
- hadoop集群安装故障解决
- 安装hadoop1.2.1集群环境
- hadoop集群搭建之三(Hbase、zookeeper安装)
- 搭建Hbase集群(1) Hadoop的安装
- Ganglia监控Hadoop集群的安装部署
- hadoop集群安装与配置
- Ganglia监控Hadoop集群的安装部署
- 第114讲:Hadoop集群安装解析学习笔记
- Hadoop2.6分布式集群安装配置
- apache kylin2.10在原生hadoop集群上安装
- Ambari在离线环境中安装Hadoop集群
- Hadoop集群_Hadoop安装配置
- 基于集群的Hadoop HBase安装与配置
- 高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南
- hadoop集群安装与配置--hadoop自动化安装脚本
- hadoop1.2.1+zookeeper-3.4.5+hbase-0.94.1集群安装