hadoop_1_完全分布式
2016-04-01 15:42
309 查看
设置清空快捷键
echo "alias cls=clear" >> .bashrc
http://192.168.174.40:50070/dfshealth.html#tab-overview
完全分布式
namenode的主要功能就是接收客户端的请求
1 检查java
2 检查时间
yum -y install ntp.x86_64
3 找一台机子为启动脚本的机器,
sbin/stop-dfs.sh 命令时,此机子通过远程登录的方式去启动其他服务器的所应该启动的脚本
4 免登录命令
(所有服务都执行这条命令,建立.ssh文件夹)$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
scp /etc/hosts root@hadoop-node4:/etc/(拷贝本机地址映射文件)
5 vi ~/.bash_profile(编辑环境变量的目的是,随地可用hadoop命令)
scp ~/.bash_profile root@hadoop-node2:/root/
6 搭建hadoop环境 修改配置文件
vim core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-node1:9000</value>(namenode 客户端入口)
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.5.1</value>
</property>
vim hdfs-site.xml
secondNameNode
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop-node2:50090</value>
</property>
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>hadoop-node2:50091</value>
</property>
vim masters 配置 secondNameNode主机名
hadoop-node2
vim slaves 配置 dataNode 主机名
hadoop-node2
hadoop-node3
hadoop-node4
7 hadoop配置文件配置完成
复制到其他服务器上
8 开始启动
1 在namenode上格式化,其他服务器上不用
hdfs namenode -format (做了2件事 1创建了我们的配置的 /opt/下的文件 2创建
了fsimage文件 )
2 启动
start-dfs.sh (stop-dfs.sh)
web浏览器的监控页面为http协议 端口为 50070
上传下载为 rpc协议
上传命令 hdfs dfs -put tengine-2.1.0.tar.gz /
注意 hdfs文件系统和 hsfs文件系统是两个不同文件系统
给 / 目录授权 hdfs dfs -chmod -R 777 /,注意 hadoop没有用户的概念
echo "alias cls=clear" >> .bashrc
http://192.168.174.40:50070/dfshealth.html#tab-overview
完全分布式
namenode的主要功能就是接收客户端的请求
1 检查java
2 检查时间
yum -y install ntp.x86_64
3 找一台机子为启动脚本的机器,
sbin/stop-dfs.sh 命令时,此机子通过远程登录的方式去启动其他服务器的所应该启动的脚本
4 免登录命令
(所有服务都执行这条命令,建立.ssh文件夹)$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
scp /etc/hosts root@hadoop-node4:/etc/(拷贝本机地址映射文件)
5 vi ~/.bash_profile(编辑环境变量的目的是,随地可用hadoop命令)
scp ~/.bash_profile root@hadoop-node2:/root/
6 搭建hadoop环境 修改配置文件
vim core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-node1:9000</value>(namenode 客户端入口)
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.5.1</value>
</property>
vim hdfs-site.xml
secondNameNode
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop-node2:50090</value>
</property>
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>hadoop-node2:50091</value>
</property>
vim masters 配置 secondNameNode主机名
hadoop-node2
vim slaves 配置 dataNode 主机名
hadoop-node2
hadoop-node3
hadoop-node4
7 hadoop配置文件配置完成
复制到其他服务器上
8 开始启动
1 在namenode上格式化,其他服务器上不用
hdfs namenode -format (做了2件事 1创建了我们的配置的 /opt/下的文件 2创建
了fsimage文件 )
2 启动
start-dfs.sh (stop-dfs.sh)
web浏览器的监控页面为http协议 端口为 50070
上传下载为 rpc协议
上传命令 hdfs dfs -put tengine-2.1.0.tar.gz /
注意 hdfs文件系统和 hsfs文件系统是两个不同文件系统
给 / 目录授权 hdfs dfs -chmod -R 777 /,注意 hadoop没有用户的概念
相关文章推荐
- 网站收集
- 五步教你实现使用Nginx+uWSGI+Django方法部署Django程序
- Linux下让进程在后台可靠运行的几种方法(nohup/&)和前后台运行程序切换
- 使用本地JConsole监控远程JVM
- 初入linux世界
- 交叉编译openssl-1.0.0e
- linux HTB 队列限速
- shell文本处理
- Ecshop错误大汇总
- Opencv 学习笔记之——鼠标操作画出感兴趣区域
- Tomcat发布多个项目时抛的webAppRootKey错误
- linux权限集中管理和行为日志审计
- apache禁止公网IP访问的配置
- CentOS 7 基础配置与安装Webmin
- ubuntu 14.04 编译安装 nginx
- adb shell中设置android系统内部环境变量!
- Linux 同步方法剖析--内核原子,自旋锁和互斥锁
- linux内核——进程管理
- Django Nginx+uwsgi 安装配置
- apache RewriteRule