hadoop运营管理岩机,坏块,负载均衡
2016-01-06 15:59
309 查看
我们在企业中很容易遇到以下问题:岩机(重启无效),坏块,负载均衡。岩机,其实很简单,我们把那个进程杀死就是了。坏块怎么办,hadoop修复坏块的能力很慢,我们要等他自己修复吗???NO!!!hadoop fsck / -delete ,这个命令删除坏块。负载均衡呢,其实很多人说,可以把blanacer服务打开,可是这是对于集群而言,要是我说的负载均衡是指一个服务器内两块磁盘的负载均衡,如何???将对应的/data/hadoop/dn/current/下的块文件移到占用率少的磁盘对应的文件夹下。
1、Namenode岩机处理:重启集群无法恢复的情况下
Hadoop job -kill job_201305091253_31926
2、坏Block解决方式
Namenode日志:The reported blocks 211655 needs additional 4687 blocks to reach the threshold 0.9990 of total blocks 216559.
Safe mode will be turned off automatically.
状态始终在safe mode模式
hadoop fsck / -delete 删除坏块
3、单机存储均衡解决办法
可以把blanacer服务打开,可是这是对于集群而言,要是我说的负载均衡是指一个服务器内两块磁盘的负载均衡,如何???将对应的/data/hadoop/dn/current/下的块文件移到占用率少的磁盘对应的文件夹下。
1、Namenode岩机处理:重启集群无法恢复的情况下
Hadoop job -kill job_201305091253_31926
2、坏Block解决方式
Namenode日志:The reported blocks 211655 needs additional 4687 blocks to reach the threshold 0.9990 of total blocks 216559.
Safe mode will be turned off automatically.
状态始终在safe mode模式
hadoop fsck / -delete 删除坏块
3、单机存储均衡解决办法
可以把blanacer服务打开,可是这是对于集群而言,要是我说的负载均衡是指一个服务器内两块磁盘的负载均衡,如何???将对应的/data/hadoop/dn/current/下的块文件移到占用率少的磁盘对应的文件夹下。
相关文章推荐
- centos 7的yum安装及rhel 7的yum源替换为centos 7的yum源
- 企业信息化技术架构展望
- Linux rz上传
- 学习鸟哥的Linux私房菜笔记(2)——基础指令
- Hadoop 50070端口无法打开的问题
- Solr5.4.0部署到Tomcat目录下
- BP算法浅谈(Error Back-propagation)
- 为自己的站点申请一个沃通免费SSL证书(2016最新版)
- awk手册
- openstack_juno_allinone_ubuntu的脚本文件
- 每天一个linux命令(60):scp命令
- python MySQLdb在windows及Linux环境下的快速安装
- linux 命令 —-— wc
- 维恩图在线制作网站
- Linux概念架构的理解
- Tomcat :一个简单的Servlet容器+Spring MVC响应流程
- 学习鸟哥的Linux私房菜笔记(1)——Linux系统入门
- 《转》OpenStack组件keystone与LDAP协议集成(OpenLDAP和Active Directory)
- Linux系统调用--getrusage函数详解
- HDU 4349 Xiao Ming's Hope 组合数学