您的位置:首页 > 运维架构

hadoop运营管理岩机,坏块,负载均衡

2016-01-06 15:59 309 查看
我们在企业中很容易遇到以下问题:岩机(重启无效),坏块,负载均衡。岩机,其实很简单,我们把那个进程杀死就是了。坏块怎么办,hadoop修复坏块的能力很慢,我们要等他自己修复吗???NO!!!hadoop fsck / -delete ,这个命令删除坏块。负载均衡呢,其实很多人说,可以把blanacer服务打开,可是这是对于集群而言,要是我说的负载均衡是指一个服务器内两块磁盘的负载均衡,如何???将对应的/data/hadoop/dn/current/下的块文件移到占用率少的磁盘对应的文件夹下。

1、Namenode岩机处理:重启集群无法恢复的情况下

Hadoop job -kill job_201305091253_31926

2、坏Block解决方式

Namenode日志:The reported blocks 211655 needs additional 4687 blocks to reach the threshold 0.9990 of total blocks 216559.

Safe mode will be turned off automatically.

状态始终在safe mode模式

hadoop fsck / -delete 删除坏块

3、单机存储均衡解决办法

可以把blanacer服务打开,可是这是对于集群而言,要是我说的负载均衡是指一个服务器内两块磁盘的负载均衡,如何???将对应的/data/hadoop/dn/current/下的块文件移到占用率少的磁盘对应的文件夹下。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: