关于hadoop 配置文件的一些实验
2015-11-28 20:55
537 查看
机器配置如下,两台机器,nn2,nn2,搭建基于QJM的高可用集群,zk集群。
如果我在yarn-site.xml中配置的nodemanager的可用资源过少,其他配置如果不一致,那么就会造成提交的job,状态是Accepted,
但是一直是unassigned,没有资源可以分配,所以就不能running.
zookeeper自动切换active ,standby有问题的时候,可以强制手工切换主备。
以下命令是获取服务的状态与进行状态切换的命令。
yarn rmadmin -getServiceState rm1
yarn rmadmin -getServiceState rm2
hdfs haadmin -getServiceState nn1
hdfs haadmin -transitionToActive nn1 –forcemanual
这个指令并不会触发“fencing method”,所以不常用,我们通常使用"hdfs haadmin -failover"来切换Namenode状态。
hdfs haadmin –failover nn1 nn2
active state from nn1 to nn2
2.配置yarn-env.sh 使用jconsole监控nodemanager进程
近来发现某一台集群中的机器一直出现nodemanager的OOM,就尝试使用jconsole进行监控一下。
需要修改yarn-env.sh,改动如下:
YARN_OPTS="$YARN_OPTS -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=60001 -Djava.rmi.server.hostname=192.168.56.121"
YARN_OPTS="$YARN_OPTS -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false"
然后在windows上打开console,选择远程连接,填入:192.168.56.121:60001,确定即可。
![](http://images2015.cnblogs.com/blog/127267/201511/127267-20151128205427672-372943535.png)
如果我在yarn-site.xml中配置的nodemanager的可用资源过少,其他配置如果不一致,那么就会造成提交的job,状态是Accepted,
但是一直是unassigned,没有资源可以分配,所以就不能running.
zookeeper自动切换active ,standby有问题的时候,可以强制手工切换主备。
以下命令是获取服务的状态与进行状态切换的命令。
yarn rmadmin -getServiceState rm1
yarn rmadmin -getServiceState rm2
hdfs haadmin -getServiceState nn1
hdfs haadmin -transitionToActive nn1 –forcemanual
这个指令并不会触发“fencing method”,所以不常用,我们通常使用"hdfs haadmin -failover"来切换Namenode状态。
hdfs haadmin –failover nn1 nn2
active state from nn1 to nn2
2.配置yarn-env.sh 使用jconsole监控nodemanager进程
近来发现某一台集群中的机器一直出现nodemanager的OOM,就尝试使用jconsole进行监控一下。
需要修改yarn-env.sh,改动如下:
YARN_OPTS="$YARN_OPTS -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=60001 -Djava.rmi.server.hostname=192.168.56.121"
YARN_OPTS="$YARN_OPTS -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false"
然后在windows上打开console,选择远程连接,填入:192.168.56.121:60001,确定即可。
![](http://images2015.cnblogs.com/blog/127267/201511/127267-20151128205427672-372943535.png)
相关文章推荐
- Shell学习笔记 - 循环语句
- Opencv人头跟踪检测
- Linux之——基础命令
- Docker镜像
- Cassandra监控 - OpsCenter手册
- 手动安装liberty版本openstack环境(allinone)---安装cinder
- Nginx配置
- Apache Stratos探究:Apache Stratos 4.1.x 的架构
- opencv的KeyPoint
- Nginx安装--2015.11.27
- Linux系统下Qt动态库的生成已经动态库的使用实例图解
- [Hadoop]HDFS shell命令
- centos7下使用yum安装mysql
- CentOS修改系统时间
- OpenCV3.0+CodeBlocks13.12环境配置
- 配置openmesh总是出现error LNK2019: 无法解析的外部符号此类问题的解决办法
- Hadoop 2.6.0动态添加节点
- Hadoop 2.6.0动态添加节点
- OpenFlow消息
- OpenGL模型视图变换、投影变换、视口变换(转载)