Hadoop中namenode/secondarynamenode/yarn的一些配置
2016-12-08 14:42
543 查看
版权属于: Postbird - There
I am , in the world more exciting!
原文地址: http://www.ptbird.cn/hadoop-configure-more.html
转载时必须以链接形式注明原始出处及本声明。
Hadoop在进行namenode -format的前(伪分布)一般会选择默认的配置,除了指定备份和tmp目录。
还有一些其他的配置在真正集群的时候也是一定要进行配置的。
简单记录一下hadoop的主要配置文件中core-site.xml / hdfs-site.xml /mapred-site.xml/ yarn-site.xml的配置。
真实环境是需要指定域名而不能是localhost
dfs.replication 是备份块数,这台机器我是伪分布安装的,就给了1块
permissions是权限检查,应该true
namenode.http-address : namenode的web地址
namenode.secondary.httpaddress : secondary namenode 的web地址
namenode.name.dir : 指定namenode的数据存储的本地目录,默认是在tmp下的一个文件夹,单独拿出来
namenode.name.edits : 同样的道理
checkpoint就是secondary namenode的数据存储本地目录和日志目录。
配置resourcemanager的hostname
配置jobhistory的address
配置webapp的address
将slaves中的主机名改成 hadoop-yarn.ptbird.cn 而不是localhost,因为上面配置都是使用的这个地址。
如果已经format,重新配置后为了省去麻烦,再次format的时候,最好删除掉之前/data/dfs/的内容,否则即使format成功了,很多服务也起不来。
最常见的问题是datanode起不来,因为clusterId已经记录过了,再次format会产生新的clusterId。
最好的做法是:
删除/data/dfs/*后,重启,然后再次format。
I am , in the world more exciting!
原文地址: http://www.ptbird.cn/hadoop-configure-more.html
转载时必须以链接形式注明原始出处及本声明。
Hadoop在进行namenode -format的前(伪分布)一般会选择默认的配置,除了指定备份和tmp目录。
还有一些其他的配置在真正集群的时候也是一定要进行配置的。
简单记录一下hadoop的主要配置文件中core-site.xml / hdfs-site.xml /mapred-site.xml/ yarn-site.xml的配置。
一、core-site.xml
真实环境是需要指定域名而不能是localhost
二、hdfs-site.xml
dfs.replication 是备份块数,这台机器我是伪分布安装的,就给了1块permissions是权限检查,应该true
namenode.http-address : namenode的web地址
namenode.secondary.httpaddress : secondary namenode 的web地址
namenode.name.dir : 指定namenode的数据存储的本地目录,默认是在tmp下的一个文件夹,单独拿出来
namenode.name.edits : 同样的道理
checkpoint就是secondary namenode的数据存储本地目录和日志目录。
三、yarn-site.xml
配置resourcemanager的hostname配置jobhistory的address
配置webapp的address
四、slaves
将slaves中的主机名改成 hadoop-yarn.ptbird.cn 而不是localhost,因为上面配置都是使用的这个地址。
五、注意的问题
如果已经format,重新配置后为了省去麻烦,再次format的时候,最好删除掉之前/data/dfs/的内容,否则即使format成功了,很多服务也起不来。最常见的问题是datanode起不来,因为clusterId已经记录过了,再次format会产生新的clusterId。
最好的做法是:
删除/data/dfs/*后,重启,然后再次format。
相关文章推荐
- hadoop 配置文件 masters 以及 namenode, jobtracker, secondary namenode
- hadoop2.X配置SecondaryNameNode
- 配置hadoop2.X的namenode HA及Yarn HA
- 【大数据系列】在hadoop2.8.0下配置SecondaryNameNode
- hadoop配置 - 启动backupNode和SecondaryNamenode
- Hadoop+Zookeeper+NameNode(HA)+ResourceManager(HA)自动切换 配置
- hadoop之NameNode,DataNode,Secondary NameNode
- hadoop Secondary NameNode作用
- 单独配置secondarynamenode
- CHD4B1(hadoop-0.23)实现NameNode HA安装配置
- Hadoop学习笔记(老版本,YARN之前),MapReduce任务Namenode DataNode Jobtracker Tasktracker之间的关系
- hadoop secondarynamenode的作用
- hadoop secondarynamenode的作用
- Hadoop2.7.1配置NameNode+ResourceManager高可用原理分析
- ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint
- Hadoop SecondaryNameNode
- hadoop介绍 - Hadoop secondarynamenode concept
- CHD4B1(hadoop-0.23)实现NameNode HA安装配置
- CentOS hadoop配置错误Incorrect configuration: namenode address dfs.namenode.servicerpc-address ...
- CHD4B1(hadoop-0.23)实现NameNode HA安装配置