hadoop配置文件及常用配置

在安装完hadoop后，配置文件保存在etc/hadoop/下，通常需要我们做修改。

- core-site.xml 全局配置

- hadoop-site.xml

- yarn-site.xml

- mapred-site.xml

可以参看hadoop文档下的默认配置修改



常用的修改如下：

core-site.xml

namenode RPC 端口，域名设置(..*=hostname)

<property>
<name>fs.defaultFS</name>
<value>hdfs://***.***.***:8020</value>
</property>

默认临时目录设置，默认为/tmp/hadoop-${user.name}

<property>
<name>hadoop.tmp.dir</name>
<value>/opt/datas/tmp</value>
</property>

HDFS WEB UI显示的用户名，默认为df.who

<property>
<name>hadoop.http.staticuser.user</name>
<value>lufy</value>
</property>

hdfs-site.xml

文件复制的副本数，默认为3

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

权限控制

<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>

yarn-site.xml

主机名

<property>
<name>yarn.resourcemanager.hostname</name>
<value>***.***.com</value>
</property>

增加应用服务

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

日志聚集，默认false, -1

<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>100086</value>
</property>

编辑slaves

hadoop.beifeng.com

编辑mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

格式化文件系统

$ bin/hadoop namenode -format

启动守护进程

ssh无法连接slave节点。 需要配置ssh

- namenode,datanode



-resourcemanger, nodemanager

进入WEBUI界面

http://..com:8088/cluster

http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html