Hadoop之历史服务器与日志聚合和文件权限
2017-11-15 16:09
351 查看
1、[b]历史服务器是一个轻量级的[/b]
2、 配置mapred-site.xml文件,指定两个参数
<property>
<name>mapreduce.jobhistory.address</name>
<value>bigdata-01.yushu.com:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bigdata-01.yushu.com:19888</value>
</property>
3、启动:
$ sbin/mr-jobhistory-daemon.sh start historyserver
4、mapreduce.jobhistory.intermediate-done-dir
-》存放正在运行的Hadoop的作业记录
mapreduce.jobhistory.done-dir
-》存放已经完成的Hadoop的作业目录
-》由于历史服务作业记录很多,所以存储的形式是按照年/月/日形式存放在对应的目录中,便于查找和管理
日志聚合
![](https://img-blog.csdn.net/20171115162810919?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd2VpeGluXzQwNjUyMzQw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
1、MR允许时候产生的日志文件上传到HDFS对应的目录中
2、然后就可以从页面查看日志内容,直接读取HDFS上存储的数据
3、修改yarn-site.xml文件,指定开启聚合功能以及日志在HDFS上保存期限,秒:单位
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>106800</value>
</property>
HDFS的文件权限检测
1、HDFS的文件目录权限和Linux是完全一致的
2、修改hdfs-site.xml文件,指定默认不检测用户权限
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
3、指定Hadoop的http静态用户名,可配置项,随意
<property>
<name>hadoop.http.staticuser.user</name>
<value>ds</value>
</property>
4、配置完历史服务器和聚合之后需要重启HDFS和yarn的所有进程,生效
sbin/hadoop-daemon.sh stop namenode
sbin/hadoop-daemon.sh stop datanode
sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager
sbin/hadoop-daemon.sh stop secondarynamenode
sbin/mr-jobhistory-daemon.sh stop historyserver
--------------关闭服务-------------------------------
--------------启动服务-------------------------------
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver
5、注意先启动HDFS再启动yarn
6、yarn.nodemanager.remote-app-log-dir代表日志转移到HDFS上的目录路径
-》默认路径/tmp/logs
-》可以用户自定义
-》对应到yarn-site.xml
2、 配置mapred-site.xml文件,指定两个参数
<property>
<name>mapreduce.jobhistory.address</name>
<value>bigdata-01.yushu.com:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bigdata-01.yushu.com:19888</value>
</property>
3、启动:
$ sbin/mr-jobhistory-daemon.sh start historyserver
4、mapreduce.jobhistory.intermediate-done-dir
-》存放正在运行的Hadoop的作业记录
mapreduce.jobhistory.done-dir
-》存放已经完成的Hadoop的作业目录
-》由于历史服务作业记录很多,所以存储的形式是按照年/月/日形式存放在对应的目录中,便于查找和管理
日志聚合
1、MR允许时候产生的日志文件上传到HDFS对应的目录中
2、然后就可以从页面查看日志内容,直接读取HDFS上存储的数据
3、修改yarn-site.xml文件,指定开启聚合功能以及日志在HDFS上保存期限,秒:单位
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>106800</value>
</property>
HDFS的文件权限检测
1、HDFS的文件目录权限和Linux是完全一致的
2、修改hdfs-site.xml文件,指定默认不检测用户权限
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
3、指定Hadoop的http静态用户名,可配置项,随意
<property>
<name>hadoop.http.staticuser.user</name>
<value>ds</value>
</property>
4、配置完历史服务器和聚合之后需要重启HDFS和yarn的所有进程,生效
sbin/hadoop-daemon.sh stop namenode
sbin/hadoop-daemon.sh stop datanode
sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager
sbin/hadoop-daemon.sh stop secondarynamenode
sbin/mr-jobhistory-daemon.sh stop historyserver
--------------关闭服务-------------------------------
--------------启动服务-------------------------------
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver
5、注意先启动HDFS再启动yarn
6、yarn.nodemanager.remote-app-log-dir代表日志转移到HDFS上的目录路径
-》默认路径/tmp/logs
-》可以用户自定义
-》对应到yarn-site.xml
相关文章推荐
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限
- Hadoop之历史服务器与日志聚合和文件权限