2.hadoop配置信息处理
2015-12-11 11:06
344 查看
配置文件概念
一个灵活的系统不可缺少的一部分,虽然重要,却没有标准
windows上的配置文件:特殊化的ASCII文件(以”ini”为文件拓展名)
java配置文件:java.util.Properties类,用于处理简单的配置文件 k-v
Hadoop Configuration:采用XML格式
1.name、value、description、final
final作用与java中类似,表示:在合并资源的时候,可以防止配置项的值被覆盖
2.属性都是String类型,但是值是各种类型的:
getInt(“io.sort.factor”)返回值为整数10
3.core-default.xml和core-site.xml,通过Configuration类的loadResources()合并成一个配置文件:
Configuration conf=new Configuration();
conf.addResource(“core-default.xml”);
conf.addResource(“core-site.xml”);
如果两个配置文件包含了相同的配置项,切前一个没有标记final,那么后面的配置覆盖前面的配置
—----------->
构造Configuration对象,通过addResource()方法添加需要加载的资源;然后使用get*和set*方法访问和设置配置项
分析Configuration类
保存在defaultResource这个集合中的配置:
addDefaultResource静态方法调用
该类properties中的数据使用了延迟加载模式,当需要时加载进来,调用getProps()时:
XML配置文件解析
SAX解析:
提供了一种流式的,事件驱动的xml处理方式,编写处理逻辑比较复杂,比较适合处理大的xml文件
DOM解析:
首先将xml文件一次性装入内存,然后根据文档中定义的元素和属性在内存中创建一个“树形结构”,hadoop的xml文件很小,使用这种方式合适。
在loadResource(Properties pro,Object name,boolean quiet)中使用了dom解析:
Configurable接口
如果一个类实现了该接口,意味着这个类是可配置的,也就是说,可以通过这个类的对象传入一个Configuration实例,提供对象工作需要的一些配置信息。
ReflectionUtils的一个静态方法:
一个灵活的系统不可缺少的一部分,虽然重要,却没有标准
windows上的配置文件:特殊化的ASCII文件(以”ini”为文件拓展名)
java配置文件:java.util.Properties类,用于处理简单的配置文件 k-v
Hadoop Configuration:采用XML格式
1.name、value、description、final
final作用与java中类似,表示:在合并资源的时候,可以防止配置项的值被覆盖
2.属性都是String类型,但是值是各种类型的:
getInt(“io.sort.factor”)返回值为整数10
3.core-default.xml和core-site.xml,通过Configuration类的loadResources()合并成一个配置文件:
Configuration conf=new Configuration();
conf.addResource(“core-default.xml”);
conf.addResource(“core-site.xml”);
如果两个配置文件包含了相同的配置项,切前一个没有标记final,那么后面的配置覆盖前面的配置
—----------->
构造Configuration对象,通过addResource()方法添加需要加载的资源;然后使用get*和set*方法访问和设置配置项
分析Configuration类
保存在defaultResource这个集合中的配置:
addDefaultResource静态方法调用
该类properties中的数据使用了延迟加载模式,当需要时加载进来,调用getProps()时:
XML配置文件解析
SAX解析:
提供了一种流式的,事件驱动的xml处理方式,编写处理逻辑比较复杂,比较适合处理大的xml文件
DOM解析:
首先将xml文件一次性装入内存,然后根据文档中定义的元素和属性在内存中创建一个“树形结构”,hadoop的xml文件很小,使用这种方式合适。
在loadResource(Properties pro,Object name,boolean quiet)中使用了dom解析:
Configurable接口
如果一个类实现了该接口,意味着这个类是可配置的,也就是说,可以通过这个类的对象传入一个Configuration实例,提供对象工作需要的一些配置信息。
ReflectionUtils的一个静态方法:
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- 如何重装TCP/IP协议
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- Windows 8 官方高清壁纸欣赏与下载
- 谁是桌面王者?Win PK Linux三大镇山之宝
- 对《大家都在点赞 Windows Terminal,我决定给你泼一盆冷水》一文的商榷
- Windows Clang开发环境备忘
- 从Windows系统下访问Linux分区相关软件
- 对《大家都在点赞 Windows Terminal,我决定给你泼一盆冷水》一文的商榷
- Windows下搭建本地SVN服务器
- 单机版搭建Hadoop环境图文教程详解
- Visual Studio 2012 示例代码浏览器 - 数以千计的开发示例近在手边,唾手可得
- Visual Studio 2012 示例代码浏览器 - 数以千计的开发示例近在手边,唾手可得
- 微软镜像下载
- windows server域用户提升到本地更高权限组中的方法
- 使用命令修改注册表键值及权限
- 通过手机、电脑远程开关机,Windows和linux机手机,电脑相互控制