hadoop源码解读三
2017-11-12 23:51
197 查看
接着上一篇,来探寻一下hadoop中的Configuration类;
在第一次wordcount中我们都看到了使用这个类创建的对象,然后各种配置;其实本质上这个配置是在加载资源,配置信息参数;
在windows中我们都用过的ini结尾的文件,比如mysql的my.ini文件,就直接使用的是键值对,xx=xxx,key=value;
当然我们也在hadoop中配置了n个xml,配置了各种信息,在我理解其实都是经过加载配置文件来初始化软件的,mysql如此,hadoop也如此;
(当然后续的设置参数也是有的)
通过加载这些配置文件然后进行解析读取就可以应用到软件上了;java实现了java.util.Properties来加载配置文件,加载属性集,而在此中加载属性本质上还是通过key找value;
;
hadoop实现了自己的一套API来处理配置信息;
根元素是Configuration,资源素property,property元素是一个配置项,配置文件不支持分层或者分级,一般包括属性键key,值value,描述description
还可以有final来确定此元素固定不变,不可覆盖;
hadoop配置系统还有属性扩展,类似于shell的变量,比如定义了属性hadoop.tmp.dir为/usr/local/hadoop/tmp,则可以直接使用
${hadoop.tmp.dir}来代替该变量,其他地方使用的时候可以直接使用这个来代替,当然也可以嵌套,这个变量中如果有其他的替代,比如
当hadoop.tmp.dir定义为${tmp}/hadoop,使用${hadoop.tmp.dir}时就会去寻找${tmp}的对应值;
当然属性扩展是有一定次数的,防止嵌套时产生死循环;一般是20次,Configuration对象中的静态成员变量MAX_SUBST来限定最大次数;
使用Configuration类的一般过程是构造Configuration对象,并通过类中的addResource()方法来添加需要加载的资源,然后就可以使用get和set方法来设置访问配置项;
资源会在第一次使用的时候自动加载到对象中,在构造函数里有调用这个方法;
在Configuration类中有quietmode:boolean,reaources:Array List<Object>
finalParameters:Set<String>
LoadDefaults:boolean
defaultResources:ArrayList<String>
properties:Properties
overlay:propertles
classLoader:ClassLoader
这些变量;
quietmode是用来设置加载模配置的模式,如果quietmode为true(默认值),则在加载解析配置文件的过程中,不输出日志信息;
resources保存了所有通过addResource方法添加Configuration对象的资源;
Configuration.add resource()有重载的参数InputStream in | Path file | String name(classpath资源) | URL url
loadDefaults用来确定是否加载默认资源,这些资源保存在defaultResources中,defaultResources是一个静态成员变量;通过方法addDefaultResource()来添加默认资源;
在hdfs中会把hdfs-default.xml和hdfs-site.xml作为默认资源,MR中则时mapred-default.xml和mapredsite.xml;
properties用来装解析完的配置文件的键值对,finalProperties则是Set<String>用来装final值的键,overlay则是记录通过set方法改变的配置;
classLoader是一个类加载器变量,用来加载指定类,也可以通过他加载相关资源,比如classpath中的资源;
而且当使用了方法加载了所有的配置之后,并不是直接就进行加载资源,而是将所有的properties和finalProperties清空,然后进行延迟加载
当运行使用的时候才会进行加载,当properties中某个参数为空的时候还会触发重新加载,加载时实现了个解析dom的工厂,创建了个解析器,然后解析赋值;
其中的get是通过key来找到值,set是set(String name,String value);
一个类如果实现了configurable接口,则这个类是可配置的;
在第一次wordcount中我们都看到了使用这个类创建的对象,然后各种配置;其实本质上这个配置是在加载资源,配置信息参数;
在windows中我们都用过的ini结尾的文件,比如mysql的my.ini文件,就直接使用的是键值对,xx=xxx,key=value;
当然我们也在hadoop中配置了n个xml,配置了各种信息,在我理解其实都是经过加载配置文件来初始化软件的,mysql如此,hadoop也如此;
(当然后续的设置参数也是有的)
通过加载这些配置文件然后进行解析读取就可以应用到软件上了;java实现了java.util.Properties来加载配置文件,加载属性集,而在此中加载属性本质上还是通过key找value;
;
hadoop实现了自己的一套API来处理配置信息;
根元素是Configuration,资源素property,property元素是一个配置项,配置文件不支持分层或者分级,一般包括属性键key,值value,描述description
还可以有final来确定此元素固定不变,不可覆盖;
hadoop配置系统还有属性扩展,类似于shell的变量,比如定义了属性hadoop.tmp.dir为/usr/local/hadoop/tmp,则可以直接使用
${hadoop.tmp.dir}来代替该变量,其他地方使用的时候可以直接使用这个来代替,当然也可以嵌套,这个变量中如果有其他的替代,比如
当hadoop.tmp.dir定义为${tmp}/hadoop,使用${hadoop.tmp.dir}时就会去寻找${tmp}的对应值;
当然属性扩展是有一定次数的,防止嵌套时产生死循环;一般是20次,Configuration对象中的静态成员变量MAX_SUBST来限定最大次数;
使用Configuration类的一般过程是构造Configuration对象,并通过类中的addResource()方法来添加需要加载的资源,然后就可以使用get和set方法来设置访问配置项;
资源会在第一次使用的时候自动加载到对象中,在构造函数里有调用这个方法;
在Configuration类中有quietmode:boolean,reaources:Array List<Object>
finalParameters:Set<String>
LoadDefaults:boolean
defaultResources:ArrayList<String>
properties:Properties
overlay:propertles
classLoader:ClassLoader
这些变量;
quietmode是用来设置加载模配置的模式,如果quietmode为true(默认值),则在加载解析配置文件的过程中,不输出日志信息;
resources保存了所有通过addResource方法添加Configuration对象的资源;
Configuration.add resource()有重载的参数InputStream in | Path file | String name(classpath资源) | URL url
loadDefaults用来确定是否加载默认资源,这些资源保存在defaultResources中,defaultResources是一个静态成员变量;通过方法addDefaultResource()来添加默认资源;
在hdfs中会把hdfs-default.xml和hdfs-site.xml作为默认资源,MR中则时mapred-default.xml和mapredsite.xml;
properties用来装解析完的配置文件的键值对,finalProperties则是Set<String>用来装final值的键,overlay则是记录通过set方法改变的配置;
classLoader是一个类加载器变量,用来加载指定类,也可以通过他加载相关资源,比如classpath中的资源;
而且当使用了方法加载了所有的配置之后,并不是直接就进行加载资源,而是将所有的properties和finalProperties清空,然后进行延迟加载
当运行使用的时候才会进行加载,当properties中某个参数为空的时候还会触发重新加载,加载时实现了个解析dom的工厂,创建了个解析器,然后解析赋值;
其中的get是通过key来找到值,set是set(String name,String value);
一个类如果实现了configurable接口,则这个类是可配置的;
相关文章推荐
- hadoop源码的简单解读
- (转)Java并发编程总结---Hadoop核心源码实例解读
- [Hadoop源码解读](四)MapReduce篇之Counter相关类
- [Hadoop源码解读](三)MapReduce篇之Job类
- hadoop源码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置
- org.apache.hadoop.io.compress源码解读
- [Hadoop源码解读](一)MapReduce篇之InputFormat
- [Hadoop源码解读](四)MapReduce篇之Counter相关类
- [Hadoop源码解读](一)MapReduce篇之InputFormat<转>
- [Hadoop源码解读](二)MapReduce篇之Mapper类
- [Hadoop源码解读](二)MapReduce篇之Mapper类(转)
- [Hadoop源码解读](四)MapReduce篇之Counter相关类
- [Hadoop源码解读](五)MapReduce篇之Writable相关类
- [Hadoop源码解读](二)MapReduce篇之Mapper类<转>
- [Hadoop源码解读](二)MapReduce篇之Mapper类
- 【转】[Hadoop源码解读]【IO专题】
- hadoop源码详细解读1——类Storage
- [Hadoop源码解读](三)MapReduce篇之Job类<转>
- [Hadoop源码解读](一)MapReduce篇之InputFormat
- [Hadoop源码解读](二)MapReduce篇之Mapper类