您的位置：首页 > 编程语言

【框架解析】Hadoop系统分析(二)--代码模块汇总

2012-08-02 22:27 246 查看
查看Hadoop的源码包，主要分为以下几个模块:

core

package作用sub-package
org.apache.hadoop.conf读取及解析配置文件
org.apache.hadoop.fs支持各种文件系统数据操作以及处理文件系统权限org.apache.hadoop.fs.ftp,

org.apache.hadoop.fs.kfs,

org.apache.hadoop.fs.permission,

org.apache.hadoop.fs.s3,

org.apache.hadoop.fs.s3native,

org.apache.hadoop.fs.shell
org.apache.hadoop.http启动Jetty服务器用来接收http请求org.apache.hadoop.http.lib
org.apache.hadoop.io负责对象的序列化，输入输出，压缩格式等等org.apache.hadoop.io.compress,

org.apache.hadoop.io.compress.bzip2,

org.apache.hadoop.io.zlib,

org.apache.hadoop.io.file.tfile,

org.apache.hadoop.io.nativeio,

org.apache.hadoop.io.retry,

org.apache.hadoop.io.serializer
org.apache.hadoop.ipc实现hadoop集群的rpc接口，提供rpc的服务器端、客户端类org.apache.hadoop.ipc.metrics
org.apache.hadoop.log日志统计相关类org.apache.hadoop.log.metrics
org.apache.hadoop.metrics

org.apache.hadoop.metrics2 		统计指标相关类，用来支持集群的性能监控org.apache.hadoop.metrics.file,

org.apache.hadoop.metrics.ganglia,

org.apache.hadoop.metrics.jvm,

org.apache.hadoop.metrics.spi,

org.apache.hadoop.metrics.util,

org.apache.hadoop.metrics2.filter,

org.apache.hadoop.metrics2.impl,

org.apache.hadoop.metrics2.lib,

org.apache.hadoop.metrics2.sink,

org.apache.hadoop.metrics2.sink.ganglia,

org.apache.hadoop.metrics2.source,

org.apache.hadoop.metrics2.util
org.apache.hadoop.net提供网络服务的支持
org.apache.hadoop.record处理对输入输出的数据记录的支持org.apache.hadoop.record.compiler,

org.apache.hadoop.record.compiler.ant,

org.apache.hadoop.record.compiler.generated,

org.apache.hadoop.record.meta
org.apache.hadoop.security处理hadoop集群的安全认证支持org.apache.hadoop.security.authentication.client,

org.apache.hadoop.security.authentication.server,

org.apache.hadoop.security.authentication.util,

org.apache.hadoop.security.authorize,

org.apache.hadoop.security.token,

org.apache.hadoop.security.token.delegation
org.apache.hadoop.util工具包org.apache.hadoop.util.bloom,

org.apache.hadoop.util.hash
hdfs

package作用sub-package
org.apache.hadoop.hdfs提供分布式文件系统基本类，如文件系统、客户端等
org.apache.hadoop.hdfs.protocolhdfs基础对象，如数据块、客户端传输协议、分布式文件信息等
org.apache.hadoop.hdfs.securitytoken的管理与使用，包括代理token和块tokenorg.apache.hadoop.hdfs.security.token.block,

org.apache.hadoop.hdfs.security.token.delegation
org.apache.hadoop.hdfs.server服务器运转，包括namenode与datanodeorg.apache.hadoop.hdfs.server.balancer,

org.apache.hadoop.hdfs.server.common,

org.apache.hadoop.hdfs.server.datanode,

org.apache.hadoop.hdfs.server.datanode.metrics,

org.apache.hadoop.hdfs.server.datanode.web.resources,

org.apache.hadoop.hdfs.server.namenode,

org.apache.hadoop.hdfs.server.namenode.metrics,

org.apache.hadoop.hdfs.server.namenode.web.resources,

org.apache.hadoop.hdfs.server.protocol
org.apache.hadoop.hdfs.tools辅助工具
org.apache.hadoop.hdfs.util 工具类
org.apache.hadoop.hdfs.web提供web访问支持
mapred

package作用sub-package
org.apache.hadoop.filecache分布式cache
org.apache.hadoop.mapred进行job的分布式计算（兼容0.20.2以前版本）
org.apache.hadoop.mapred.jobcontrol用来控制job执行的顺序（兼容0.20.2以前版本）
org.apache.hadoop.mapred.join辅助进行join操作（兼容0.20.2以前版本）
org.apache.hadoop.mapred.lib提供lib供编写mr计算使用，如outputformat,inputformat,mapper,reducer等（兼容0.20.2以前版本）org.apache.hadoop.mapred.lib.aggregate,

org.apache.hadoop.mapred.lib.db
org.apache.hadoop.mapred.pipes使用pipe方式进行计算（兼容0.20.2以前版本）
org.apache.hadoop.mapred.tools提供管理工具MRAdmin来管理任务（兼容0.20.2以前版本）
org.apache.hadoop.mapreduce进行job分布式计算(0.20.2及以后版本)
org.apache.hadoop.mapreduce.lib提供常用lib供编写mr计算使用org.apache.hadoop.mapreduce.lib.input,

org.apache.hadoop.mapreduce.lib.map,

org.apache.hadoop.mapreduce.lib.output,

org.apache.hadoop.mapreduce.lib.partition,

org.apache.hadoop.mapreduce.lib.reduce
org.apache.hadoop.mapreduce.security处理job使用的tokenorg.apache.hadoop.mapreduce.security.token,

org.apache.hadoop.mapreduce.security.token.delegatio
org.apache.hadoop.mapreduce.server提供jobtracker与tasktracker的服务org.apache.hadoop.mapreduce.server.jobtracker,

org.apache.hadoop.mapreduce.server.tasktracker,

org.apache.hadoop.mapreduce.server.tasktracker.userlogs
org.apache.hadoop.mapreduce.split进行任务分片
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签： 
相关文章推荐
新的分享
章节导航