hadoop-1

hadoop-env.sh进行配置

1. core.site.xml : 配置namenode相关的主机和端口
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
2.mapred.site.xml : 配置JobTracker的主机和端口
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
hadoop2支持第三方 MapReduce 开发框架以支持如 SmartTalk/DGSG 等非 Yarn 架构，
注意通常情况下这个配置的值都设置为 Yarn，如果没有配置这项，那么提交的 Yarn job 只会运行在 locale 模式，
而不是分布式模式.
3.slave : 配置DataNode 和 TaskTracker 的信息

4.hdfs.site.xml : 配置HDFS 的相关信息

1. start-all.sh : 只在master节点上运行，当使用该脚本时，会先调用 start-dfs.sh,
再调用start-yarn.sh
2. start.dfs.sh : 在master 节点上运行.
在启动时，先启动namenode,再启动datanode,最后启动secondaryNamenode
调用的是hadoop-daemons.sh(start namenode,start datanode,
--hostname start secondarynamenode) 脚本.
3. 在启动服务时候 start.dfs.sh --config CONFIG_DIR:
该选项方便升级使用，

1. 文件:文件切分为块(64M)，以块为单位，存放在不同的主机上，默认副本数为3.
2. NameNode : 是主节点
1).存放文件的的元数据(文件名,文件属性,文件的块列别及其所在的位置等信息).
2).负责处理文件内容的读写请求(告诉客户端文件的位置及其他信息),相关的数据流不会经过NameNode 节点.
3).副本的存放位置由NameNode决定,读取文件数据时先读取用户最近的副本.
4).NameNode 周期性的收集DataNode发送的心跳信号和块状态报告
(心跳:表明DataNode正常工作|块状态报告:表明DataNode都有哪些数据块,**安全模式下检测**).
3. DataNode : 存放数据
1).在本地文件系统存储文件块数据以及数据的校验和和时间戳.
2).周期性的向NameNode发送块报告(一小时).
3).周期性发送心跳信号(3秒),心跳返回结果带有NameNode给该DataNode的命令(比如复制数据库到另一台机器),
若10分钟没有收到DataNode的心跳信号,则认为该DataNode不可用.
4. 权限中的 x 对于文件是忽略的，对于目录表示是否可以访问.
5. 集群在运行的过程中可以安全的加入或退出一些机器.
6. 副本存放策略:
副本1:同client的节点上.
副本2:和副本1不同的机架上.
副本3:和副本2同机架的不同机器上.
7. 数据损坏:NameNode 标记该块已经损坏,赋值块达到预期的备份数.DataNode在文件创建三周后验证checksum.

1. 文件的读取:
1).Client通过FileSystem.open()方法从NameNode获取文件块(部分block或全部block)所在的位置
2).选取离Client最近的一个DataNode建立连接,并且返回一个FSDataInputStrean流.
3).Client开始读取block信息,当读取到block的结尾时,FSDataInputStream关闭与当前DataNode的连接,
并为读取下一个block做准备(仍然选取最近的).
4).若block读取完之后文件还没有结束,则会再次通过NameNode获取下一批的block.
5).Client在读取block时会进行checksum验证,若有错,会报告到NameNode,换下一个block继续读取.
2.文件的写入:
1).通过FSFileSystem的create方法向NameNode发出请求,在NameNode中创建新的文件,
但是并不关联任何数据块.
2).NameNode检查文件是否存在/操作权限,如果通过,NameNode记录新文件信息,
并在某一DataNode上创建数据块.
3).返回FSDataOutputStream,由Client执行write操作.
4).FSDataOutputStream将数据写到第一个DataNode上,然后由DataNode进行复制到其他的节点.
5).block完成复制后,NameNode返回成功消息.