Hadoop中HDFS的设计目标
2015-09-17 18:46
295 查看
1.检测和快速恢复硬件故障:硬件故障是计算机常见的问题。整个HDFS系统由数百甚至数千个存储着数据文件的服务器组成。而如此多的服务器则意味着高故障率,因此故障的检测和快速自动恢复是HDFS的一个核心目标。
2.流式的数据访问:HDFS使应用程序流式地访问它们的数据集。HDFS被设计成适合进行批量处理,而不是用户交互式处理。所以它重视数据吞吐量,而不是数据访问的反应速度。
3.简化一致模型:大部分的HDFS程序对文件的操作需要一次写入,多次读取。一个文件一旦经过创建、写入、关闭就不需要修改了。这个假设简化了数据一致性问题和高吞吐量的数据访问问题。
4.通信协议:所有的通信协议都是在TCP/IP协议之上的。一个客户端和明确配置了端口的名字节点建立连接之后,它和名字节点的协议便是客户端协议。数据节点和名字节点之间则用数据节点协议
2.流式的数据访问:HDFS使应用程序流式地访问它们的数据集。HDFS被设计成适合进行批量处理,而不是用户交互式处理。所以它重视数据吞吐量,而不是数据访问的反应速度。
3.简化一致模型:大部分的HDFS程序对文件的操作需要一次写入,多次读取。一个文件一旦经过创建、写入、关闭就不需要修改了。这个假设简化了数据一致性问题和高吞吐量的数据访问问题。
4.通信协议:所有的通信协议都是在TCP/IP协议之上的。一个客户端和明确配置了端口的名字节点建立连接之后,它和名字节点的协议便是客户端协议。数据节点和名字节点之间则用数据节点协议
相关文章推荐
- Linux信号编程实践(二) 信号发送函数和可重入函数
- 日记 - aop
- JAVA分布式架构
- hadoop2.6.0 完全分布式安装
- Linux系统程序包的管理
- Linux下面jdk配置
- Eclipse中的Maven项目一键部署到Tomcat服务器 - 支持多环境部署
- CentOS软件安装目录查找
- CentOS7安装iptables防火墙
- linux awk 内置函数详细介绍(实例)
- ubuntu下配置opencv2.4.10 步骤以及一些所遇问题解决方法
- Linux下的压缩解压缩命令详解
- nmon linux监控工具
- openssl rsa应用与分析
- Linux下Nagios的安装与配置
- Linux更改文件及组的命令
- zabbix告警(一)---添加邮件报警
- SharePoint自动化系列——通过PowerShell创建SharePoint Site Collection
- Linux内核中PF_KEY协议族的实现(1)
- nginx location语法