Google File System 阅读笔记
2011-08-02 14:54
375 查看
今天终于拜读了著名GFS的论文,大体上的设计思路是明白了,复杂的系统,其实用了很多简单的逻辑在里面,下面是记录的一些笔记:
设计之初(系统需求)
系统使用便宜的PC节点来实现,所以对于监控和容错要求很高。
系统主要目标为提供大于100Mb的文件服务,常见文件为Gb以上,支持小文件,但是不做优化。
系统主要有两种类型的读:持续的流读和随机的跳读。同时还包括大文件、连续文件的写入和追加。
系统必须支持多客户。例如利用生产者-消费者队列模型或者其他的方法。
网路响应时间需要快。
GFS架构
数据的主从模式
Master的任务
Chunk Size的选择(64Mb)
Metadata特点:内存存储、Chunk的位置
Operation Log:如何处理并发的日志,如何确保日志安全(本地、远端同时写入才返回成功)
垃圾回收机制
在大型分布系统中,组件的失败非常常见。所以需要一种机制,来检查或者收回那些不一致的空间。
高可用策略
1、快速恢复。不管因为什么原因导致的服务终止,在数秒钟内恢复
2、块复制。
3、Master的复制以及Shadown,确保故障时文件的可读
数据一致性,一致性的信息存储在内存中,读取文件时进行验证
设计之初(系统需求)
系统使用便宜的PC节点来实现,所以对于监控和容错要求很高。
系统主要目标为提供大于100Mb的文件服务,常见文件为Gb以上,支持小文件,但是不做优化。
系统主要有两种类型的读:持续的流读和随机的跳读。同时还包括大文件、连续文件的写入和追加。
系统必须支持多客户。例如利用生产者-消费者队列模型或者其他的方法。
网路响应时间需要快。
GFS架构
数据的主从模式
Master的任务
Chunk Size的选择(64Mb)
Metadata特点:内存存储、Chunk的位置
Operation Log:如何处理并发的日志,如何确保日志安全(本地、远端同时写入才返回成功)
垃圾回收机制
在大型分布系统中,组件的失败非常常见。所以需要一种机制,来检查或者收回那些不一致的空间。
高可用策略
1、快速恢复。不管因为什么原因导致的服务终止,在数秒钟内恢复
2、块复制。
3、Master的复制以及Shadown,确保故障时文件的可读
数据一致性,一致性的信息存储在内存中,读取文件时进行验证
相关文章推荐
- Google File System阅读笔记
- google c++ style 阅读笔记
- GFS-Google论文阅读笔记
- Google File System笔记
- Google File System学习笔记
- 论文阅读笔记:GoogLeNet Inception 网络
- Google 开源项目风格指南阅读笔记(C++版)
- 阅读《高质量C++C编程指南》和《google_c++编程风格(高清版)》笔记
- 论文阅读笔记 - The Google File System
- Google C++ Style Guide 阅读笔记 5
- Google File System学习笔记
- Google MapReduce阅读笔记
- Google C++ Style Guide 阅读笔记 2
- Google C++ Style Guide 阅读笔记 6
- Google BigTable阅读笔记
- 2016-02-21-阅读笔记:大脑计划+3rd open GPU+ Delip质疑google Swivel中loss-function + training trick BN in DL
- 论文阅读笔记 - Spanner: Google'sGlobally-Distributed Database
- 分布式系统阅读笔记(二十一)-----分布式系统设计(Google Case Study)
- Google C++ Style Guide 阅读笔记 系列
- GoogLeNet-阅读笔记-理解