谷歌技术的“三宝”是GFS文件系统、BigTable大表、MapReduce算法
2012-10-15 15:50
309 查看
谷歌技术的“三宝”是GFS文件系统、BigTable大表、MapReduce算法
GFS是谷歌自己的文件系统。至今除了谷歌,在数据中心运维上还没有谁自己开发文件系统这种十分
底层的技术。大家要么使用微软windows的文件系统,要么使用unix的文件系统。很显然有了自己的文
件系统,谷歌就可以有效地组织庞大的数据、服务器和存储,并让他们协同工作。
BigTable大表也是谷歌特有的技术,这样的大表可以管理百万G的数据表,并让表的结构分布在不同
的服务器上。如果说文件系统是组织结构,那么大表就是对数据单元的组织。
有了文件系统和对数据单元的组织,接下来谷歌必须有处理和运算的逻辑算法,谷歌称之为
MapReduce算法。MapReduce算法是谷歌搜素技术的核心,这种算法也可以跨服务器跨软件进行。
如同微软的windows一样,谷歌的技术“三宝”也成了其基石。
GFS是谷歌自己的文件系统。至今除了谷歌,在数据中心运维上还没有谁自己开发文件系统这种十分
底层的技术。大家要么使用微软windows的文件系统,要么使用unix的文件系统。很显然有了自己的文
件系统,谷歌就可以有效地组织庞大的数据、服务器和存储,并让他们协同工作。
BigTable大表也是谷歌特有的技术,这样的大表可以管理百万G的数据表,并让表的结构分布在不同
的服务器上。如果说文件系统是组织结构,那么大表就是对数据单元的组织。
有了文件系统和对数据单元的组织,接下来谷歌必须有处理和运算的逻辑算法,谷歌称之为
MapReduce算法。MapReduce算法是谷歌搜素技术的核心,这种算法也可以跨服务器跨软件进行。
如同微软的windows一样,谷歌的技术“三宝”也成了其基石。
相关文章推荐
- 谷歌技术“三宝”之一的Google文件系统和Kosmos 文件系统
- [转载] 谷歌技术"三宝"之谷歌文件系统
- 谷歌技术"三宝"之谷歌文件系统
- 谷歌技术"三宝"之谷歌文件系统
- 谷歌技术"三宝"之谷歌文件系统
- 谷歌技术"三宝"之谷歌文件系统
- 谷歌技术“三宝”之BigTable
- 谷歌技术"三宝"之谷歌文件系统
- 谷歌文件系统GFS
- 谷歌技术“三宝”之GFS
- 谷歌技术"三宝"之谷歌文件系统(转)
- 谷歌技术"三宝"之谷歌文件系统
- 谷歌技术"三宝"之谷歌文件系统
- 分布式系统漫谈一 —— Google三驾马车: GFS,mapreduce,Bigtable
- Redhat6 GFS文件系统【13】
- Google之文件系统GFS
- Linux系统基础开发技术1:构建Linux 库文件
- linux环境下使用GFS文件系统
- 传统文件系统与NoSQL分布式存储的块存储技术对比(2)
- [转载] 谷歌技术"三宝"之BigTable