Spanner vs. F1:谷歌两大数据管理利器的整体对比及关联 2016-05-22 20:36 757人阅读 评论(0) 收藏 举报 目录(?)[+] http://www.csdn.net/a
2016-09-18 15:50
567 查看
Spanner vs. F1:谷歌两大数据管理利器的整体对比及关联
2016-05-22 20:36 757人阅读 评论(0) 收藏 举报目录(?)[+]
http://www.csdn.net/article/2013-10-10/2817138-f1-and-spanner-holistically-compared
自2012年9月搜索巨头Google发布Spanner论文已有一年之久,期间各种对比可以说是数不胜数。近日,ThoughtWorks India技术总监Srihari
Srinivasan(曾供职于Philips Consumer Electronics、Ivega Corp等多家企业)总整体上对比了Google的两个数据库系统,并分析了两个系统之间的联系及配合机制。以下为译文:
F1设计的主旨
系统可以添加资源进行纵向扩展无需改变应用程序就具备数据分片及均衡的能力
对事务支持ACID特性
SQL的全支持,同时支持索引
Spanner目标
最主要的目的就是跨数据中心的管理及复制数据数据的重分片及均衡能力
主机间数据的自动迁移
从整体上看F1
1. F1建立于Spanner之上,Spanner的特性包括:分布事务间(2PC)提供强一致性、基于时间戳的整体排序、通过Paxos进行同步复制、容错、数据的自动均衡等。2. 通过F1增加的特性:
在整体数据上分配SQL查询,并提供join能力
索引的事务一致性
异步模式转变
使用新的ORM库
F1的架构
1. 用户通过客户端库交互。2. 任何服务器都可以接收SQL查询请求。
3. F1客户端需要通过一个本地负载均衡器,有助于降低延时。如果需要,它会负责把请求转发到本地/最近数据中心里的F1服务器。
4. F1与Spanner的服务器会位于同一个数据中心。
5. Span-server会从Colossus File System(GFS继任者)中获得数据。
每个span-server都搭配了一个称为Tablet的存储抽象,通常负责100-1000个tablet实例。这些Tablet数据储存在类似B-Tree的一组文件及预写入日志上,这些文件都位于CFS之上。
在tablet之上,每个span-server同样还实现了1个Paxos状态机。
6. F1服务器大部分都是无状态的,鉴于其不负责数据存储,因此添加及删除起来非常方便,不会涉及到数据转移。
7. F1进程通过主从方式组织,F1 master首先接收查询,然后再委托给slave处理。
8. Master同时还负责slave poll的维护。
9. 系统的吞吐量可以通过增加F1 master、F1 slave及span-server的数量完成。
10. 数据储存通过Spanner处理
Spanner将数据行分割成bucket抽象,称之为1个目录——共享1个通用前缀的连续key集合。血统关系通过目录实现。
添加1个span-server将导致跨Spanner tablet的数据重新分配,但是却不会波及到其它的F1服务器,这个操作对F1服务器完全透明。
鉴于数据在不同地理位置上的多个数据中心同步,提交的延时将非常高(50-150毫秒)。
11. 系统同样包含了只读副本,这些副本将不会计算到Paxos算法中。只读副本只用于读的快照,因此支持OLTP和OLAP的负载隔离。
数据模型——分层架构
从逻辑层看F1,它的数据模型非常类似RDBMS;此外,F1中的表格可以用分层模式组织。
分层中, root table对应的行被称为root row。
Root row的child table对应行被储存在单独的Spanner目录中。
客户端应用程序通过调用INTERLEAVE IN声明数据库架构的层次。
目录表格的每行都拥有一个键K,连同子表中所有行一起,从K开始按照字典顺序递增组成一个目录。
每个子表格都与父表格中的行聚合并交叉。
论文中还强调了读、写操作可以从分层架构中获得的好处,然而在实际上,分层架构并不是F1中唯一的模型。
F1中的索引具有事务性并且完全一致,在Spanner中使用单独的表进行存储,键则使用索引键与被索引表格主键的串连。
使用两种类型的物理存储布局——Local及Global。
F1中的查询处理
F1中的查询管理类似于当下多数的SQL-on-Hadoop解决方案,比如Cloudera的Impala、Apache Drill及无共享并行数据库。查询的生命周期
每个查询都会配备一个协调节点,这个节点负责接收SQL查询请求。
协调器会负责计划执行以及从结果的接收,并做结果的聚合、排序及过滤,最后会将结果返回给客户端。
基于数据被不停的分割,计划器还负责分割长度的制定,以最小化查询的时间。
基于被处理数据及分割范围,计划器/优化器甚至会对预处理数据进行再分配。
网络延时的处理
F1的主数据存储就是Spanner,可以看成是一个远端数据资源,因此F1 SQL同样可以访问远端低延时数据资源。
访问远端数据资源产生的延时通过查询不同阶段的批处理及流处理缓和,同时查询操作符经过特定的设计为处理管道后续阶段传输尽可能多的数据。
最后
自2012年起,F1系统就负责了AdWords广告活动的数据管理。AdWords是个庞大的生态系统,设计数百的应用程序及数千的用户。数据库里的资料超过100TB,每秒处理数十万请求,每天扫描上百万亿的数据行。可用性达到5个9,对比传统的MySQL系统,即使在计划外宕机时,延时都不会显著增加。
原文链接: F1 and Spanner Holistically Compared(编译/仲浩 审校/周小璐)
相关文章推荐
- Spanner vs. F1:谷歌两大数据管理利器的整体对比及关联
- Spanner vs. F1:谷歌两大数据管理利器的整体对比及关联
- Oracle的存储结构 2013-03-26 23:22 276人阅读 评论(0) 收藏 举报 目录(?)[+] Oracle的存储结构 在ORACLE数据库中对于数据存储的管理可以从两方面来论述。
- 系统学习深度学习(七)--主流深度学习开源框架对比 2017-01-23 11:05 2292人阅读 评论(0) 收藏 举报 分类: 深度学习(30) 目录(?)[+] 转自:http://b
- error LNK2026: 模块对于 SAFESEH 映像是不安全的 分类: 错误处理 2013-09-23 09:26 6674人阅读 评论(6) 收藏 举报 目录(?)[+] 今天使用VS20
- JS 循环遍历JSON数据 分类: JS技术 JS JQuery 2010-12-01 13:56 43646人阅读 评论(5) 收藏 举报 jsonc JSON数据如:{"options":"[{
- 分布式服务框架 Zookeeper -- 管理分布式环境中的数据 分类: B7_HBASE 2015-03-10 10:14 96人阅读 评论(0) 收藏
- iOS库 .a与.framework区别 2015-01-25 15:54 7452人阅读 评论(0) 收藏 举报 分类: iOS(278) 目录(?) [+] 一、什么是库? 库是共享程序代
- 单例模式八种写法比较 2017-07-04 15:30 25人阅读 评论(0) 收藏 举报 分类: Android移动互联(19) 版权声明:本文为博主原创文章,未经博主允许不得转载。 目录
- Laravel5.1 实现第三方登录认证(包括微博、QQ、微信、豆瓣) 2017-01-08 18:08 457人阅读 评论(0) 收藏 举报 分类: laravel框架(33) 目录(?)[
- WINDOWS中NEXUS的安装使用【ATCO整理】 2016-06-20 15:52 367人阅读 评论(0) 收藏 举报 分类: 项目管理(11) 版权声明:本文为博主原创文章,未经博主允许
- net-snmp的编译 2010-03-17 14:14 951人阅读 评论(0) 收藏 举报 makefileapplicationpathcompilationtranslationperl 对
- 解析全球级分布式数据库Google Spanner(http://www.csdn.net/article/2012-09-19/2810132-google-spanner-next-databa)
- 为什么说android UI操作不是线程安全的 分类: Android 2014-09-23 21:08 1357人阅读 评论(0) 收藏 举报 目录(?)[+] 可能在非UI线程中刷新界面的时候,U
- MVC 前后端分离(REST-个人也认为是目前比较流行和比较好的方式) 2017-07-24 19:23 77人阅读 评论(0) 收藏 举报 分类: Spring(4) 目录(?)[+] 摘要
- 解析ASP.NET Mvc开发之查询数据实例 分类: ASP.NET 2014-01-02 01:27 5788人阅读 评论(3) 收藏
- ASP.NET多线程下使用HttpContext.Current为null解决方案 2015-01-22 15:23 350人阅读 评论(0) 收藏
- (转)Asp.Net 使用“递归算法”生成目录树的JSON格式(值得收藏) 以下博文转自:http://www.cnblogs.com/yangrixing/archive/2012/08/23/26
- CABasicAnimation的基本使用方法(移动·旋转·放大·缩小) 分类: iPhone 2014-04-07 09:52 548人阅读 评论(0) 收藏 举报 目录(?)[+] 博主:最近i
- nohup 输出重定向 2015-10-20 12:25 7264人阅读 评论(0) 收藏 举报 http://moralistxp.blog.163.com/blog/static/1161103