阿里云高级总监谈超大规模超高性能分布式快存储系统
摘要: 10月27日下午,2018中国计算机大会上举办了主题“新型硬件环境下大数据处理技术”的技术论坛,一起探讨新型硬件带来的变化。论坛上,阿里云高级总监马涛针对超大规模超高性能分布式块存储系统ESSD进行了报告分析。
新型硬件(如NVRAM、RDMA、GPU/TPU等)及其构建的异构复杂环境,与既有硬件环境的巨大差异,导致传统的算法、数据结构甚至是涉及原则和经验法则等难以为继,对计算智能与大数据处理带来新的挑战和机遇。
10月27日下午,2018中国计算机大会上举办了主题“新型硬件环境下大数据处理技术”的技术论坛,一起探讨新型硬件带来的变化。论坛上,阿里云高级总监马涛针对超大规模超高性能分布式块存储系统ESSD进行了报告分析。
专家简介:
马涛,阿里云高级总监,在IBM、ORACLE有多年的操作系统以及企业级存储的研发经验,2010年加入阿里巴巴集团淘宝核心系统部,负责淘宝底层操作系统的设计和研发工作。2014年转入阿里云,负责阿里云弹性计算存储相关产品的研发工作。
在报告中,马涛指出面对企业上云实现数字化转型以及新硬件架构层出不穷,现有存储产品已无法满足业务的需求,亟需新一代的超大规模、超高性能分布式快存储(ESSD)提升系统的业务能力,目前ESSD的性能已将单块云盘性能提升到100万IOPS、100微秒延迟、4000MB吞吐量的全新高度。
随后,马涛介绍了ESSD系统的设计和实现,展示了阿里云在软硬一体协同优化方面的探索,基于NVMe SDD和3D Xpoint新一代存储介质,采用了全用户态协议栈,通过用户态Polling模式驱动程序架构如SPDK、DPDK等,让ESSD达到释放数百万IOPS的能力,完成计算机体系结构的全面调优,满足超低延迟、超高性能和超大规模的设计要求。
最后,马涛对块存储的未来发展提出了一些新的思考和方向,包括如何应对数据中心内部的网络问题、如何解决高性能存储的资源隔离和软硬一体化、REDIS的教训、传统块存储产品如何使用、如何和CLOUD NATIVE更好的配合等。
- 阿里云课程:云计算—分布式文件存储系统及实现
- 分布式文件系统读写性能分析
- 架构设计:系统存储(7)——MySQL数据库性能优化(3)
- 阿里云弹性计算Apsara Block Storage正式发布 构建企业级分布式块存储服务平台
- 阿里云Apsara Block Storage企业级分布式块存储产品,轻松应对云时代下海量数据的敏捷
- 架构设计:系统存储(8)——MySQL数据库性能优化(4)
- Bigtable:一个分布式的结构化数据存储系统
- 网络存储学习之关键技术(网络存储系统的I/O性能)
- 架构设计:系统存储(6)——MySQL数据库性能优化(2)
- 分布式存储系统可靠性系列五:副本放置算法 & CopySet Replication
- Google 三大论文中文版之一个分布式的结构化数据存储系统
- BigTable是Google设计的分布式数据存储系统
- 网络存储系统NSS基准性能测试(7.31)
- 影响分布式系统性能的3个方面
- Netdata: 分布式实时性能和健康监测系统Debian9.1下安装
- MongoDB的GridFS与文件系统在小文件存储的读取性能对比
- IIs 网站应用程序与虚拟目录的区别及高级应用说明(文件分布式存储方案)【转】
- 架构师之路:一个架构师需要掌握的知识技能(高并发,分布式,集群,系统架构,性能调优,功能设计)
- 高性能分布式计算与存储系统设计概要——暨2012年工作3年半总结(上) <转>
- HDFS分布式文件存储系统