全闪存Virtual SAN架构全解析

Virtual SAN属于融合架构Server SAN的一种，Server SAN能够高速发展与网络、闪存及软件定义等技术的发展具有密不可分的关系，其中闪存更是在计算和存储融合过程中起到了关键作用。自VMware发布Virtual SAN6.0版本以后，Virtual SAN解决方案支持了一种新的全闪存架构。本文就详细介绍下这一全闪存架构的搭建和性能效果。



Virtual SAN架构
在传统的Virtual SAN解决方案中，存储部分一般采用混合架构，即闪存作为缓存层，利用磁盘组做RAID充当容量层。但是根据Memblaze大量客户反馈，闪存容量层一定要大于客户的热点数据量，以确保热点数据的处理在闪存缓存层完成。但是RAID、数据在缓存和容量层之间的迁移等功能的资源开销非常大，全闪存架构的推出进一步解决了存储上的性能瓶颈。

全闪存架构Virtual SAN系统中缓存层和容量层均支持配置闪存，其中缓存层的闪存只做写缓存。其优势主要体现在三个方面，首先缓存层与容量层均为闪存，在有持续读写IO压力的生产环境，无论应用IO落在缓存层还是容量层，都将受益于闪存极低的响应时间；第二，全闪存架构不需要进行热点数据从容量层向缓存层搬迁，系统的软件逻辑大大简化；第二，容量层的闪存性能是非常强的，所以几乎不用考虑做条带化，这样可减少IO跨网络访问的场景。



PBlaze4全闪存Virtual SAN架构
上图中展示的全闪存Virtual SAN架构，使用了Virtual SAN6.0，缓存层使用800GB PBlaze4 PCIe闪存卡搭建（也可以使用PBLaze4的盘）；容量层使用3.2TB闪存卡搭建（也可以使用其他容量点的PBlaze4闪存卡或者盘）。网络为万兆以太网，服务器为3台戴尔PowerEdge 13G服务器。需要指出的是PBlaze4支持Virtual SAN6.0的原生NVMe驱动，方案部署的复杂度得到降低，而且更易维护。

这一解决方案的性能实测结果汇总如下：



在此环境中，笔者搭建了Oracle数据库并进行了进一步性能测试。测试架构示意如下：



测试环境细节列举如下：

• 3个Oracle VM跑HammerDB TPC-C测试,

测试3个2000 WareHouse,共6000个WareHouse; 3个200并发用户连接，共600个并发用户连接;

•有效测试数据: 2.79TB;

•Virtual SAN层面实际数据量(2副本) : 5.45TB;

•数据库配置: 32GB SGA

•TPC-C测试结果：3.74M TPM(每分钟事物处理数)

本次测试结果列举如下：



根据Virtual SAN环境Oracle数据库测试的AWR报告，3组HammerDB TPC-C 测试结果能达到3万TPS(每秒事务处理数)。测试Virtual SAN环境数据均为2副本场景，所以Virtual SAN层面写IO处理能力需求加倍。通过Virtual SAN的性能监控软件，可以看到Virtual SAN系统需要每秒处理的读IO高达353 MBPS(44,756 IOPS)，写IO高达965 MBPS(50,259 IOPS)。

注：Memblaze还在对Virtual SAN解决方案进行进一步优化，故本文中所提测试结果之后可能会有更新。

本文作者：朱磊是Memblaze资深方案架构师，曾在多个大会上就PCIe SSD在VMware场景中的部署和优化做演讲。他就PBlaze4在Virtual SAN环境中部署和优化做了大量的测试和研究，这篇文章则总结了一些测试结果和实践经验。在10月28日~29日vForum2015大会（北京），他再次就PCIe SSD在虚拟化环境中的部署话题做深入的讲解。



朱磊先生在VMworld2015（欧洲）上位嘉宾解读基于PBlaze4和Virtual SAN6.0的全闪存解决方案