技术白皮书1、2、3、SMARTXZBS系统设计4、SMARTXZBS功能亮点摘要SMARTXZBS(“Z”BlockStoragesystem),即ZBS分布式块存储系统，运行于商用X86服务器，为虚拟化环境提供可水平扩展的存储服务。本文就ZBS的设计哲学、系统架构等核心技术展开详述，通过和传统计算存储分离架构对比，让企业用户能够清晰地了解SMARTXZBS超融合架构的技术优势，为用户构建虚拟化数据中心提供参考。背景介绍当前IT数据中心面临的挑战当下企业IT数据中心虚拟化是行业发展的趋势，更是未来的标准。利用Hypervisor将物理服务器虚拟成多个虚拟机，把应用部署不同的虚拟中运行，为企业提供更高的运行密度和更敏捷解决方案。在传统计算存储分离的体系架构下，虚拟机在计算服务器上被创建，其后端存储通常采用SAN/NAS。这种架构已经不能满足企业IT数据中心高速发展和变化的需求，主要体现在：扩展困难传统存储SAN/NAS通过添加新的存储柜扩容升级（ScaleUp)，但是这种方法并不能带来同倍的性能提升。存储访问性能并不能随着虚拟机数据量增加而线性增加，致使存储访问性能最终成为数据中心性能和容量的瓶颈。管理复杂IT管理员不仅需要同时管理计算和存储两套系统，还往往需要面对专有化设备的配置，非常繁琐。传统网络存储架构SAN/NAS期初就是为静态负载场景设计，对于动态变化的负载，其管理运维就会变得相对复杂。性能问题存储如果独立于虚拟化应用，则很难为其做性能优化并确保虚拟磁盘QoS。虚拟化数据中心中运行着大量不同的应用，这些应用通常对应不同的服务等级，利用现有存储很难适应不同的应用负载。硬件专有化，成本高主流存储厂商使用自行设计的专有芯片去优化I/O路径，如利用专有芯片做数据压缩，去冗等。这些专有化硬件带来的高额研发和生产成本必然会提升存储系统的总体拥有成本。未来企业IT数据中心的问题，本质上都归结为存储系统的问题，Google、Amazon这样的顶级互联网公司多年前已遇到此类问题。它们发现任何商业存储产品都无法满足他们高速增长的数据业务需求。于是这类公司通过软件的方式在商用服务器上搭建了自己的IT基础架构，这些系统大多采用分布架构：上层应用像访问本地资源一样使用分布式计算存储资源，系统可以很容易的水平扩展，并且不受性能和价格的制约。SMARTX借鉴了Google这类互联网公司的软件架构的思想，结合当前数据中心虚拟化的趋势，推出超融合架构的软硬件解决方案，在商用X86服务器上搭建可扩展的虚拟化数据中心。设计哲学SMARTXZBS分布式存储系统的设计哲学涵盖四个方面：组件分布式ZBS是一个对等的分布式集群。每一个数据节点都有能力承担另一数据节点的功能，节点之间用ZBS内部的分布式协议完成相互协作和通信。这一特性是系统得以能水平扩展的关键，系统中的任意组件都不会成为瓶颈。系统冗余ZBS始终把可靠性作为系统设计的最高优先级。在真实环境下，硬件是无法达到100%可靠的，磁盘可能损坏，服务器可能宕机。为处理这些不可预期的硬件错误，保证数据的完整，业务的连续性，ZBS在软件的层面构建了许多“冗余”。例如：ZBS使用了强一致的分布式元数据服务器集群，即便一个元数据服务器停机，也完全不影响元数据服务；同一份数据块也会复制到不同的物理数据节点，防止单点故障。面向虚拟化ZBS是面向虚拟化环境设计的分布式存储系统，针对虚拟化环境优化。例如：1）ZBS可以调度VM到离数据最近的节点，减少远程IO的访问；2）充分挖掘SSD的高性能实现了智能的分层存储，用作VM的本地缓存；3）实现VM重连机制，可在不停虚拟机的情况下给集群系统升级。自动化管理运维ZBS设计的一大考量就是简化运维，从部署、日常管理、出错处理都力争做到自动化。ZBS集群的安装部署非常简单迅速，只需简单配置IP地址和服务器角色等信息就能在1小时内完成安装部署；当硬盘损坏，数据可靠性降低时，ZBS会触发自动修复将数据复制到健康的节点，整个过程无需人工参与。ZBS也提供了Web可视化管理和丰富的分析功能，可以采集和分析当前系统的多维指标，并设置预警，第一时间通知管理员。系统架构SMARTXZBS集群的每个节点都部署相同的ZBS分布式块存储系统，集群的每个节点从用户...