文/大数据在线
在云计算的世界里,如果云厂商有能力将服务水平提升一个等级,则意味着在未来一段时间里,将具备差异化竞争力,也很容易在市场中形成独树一帜的优势。
华为云存储就在云计算基础服务领域中干着这样一件事情。近日,在“成都·选择不凡-华为云城市峰会2019”上,华为云正式发布存储All-Flash战略,并推出战略落地的首款产品——全新一代极速IO云硬盘,这标志着华为云在存储这项基础云服务上实现了大幅的性能提升,率先引领云上存储从毫秒进入到微秒时代。
在华为云看来,以Flash介质替代HDD、数据处理从毫秒进入到微秒,背后是存储架构、芯片、算法等一系列技术的重构与突破。
华为云之所以如此果敢地率先选择全面拥抱Flash,乃是时势所趋。在5G、IoT以及AI等技术快速崛起以及技术叠加效应日趋突显之际,市场大幅推动了应用对于实时性的需求。因此,云服务提供商必须要具备提供更低时延、更大带宽的数据基础存取能力,并以智能化的方式去帮助用户挖掘数据价值。
华为云CTO 张宇昕表示,在万物感知、万物智能、万物互联的时代下,云存储需要进入到百微秒量级才能满足用户应用的需求,而首先需要做的就是突破“最后一公里”的瓶颈。
“最后一公里”的瓶颈在哪里
“5G时代,瓶颈将不再是广域网。”5G带来的不仅仅是传输带宽和速率的大幅提升,更会对云、边、端进行全面的重构。随着传输带宽和速度实现质的飞跃,像AR/VR、自动驾驶、人脸识别等应用会大量出现,随之而来的数据洪流以及数据处理则对时延提出了进一步的需求。
在张宇昕看来,微秒时代下“最后一公里”的挑战在于介质和技术栈。众所周知,在云数据中心中,“最后一公里”即为数据通过服务端软件、网络、存储服务器,最终抵达介质的过程。一直以来,机械硬盘(HDD)都是存储介质的主力,过去大部分数据存储都依赖于它,但是机械硬盘发展多年以来,虽其容量保持着增长,但受其机械部件的限制,时延始终无法取得突破。其次还需要重构技术栈,突破原有架构的软件瓶颈,把软件、网络、服务器这段的时延尽可能的缩短。
这就是华为云在此刻推出All-Flash战略的原因所在。张宇昕介绍,华为云All-Flash战略已经在市场、技术等层面具备足够的成熟度,而华为云将稳步推进All-Flash战略,进而解决掉“最后一公里”的瓶颈。
首先,Flash的成本正在持续下降。根据知名市场调研公司TrendFocus的数据显示,今年一季度硬盘货量同比下滑13%,而SSD 每GB的成本则是持续下降。“这么多年过去了,机械硬盘的时延始终还是4毫秒,我们必须用新一代技术去降低时延。”张宇昕表示,“用Flash逐步代替机械硬盘是大势所趋,从业界的报告来看,今年全球Flash无论是从容量、收入都将超过机械硬盘。Flash自身的发展趋势也是容量越来越大、成本越来越低。因此,在未来的云中,Flash将会占据绝大部分存储介质。”
其次,除了介质成本外,华为云还通过其他技术手段将Flash的性价比进一步提升。张宇昕透露:“华为拥有核心算法,可以将数据压缩率做得更高,这也意味着单位成本会更低;此外,华为的芯片可以让数据处理能力更强,这些是其他竞争对手所不具备的。简单来说,华为云可以从端到端提升Flash的可靠性,从而大幅降低故障率,将技术红利回馈给客户,让性价比变得更优。”
为此,华为云打造出全新一代智能数据底座来实现All-Flash战略,满足各类新兴应用对数据实时性的诉求,引领云上存储从毫秒走向微秒时代。
两个创新+三个加持
华为云的智能数据底座包括引擎、架构、芯片、算法和AI五个部分,概括起来即为“两个创新+三个加持”。“两个创新”为全新Flash-Native存储引擎和全栈架构创新,而“三个加持”则是全系列自研芯片、硬核数学算法以及AI加持。
据介绍,全新Flash-Native存储引擎完全为Flash而设计,针对Flash本身具有擦除寿命、不支持覆盖写等限制,Flash-Native存储引擎采用Flash友好的数据布局,可提升Flash寿命5倍以上,数据持久性高达11个9。Flash-Native存储引擎还可支持不同负载的应用,充分发挥了多核调度优势并保证数据读写路径最优,带来低于百微秒的时延与百倍以上并发访问性能的提升。
而全新的全栈架构则可以让Flash发挥极致性能和效能,通过全栈架构创新实现数据IO与控制分离,让芯片重构数据读写,让软件实现智能调度,使得IO路径最短,时延最低。数据中心层面,通过优化的极简扁平网络,实现1:1无阻塞、无收敛比网络;并通过如液冷技术、AI控温、模块化数据中心等来进一步减少能耗,践行绿色环保。
这是“两个创新”。
“三个加持”首先体现在华为云可以充分利用全系列自研芯片的优势,从“算、传、存、智”四个维度,对IO路径和数据处理的全流程进行紧密配合,实现全栈深度定制优化。其次,华为云存储还融入了多项核心自研算法,将存储写带宽与数据重构带宽提升数倍的同时,通过自适应差量压缩算法将数据压缩率提升3倍,并可大幅降低网络拥塞发生概率,长尾时延降低30%,时延稳定性更优。最后,华为云还将人工智能技术融入分布式存储的全生命周期,智能识别用户业务模型,实现存储平台的自主调优和自我进化,让应用“越用越快”。
可以说,华为云智能数据底座就是引擎、架构、芯片、算法、AI等多项技术融合的成果。目前,华为云是业界为数不多有能力将多项技术进行整合与优化,从而来提升整体服务水平的云服务提供商,其通过全栈技术能力,将所有环节进行协同优化,最终为用户呈现出最佳的云服务。
极速IO云硬盘:迈出微秒时代第一步
这一次,华为云通过存储All-Flash战略,明确了以“全闪存、全系列、+智能、全栈创新”为导向的战略布局,并且将让块、文件、对象存储逐步完成全闪存进化。在本次峰会上,华为云发布的全新一代极速IO云硬盘值得一说。
根据张宇昕的介绍,华为云极速IO云硬盘的时延低至50~100μs,并具有4GB/s带宽和高达100万IOPS性能,是主流云厂商中首家推出的进入百微秒以内的云硬盘。在华为云看来,企业应用上云趋势加快的背景下,除了直播、游戏等互联网业务对于时延要求较高之外,像制造业、工业等其他行业也对于云上应用的可靠性和时延有着极高要求。
当然,云上依然拥有很多对极致性能并不敏感的应用,比如基于对象存储的应用,以及一些数据备份、归档的应用等。张宇昕直言“的确如此,从长期来看,Flash取代机械硬盘是大趋势。华为云第一步是把块存储全闪存化,接下来会逐步完成文件、对象的全闪存进化。”
微秒时代背后的价值彰显
回顾云计算市场的发展历史,云服务提供商们需要不断通过技术创新和投入来实现更加出色和高性价比的云服务,进而实现规模效应,以换取自身的成本优势,这背后是一场技术与服务能力的长期价值比拼。
当前正处于从毫秒进入微秒时代的时间拐点,华为云率先拥抱全闪存,是一次引擎、架构、芯片、算法、AI层面的全面革新。这意味着华为云将存储这项基础云服务率先提升了一个等级,也意味着华为云可以为用户提供更加极致性能与体验的云存储服务,成就一个不凡的微秒时代!