随着科技的飞速发展,企业软件应用程序中集成自主性人工智能(AI)的趋势日益显著。据Gartner预测,到2028年,含有自主性AI的企业软件应用比例将从目前的不到1%激增至33%。同时,30%的企业机构计划将数据变现或数据入表纳入其数据战略,凸显了数据在现代企业中的重要性。
AI的进步离不开算力、算法和数据这三大支柱。尽管算力的需求和算法的优化至关重要,但高质量的数据集才是当前AI发展最迫切的需求。这一需求不仅推动了AI技术的革新,还催生了数据存储领域的新变革。
在人工智能的浪潮下,数据中心正在经历深刻变革,逐渐从以“人”为中心和以“服务器”为中心转变为以“数据”为中心。这一转变促使存储行业发生根本性变化,以适应AI时代对数据存储和处理的新要求。
中国信息通信研究院院长余晓晖在今年中国算力大会上指出,中国存力规模在过去一年中持续增长,截至2023年底已达到约1200EB,同比增加20%,先进存储容量占比也超过25%,同比增加20%。这一数据表明,中国在数据存储领域取得了显著进展。
《AIGC数据存储研究报告》指出,AIGC技术进一步凸显了“以数据为中心”的趋势,数据的按需流动和存储成为支撑这一技术变革的关键。浪潮信息存储首席架构师孙斌认为,随着AI应用的不断发展和国家层面推动的数据要素市场化进程,数据的重要性日益凸显。同时,近数据计算需求的增加也对存储系统的速度和性能提出了更高要求。
当前,存储行业面临的挑战不仅在于提供足够的存储空间,还需要具备并行存储能力、解决数据流动问题,并提升数据访问效率。随着大模型应用的普及,无论是企业内部还是社会公共数据量都呈现爆炸式增长,如何实现高效存储和节约存储空间成为企业降本增效的关键。
在AIGC场景下,存储系统面临性能、效率和韧性方面的多重挑战。为了满足这些需求,存储底座需要具备数据流动、处理、共享、容纳、安全和管理六种能力,即“六位一体”画像。这些能力从产品和方案上满足了AIGC对存储的严苛要求。
存储行业的变革不仅体现在存储介质上,还体现在存储架构上。为了提高GPU的利用效率,存储系统必须提供TB级的高带宽和百万级的高IOPS,以确保模型训练的高效运行。为了解决数据流动问题,数据中心内部需要一套全新的存储架构,支撑混合负载,并通过统一系统实现数据全生命周期的应用。
以清华大学的生命科学研究项目为例,该项目需要在小鼠血液中加入荧光剂,并使用28台相机连续72小时拍摄小鼠,最后将这些图片拼接成三维图像序列。由于小鼠是活体的,血液流动导致拍摄过程中不能有任何一帧的丢失,否则将导致整个拍摄项目失败。清华大学范静涛表示,该项目对存储的要求不仅在于容量,更在于实时在线和不能丢帧。
面对这些挑战,存储行业需要解决如何在更小的空间内存储更多数据的问题。一方面,通过优化存储系统可以提高空间利用率;另一方面,新的存储介质如HDD和SSD也成为焦点。HDD适合存储冷数据和归档数据,而SSD则因其高性能和低延迟等特点逐渐成为主流。随着QLC、SSD等新型技术的发展,SSD的容量和成本将进一步优化。
浪潮信息存储近期提出了可组合分布式融合存储(CDFS)的新模式,打造了三层三面两体的可组合架构。这一架构包括数据编织层、微服务化功能层和硬件资源层,以及控制面、数据面和智能面。在此基础上,浪潮信息存储还根据不同场景细分成了机柜级存储底座(BoR)和数据中心级存储底座(BOD),以满足不同用户的需求。
BoR存储架构适用于边缘化、规模小的企业侧应用,如模型推理使用的算力服务器。它能在更小的空间内实现更高效、更低成本的近数据计算。而BOD存储底座则适用于通用大模型训练、调优等场景,需要跨云、跨系统、跨地域的协同计算能力。
随着推理市场的升温,未来使用BoR架构的场景将越来越多。企业将有更多近数据计算的需求,从而催生近数据存储的需求。这将推动BoR在更多场景下的落地应用。