在AI技术日新月异的今天,企业对于AI推理落地的需求愈发迫切。火山引擎凭借其AI云原生方案,为企业提供了一套适配当下AI推理需求的IT土壤,助力企业加速AI技术的产业化进程。
这套IT土壤被视为目前国内最新、最适配AI推理的IT架构体系。它包含了大规模GPU集群的弹性调度管理、专为AI推理场景设计的存储计算产品,以及基于AI训练推理需求的网络优化。这些特性使得企业能够以更快、更稳、更具性价比的方式实现AI落地。
然而,在AI技术落地的过程中,企业面临着诸多挑战。一位AI企业负责人透露,在具体场景的落地过程中,推理需求规模几乎是训练需求的5-10倍。这导致企业在尝试AI落地时,常常会遇到推理训练成本高、AI应用反应速度慢等问题。火山引擎AI云原生方案的出现,正是为了解决这些痛点。
火山引擎云基础产品负责人罗浩表示,在AI大模型时代,业务架构从以CPU为中心转变为以GPU为中心,整个体系都需要升级。这包括资源层的更高难度调度模式、对新的资源层和新的数据模型的处理方式,以及适配AI模型的一系列计算、存储数据库产品、新的编排等中间件,还有新的网络稳定手段等。
以美图秀秀为例,作为应用市场的骨灰级玩家,美图在AI时代面临着转型的压力。火山引擎成为了其底层助力者,通过一系列算力资源、存储网络的加持,帮助美图构建了一个有弹性、成本可控、健康的AI infra架构。这不仅使得美图能够实现在不同场景下GPU卡资源的调度,更能在流量高峰时迅速扩容资源,满足其大规模推理场景的落地。
同样受益于火山引擎AI云原生方案的还有沐瞳科技和深势科技。沐瞳科技通过火山引擎的Private Link私网访问调用豆包大模型API,实现了推理侧的超低时延、低成本的落地。而深势科技则在火山引擎的加持下,解决了大量不同格式的数据处理问题,实现了不同训练推理场景的资源匹配,保证了业务的高效推进。
在火山引擎FORCE原动力大会上,火山引擎正式推出了AI云原生方案,并展示了其在算力、存储、网络层面的亮点。其中,算力层面推出了弹性预约实例ESI和抢占式实例Spot,全面支持CPU和GPU,满足不同场景客户的弹性算力需求。存储层面则发布了弹性极速缓存EIC,通过GPU Direct和RDMA技术解决了传统AI架构中核心数据流动绕行CPU的问题。网络层面则提供了第三代异构GPU和NPU实例,以及第四代CPU实例,全面支持普惠的vRDMA互联能力,显著提升了训练和推理效率。
火山引擎veStack智算版也升级到了2.0阶段,不仅在智算基础设施上有了更丰富的支持,还在稳定性建设、运维能力、训练框架和模型开发能力上都有了进一步提升。同时,在生态方面提供了标准化API,针对各行各业的不同场景都提供了行业落地能力,帮助客户更好地应对智算时代的各种挑战。
火山引擎AI云原生方案的推出,不仅解决了企业在AI落地过程中遇到的痛点,更提供了一个最适宜AI推理表达的土壤。这个土壤包含了大规模GPU集群的弹性调度管理、国内最适配AI推理场景的存储计算产品,以及基于AI训练推理需求的网络优化。这些特性使得企业能够以更高效、更具性价比、更实用、更安全的方式满足推理需求。
罗浩表示,现在不同的企业需求都在火山引擎底层AI云原生方案的加持下推进。无论是企业对AI应用的初步探索,还是对某些环节基于AI的进化,抑或是企业层面的AI升级迭代,火山引擎AI云原生都能提供当下最适配AI推理落地的IT土壤。
火山引擎AI云原生方案的成功,不仅得益于其在技术上的先发性和长期积累,更得益于其对市场需求的深刻洞察和精准把握。随着AI技术的不断发展和企业对AI推理需求的不断增加,火山引擎AI云原生方案有望成为推动产业数智化升级的重要力量。