百度近日正式推出了飞桨框架3.0版本,这一深度学习框架专为大型模型设计,标志着百度在人工智能基础设施领域迈出了重要一步。飞桨框架3.0不仅在硬件适配和开发体验上实现了全面进化,更是在大模型训练、推理等多个方面带来了显著优化。
作为大模型时代的关键支撑,深度学习框架的重要性日益凸显。飞桨框架3.0的发布,正是为了应对这一挑战,它通过一系列创新技术,为大模型的训练与推理提供了强有力的支持。
其中,“动静统一自动并行”技术是飞桨框架3.0的一大亮点。这一技术通过智能地分配计算资源,大幅降低了大模型开发的训练成本,使得算法创新能够更专注于核心价值创造,而非繁琐的技术细节。
飞桨框架3.0还采用了“训推一体”的设计理念,打破了传统训练与推理之间的界限。通过全方位深度优化,飞桨框架3.0能够支持众多开源大模型进行高性能推理,并在DeepSeek V3 / R1等平台上取得了卓越的性能表现。目前,该框架已支持文心4.5、文心X1等多款主流大模型,使得低时延、高吞吐、低算力成本的推理服务成为现实。
在科学智能领域,飞桨框架3.0同样表现出色。它针对科学前沿探索的需求,提升了微分方程求解速度。通过高阶自动微分和神经网络编译器技术,飞桨框架3.0在微分方程求解方面取得了显著加速,速度远超PyTorch等竞争对手。飞桨还对DeepXDE、Modulus等主流开源科学计算工具进行了广泛适配,成为DeepXDE的默认推荐后端。
在运算速度方面,飞桨框架3.0借助创新的神经网络编译器CINN,实现了性能的显著提升。在A100平台上进行的RMSNorm算子性能测试显示,经过编译优化后的算子运行速度提升了4倍。在超过60个模型上的实验表明,使用CINN编译器后,超过60%的模型性能有显著提升,平均提升幅度达到27.4%。
在硬件适配方面,飞桨框架3.0也推出了多芯片统一适配方案,构建了“一次开发,全栈部署”的生态体系。目前,该框架已适配超过60个芯片系列,覆盖训练集群、自动驾驶、智能终端等多个场景。这意味着开发者只需编写一份代码,就可以轻松实现程序在不同芯片上的顺畅运行和业务的跨芯片迁移。
飞桨框架3.0的正式发布,标志着百度在深度学习框架领域取得了重要进展。截至2024年10月,飞桨文心生态已汇聚了1808万开发者,服务了43万家企事业单位,创建了101万个模型。这一框架的推出,无疑将为人工智能领域的发展注入新的动力。
目前,飞桨框架3.0正式版本已面向开发者开放,并且兼容2.0版本的开发接口。这一举措将使得更多开发者能够轻松上手并使用这一强大的深度学习框架,共同推动人工智能技术的创新与发展。