ITBear旗下自媒体矩阵:

摩尔线程全速前进:全面拥抱DeepSeek开源周,国产显卡生态再升级!

   时间:2025-03-02 14:24:46 来源:ITBEAR编辑:快讯团队 发表评论无障碍通道

摩尔线程在近日宣布,他们已经成功完成了对DeepSeek开源周所有项目的全面支持,这一成果在短时间内实现,展示了MUSA架构和全功能GPU在生态兼容与快速适配方面的卓越能力。此次支持涵盖了FlashMLA、DeepEP、DeepGEMM、DualPipe以及Fire-Flyer文件系统(3FS)等多个开源项目。

FlashMLA是一个专为加速MLA(Multi-Head Latent Attention)机制计算而设计的开源推理内核仓库,尤其适用于DeepSeek系列模型。摩尔线程通过引入全新的MUSA Compute Capability 3.1计算架构,提供了原生FP8计算能力,并升级了高性能线性代数模板库MUTLASS,从而快速支持了FlashMLA。用户可以通过摩尔线程发布的MT-FlashMLA开源仓库,轻松实现对DeepSeek FlashMLA的兼容部署。

DeepEP则是一个专注于MoE(混合专家)模型训练和推理的开源EP(expert parallelism,专家并行)通信库,特别适用于大模型训练,特别是需要EP的集群训练。摩尔线程基于MUSA Compute Capability 3.1全功能GPU,迅速适配了DeepEP,从而显著提升了训练效率。

DeepGEMM则是一个支持FP8 GEMM(General Matrix Multiplication,通用矩阵乘法)的开源库,为V3/R1的训练与推理提供了强大支持。摩尔线程基于MUTLASS在全新GPU架构上优化实现了FP8矩阵乘法,确保了DeepGEMM功能的充分发挥。

DualPipe是DeepSeek-V3提出的双向流水线并行算法,通过前向计算与后向计算阶段的计算与通信完全重叠,显著减少了设备空闲等待时间,提升了资源利用率与训练效率。摩尔线程依托深度学习框架Torch-MUSA和MUSA软件栈的全方位兼容性,实现了对DualPipe算法的高效支持,用户可以完整接入摩尔线程的MT-Megatron框架和即将开源的MT-TransformerEngine框架,实现DeepSeek V3训练流程的完整复现。

Fire-Flyer文件系统(3FS)是一种能够充分利用现代SSD和RDMA网络带宽的并行文件系统,可以将固态硬盘的带宽性能发挥到极致。摩尔线程在极短的时间内完成了高性能分布式文件系统3FS的搭建,并开发了存储插件,成功实现了与夸娥智算集群的无缝集成,为AI训练、AI推理、科学计算等场景提供了全栈存储加速方案。

摩尔线程的这一系列成果,不仅展示了他们在GPU技术和生态兼容方面的强大实力,也为用户提供了更加丰富和高效的解决方案。未来,摩尔线程将继续致力于技术创新和生态建设,为用户提供更加优质的产品和服务。

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  RSS订阅  |  开放转载  |  滚动资讯  |  争议稿件处理  |  English Version