ITBear旗下自媒体矩阵:

小米发布推理大模型Xiaomi MiMo,7B参数超越众多强者,已开源!

   时间:2025-04-30 10:04:39 来源:ITBEAR编辑:快讯团队 发表评论无障碍通道

小米公司近期在人工智能领域取得了突破性进展,正式宣布将其专为推理能力打造的大模型“Xiaomi MiMo”面向全球开源。这一举措不仅彰显了小米在AI技术上的雄厚实力,更标志着其在推理模型研发上的重大飞跃。

“Xiaomi MiMo”的问世,旨在突破当前预训练模型在推理能力上的局限性。在多个公开测评集中,该模型以仅70亿参数的规模,展现出了超越大型闭源及开源推理模型的卓越性能。特别是在数学推理(AIME24-25)和代码竞赛(LiveCodeBench v5)上,MiMo的表现尤为亮眼,成功击败了OpenAI的o1-mini和阿里云的QwQ-32B-Preview等强劲对手。

在强化学习领域,MiMo同样展现出了非凡的潜力。与市面上广泛使用的强化学习起步模型相比,如DeepSeek-R1-Distill-7B和Qwen2.5-32B,MiMo-7B在性能上显著领先。这一成就的取得,得益于MiMo在预训练和后训练阶段所采取的一系列创新策略。

在预训练阶段,MiMo深入挖掘富含推理内容的语料库,并合成了约2000亿个推理数据tokens。通过三阶段逐步提升训练难度的策略,MiMo的总训练量达到了惊人的25万亿个tokens。这一阶段的努力,为MiMo后续的卓越表现奠定了坚实的基础。

进入后训练阶段,MiMo则更加注重强化学习算法和框架的高效稳定性。为了缓解困难算法问题中的奖励稀疏问题,MiMo提出了“测试难度驱动奖励”策略。同时,引入“简单数据重采样”策略以稳定RL训练过程。MiMo还创新性地设计了“无缝部署”系统,使得RL训练和验证过程分别加速了2.29倍和1.96倍。

目前,“Xiaomi MiMo”全系列模型已正式在HuggingFace平台上开源。用户只需访问该平台,即可轻松获取并尝试这一前沿的推理模型。小米的这一举措,无疑将为全球AI开发者提供更加丰富的资源和选择,共同推动人工智能技术的不断发展和创新。

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  RSS订阅  |  开放转载  |  滚动资讯  |  争议稿件处理  |  English Version