ITBear旗下自媒体矩阵:

斯坦福s1模型低成本真相:基于阿里云通义千问的微调奇迹?

   时间:2025-02-07 10:24:42 来源:ITBEAR编辑:快讯团队 发表评论无障碍通道

近日,人工智能领域传来一则引人瞩目的新闻。据多方报道,斯坦福大学和华盛顿大学的研究团队,在李飞飞等人的带领下,以极其低廉的成本——不足50美元的云计算费用,成功打造出一款名为s1的人工智能推理模型。该模型在数学和编程能力测试中,表现与OpenAI的O1和DeepSeek的R1等业界顶尖推理模型难分伯仲。

这一消息迅速在AI界掀起了轩然大波,引发了广泛讨论。为了揭开s1模型低成本训练的真相,《科创板日报》记者进行了深入调查和多方采访。

经过细致研究,记者发现s1模型的训练并非从零开始,而是基于阿里云的通义千问(Qwen)模型进行了监督微调。这一发现意味着,s1模型之所以能够以如此低的成本实现高性能,是因为它站在了一个已经具备强大能力的开源基础模型之上。换句话说,s1模型的“神奇”之处,在于它巧妙地利用了已有的基座模型。

上海交通大学人工智能学院的谢伟迪副教授指出,如果仔细阅读斯坦福s1的论文,不难发现,s1模型的训练过程实际上是在通义千问模型的基础上进行微调。那1000个样本数据,更像是对已有模型能力的“锦上添花”,而非从零开始的全新训练。这一观点得到了国内某知名大模型公司CEO的佐证。他表示,从论文原文来看,所谓的50美元训练新模型,实际上是使用从谷歌模型中提炼的1000个样本,对通义千问模型进行了监督微调。这种微调的成本确实低廉,但显然是在已有领先模型的“肩膀”上实现的。

斯坦福s1论文原文也明确指出了这一点,即模型是以阿里通义千问模型为基础进行微调的。谢伟迪副教授进一步指出,国内外还有其他团队也声称以极低成本训练出了具有推理能力的新模型,但无一例外都是基于通义模型作为基座进行的。这一观点得到了国外多位人工智能研究者的支持,他们指出,许多所谓的“新”模型,实际上都是建立在通义模型的基础之上的。

谢伟迪副教授强调,以通义千问模型作为基座,确实可以用很少的样本数据就达到产生新的推理模型的效果。但如果换成其他基座模型,新模型的能力却不会有任何提升。因此,他认为,真正神奇的是Qwen模型,而不是s1模型。

尽管s1模型的低成本训练在一定程度上展示了AI训练的潜力,但其局限性也不容忽视。首先,这种低成本训练依赖于已有的强大基座模型,如阿里通义千问模型。如果没有这样的基座模型作为支撑,低成本训练的效果将大打折扣。其次,1000个样本数据的训练量在大多数情况下是不够的,尤其是在需要处理复杂任务的场景中。低成本训练的成功还引发了对AI模型知识产权和伦理问题的讨论。如果越来越多的研究依赖于已有的基座模型进行微调,那么这些基座模型的开发者是否应该获得相应的回报?如何确保AI技术的公平使用和共享?这些问题都需要业界进行深入探讨和妥善解决。

尽管如此,s1模型的低成本训练仍然为AI领域提供了新的思考方向。如何在保证模型性能的前提下,降低训练成本,成为AI研究的一个重要课题。未来,或许我们能够看到更多低成本、高性能的AI模型问世,但这需要技术的不断进步和算法的不断优化。

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  RSS订阅  |  开放转载  |  滚动资讯  |  争议稿件处理  |  English Version