ITBear旗下自媒体矩阵:

低成本高效率!斯坦福团队打造出媲美OpenAI的推理AI模型

   时间:2025-02-06 10:32:36 来源:ITBEAR编辑:快讯团队 发表评论无障碍通道

近日,人工智能领域迎来了一项引人注目的新突破。一项由斯坦福大学与华盛顿大学联手完成的研究显示,科学家们仅花费不到50美元(当前汇率约364元人民币)的云计算成本,便成功打造出一个具备卓越“推理”能力的人工智能模型,命名为s1。

s1模型在数学逻辑与编程能力测试中,展现出了与业界顶尖推理模型,如OpenAI的o1和DeepSeek的r1不相上下的表现。更令人瞩目的是,s1模型及其训练数据和代码已在GitHub平台全面开源,供全球开发者学习与研究。

s1团队透露,该模型的诞生得益于“蒸馏”技术,这是一种通过训练模型来模仿另一模型的答案,从而提炼出“推理”能力的创新方法。s1正是从谷歌的Gemini 2.0 Flash Thinking Experimental模型中蒸馏而来。值得注意的是,加州大学伯克利分校的研究团队也采用了同样的蒸馏方法,以约450美元的成本开发出了一款人工智能推理模型。

s1模型的横空出世,引发了业界对于人工智能模型商品化的深刻反思。若能以极低的成本复制出价值数百万美元的模型,大型科技公司的竞争优势何在?这一话题引发了广泛讨论。不出所料,OpenAI等人工智能巨头对此表示担忧,此前就曾指责DeepSeek不当获取其API数据用于模型蒸馏。

s1团队则致力于探索实现高效推理性能和“测试时扩展”的最简化路径,这些正是OpenAI的o1模型所展现出的突破性进展。s1的论文指出,通过监督微调(SFT)方法,即便使用较小的数据集也能成功蒸馏出推理模型。在SFT过程中,模型被明确指示模仿特定行为,相较于DeepSeek用于训练R1模型的大规模强化学习方法,SFT更具成本效益。

谷歌通过其Google AI Studio平台免费提供Gemini 2.0 Flash Thinking Experimental模型的访问权限,但每日使用有限制,并明确禁止逆向工程以开发竞争服务。然而,s1团队巧妙地利用了这一资源。他们基于阿里巴巴旗下中国人工智能实验室Qwen提供的一款小型免费模型,创建了仅包含1000个精心挑选的问题及其答案的数据集,并引入了谷歌Gemini 2.0 Flash Thinking Experimental为每个答案提供的“思考”过程。

在训练过程中,s1团队使用了16个Nvidia H100 GPU,耗时不到30分钟便完成了训练,成本仅为约20美元。训练后的s1在某些人工智能基准测试中取得了优异成绩。斯坦福大学参与该项目的研究员Niklas Muennighoff向TechCrunch透露了这一信息。

s1团队还采用了一个独特的技巧来提升模型的准确性:让s1在推理过程中“等待”。论文显示,在推理步骤中加入“等待”一词,有助于模型获得更精确的答案。这一创新方法无疑为人工智能领域带来了新的启示。

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  RSS订阅  |  开放转载  |  滚动资讯  |  争议稿件处理  |  English Version