ITBear旗下自媒体矩阵:

褐蚁一体机:十万成本解锁大模型生产力,技术平权浪潮将至?

   时间:2025-04-29 21:06:39 来源:ITBEAR编辑:快讯团队 发表评论无障碍通道

近日,一款名为“褐蚁”的一体机产品在科技圈内引起了广泛关注。这款由行云集成电路推出的产品,凭借其仅需10万元即可运行满血版DeepSeek R1/V3大模型的特性,成为了市场上的热门话题。

据悉,“褐蚁”一体机共有三款配置,其中主打极致性能的褐蚁HY90备受瞩目。它搭载了双路AMD EPYC 9355服务器、24条48G 6400M频率内存以及5090D计算卡,支持FP8、INT4两种数据精度。在FP8精度下,褐蚁HY90能够以21token/s的速度运行满血版DeepSeek大模型,而在INT4精度下,速度更是达到了28token/s,最高支持128K的上下文。

在当前一体机市场,高性能产品往往价格高昂,动辄百万元以上,而市场上大部分企业的预算集中在10-50万元区间。褐蚁一体机的推出,打破了这一僵局,使得中型企业能够以家用轿车的成本,部署接近实验室级的大模型生产力工具。这一举措不仅降低了大模型的应用门槛,更为企业数字化转型提供了有力支持。

不仅如此,褐蚁一体机在用户体验上也下足了功夫。许多企业在购买低价一体机后发现,产品只能运行INT4精度的数据,且DeepSeek运行速度极慢。而褐蚁一体机在保证满血版DeepSeek模型在FP8精度下达到20token/s体验的前提下,进一步压缩了硬件成本,使得企业能够以更实惠的价格获得更好的使用体验。

在实际测试中,褐蚁一体机也展现出了不俗的性能。将问题同时输入运行在褐蚁HY90上的DeepSeek和DeepSeek官网,可以发现褐蚁一体机的运行速度更快,且能够更早地得出答案。在创作场景下,褐蚁一体机同样表现出色,能够更快地回答用户的问题。

那么,行云集成电路是如何将运行顶级大模型的成本从百万元级别拉到十万元级的呢?这背后离不开对技术趋势的深刻洞察和极致的软硬件协同优化。在DeepSeek大模型的部署中,内存是决定模型能否“满血运行”的核心瓶颈。而行云集成电路发现,现在DDR5的频率逐渐达到了6400MHz,服务器CPU的内存通道数不断增加,双路24通道DDR5-6400内存的带宽已经达到了1.2TB/s,远超DeepSeek的需求。

基于这一发现,行云集成电路采用了CPU内存作为主要载体承载大模型权重,搭载了双路AMD EPYC 9355服务器CPU和英伟达的消费级5090D显卡,不仅满足了满血全精度R1、V3模型的运行需求,还使得理论上主参数1.5T以内的模型都可以得到支持。行云集成电路还通过自研推理引擎对软件和算法进行了优化,将MoE层的token延迟从超过30ms降低到了18ms(INT4精度下),进一步提升了用户体验。

褐蚁一体机的推出,是行云集成电路“技术平权”愿景的第一步。未来,他们计划推出自研的GPU/AI加速卡,搭载到即将面世的褐蚁HY70和褐蚁HY50上,提供性价比更高的一体机解决方案。同时,行云集成电路还将进一步提升单机的并发处理能力,并推出由多台褐蚁一体机组成的“蚁群”方案,以支持更多的有效并发数。

随着褐蚁一体机的推出,行云集成电路有望打破一体机市场的算力垄断,推动技术平权的崭新浪潮。他们希望一体机能像宇宙中的“褐蚁”一样,撬动被高成本束缚的大模型落地应用市场,让前沿AI技术成为真正赋能千行百业的普惠工具。

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  RSS订阅  |  开放转载  |  滚动资讯  |  争议稿件处理  |  English Version