ITBear旗下自媒体矩阵:

毅伯智算推出DeepSeek一体机,性能领先英伟达40%,重塑推理性能标杆

   时间:2025-03-15 23:52:48 来源:ITBEAR编辑:快讯团队 发表评论无障碍通道

近日,国内领先的软硬协同算力解决方案提供商毅伯智算,在人工智能推理领域迈出了重要一步,推出了其自研的8卡推理一体机TORA3000,搭载了高性能的满血版DeepSeek-R1-671B模型。这一创新产品不仅在推理性能上超越了市场上的同类产品,如英伟达的H20-141G,实现了四成的性能提升,还在硬件、组网和功耗方面达到了综合成本的最优化。

毅伯智算凭借其在人工智能与超算领域深厚的研发实力,凝聚了一支超过百人的AI工程师团队,核心成员均拥有超过十年的行业经验。自2022年起,团队致力于全栈式AI训推平台的研发,并于次年成功推出了该平台。在此基础上,2025年3月,毅伯智算进一步推出了TORA3000推理一体机,标志着公司在软硬件一体化解决方案上的又一重大突破。

TORA3000作为一款软硬件一体化的产品,旨在满足客户的全面推理需求。它开箱即用,无需复杂的配置和调试,大大节省了客户的时间和成本。更重要的是,TORA3000凭借其自研的软硬件综合优势,提供了极具性价比的解决方案。一台TORA3000即可实现8卡高性能推理,显著降低了客户的硬件成本。同时,它还原生支持DeepSeek-R1-671B所采用的FP8精度,并兼容FP64/32/16及INT8,保证了推理精度的同时,有效降低了部署成本。

对于Deepseek推理一体机的选择,企业用户常常面临满血版和蒸馏版的抉择。满血版作为知识输出者,能够深度处理高复杂度的任务,如代码生成和知识图谱构建等。而蒸馏版则作为学生模型,受限于知识压缩和固定架构,仅适用于特定且相对简单的场景。对于大中型企业而言,配置满血版一体机作为核心引擎,是支撑业务迭代和高密度推理需求的必要选择。

然而,受GPU硬件性能的限制,市场上满血版推理一体机的部署方案多种多样。双机方案相较于单机方案,硬件成本和功耗都会翻倍,而四机方案则更高,且增加了额外的组网和运维成本。在Deepseek原生FP8精度下,一体机(8卡)要流畅运行满血模型,单卡显存需大于120G(整机显存大于1000GB)。显存不足时,必须采用多机部署。部分GPU不支持FP8运算,只能量化为INT8或FP16模型,但INT8精度下推理精度会下降,FP16则会导致所需显存和节点数量翻倍。

为了降低部署成本、简化部署复杂性并保证性能,毅伯智算的TORA3000成为了一个优选方案。TORA3000不仅支持FP8精度,而且其单卡显存超过120GB,满足了高性能推理的需求。市场上能够满足这一条件的同类产品寥寥无几,除了TORA3000外,仅有英伟达的H20-141G。经过采用开源数据集和测试工具对两者进行推理性能测试,结果显示TORA3000的性能提升达到了40%,成功跻身业界领先水平。

TORA3000还通过全自研的算子库、编译技术和推理框架等技术手段,实现了更快的计算效率、长文本和高并发请求的支持,以及更高的推理性能。这些技术优势使得TORA3000在市场上更具竞争力,为企业用户提供了更加高效、可靠和经济的推理解决方案。

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  RSS订阅  |  开放转载  |  滚动资讯  |  争议稿件处理  |  English Version