ITBear旗下自媒体矩阵:

清华开源“赤兔Chitu”引擎:国产AI芯片迎来成本减半新机遇

   时间:2025-03-14 18:16:19 来源:ITBEAR编辑:快讯团队 发表评论无障碍通道

近期,清华大学高性能计算研究所传来重大消息,翟季冬教授团队携手清华背景的科创先锋清程极智,共同揭晓了一项开源大模型推理引擎——“赤兔Chitu”。这一创新成果为国产AI芯片的普及应用和生态建设铺设了新的道路。

“赤兔Chitu”实现了在非英伟达Hopper架构GPU及多种国产芯片上直接运行FP8精度模型的历史性突破,打破了此前FP8精度模型对英伟达Hopper架构(例如H100/H200)的硬件束缚,为行业带来了更多选择。

在A800集群的实际测试中,“赤兔”引擎展现了惊人的性能。在GPU使用量减半的情况下,推理速度却提升了3.15倍,这一成果不仅大幅降低了企业的硬件投入成本,还显著提升了运算效率。

“赤兔”引擎的智能优化技术具备强大的兼容性,能够迅速适应不同的芯片架构。这意味着国产硬件厂商无需再投入大量资源进行软件重复开发,可以将更多精力集中在硬件的升级与优化上。目前,清程极智已经与沐曦、燧原等领先厂商携手,推出了即插即用的推理一体机,在金融、医疗等多个领域得到了广泛应用。

清程极智的CEO汤雄超强调,目前国内在推理引擎这一关键环节上,仍然缺乏达到生产级标准的开源产品。“赤兔”引擎的开源,是推动国内AI生态建设的关键一步,它将为行业带来更加高效、灵活的技术支撑,助力行业实现更快发展。

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  RSS订阅  |  开放转载  |  滚动资讯  |  争议稿件处理  |  English Version