近期，清华大学高性能计算研究所传来重大消息，翟季冬教授团队携手清华背景的科创先锋清程极智，共同揭晓了一项开源大模型推理引擎——“赤兔Chitu”。这一创新成果为国产AI芯片的普及应用和生态建设铺设了新的道路。
“赤兔Chitu”实现了在非英伟达Hopper架构GPU及多种国产芯片上直接运行FP8精度模型的历史性突破，打破了此前FP8精度模型对英伟达Hopper架构（例如H100/H200）的硬件束缚，为行业带来了更多选择。
在A800集群的实际测试中，“赤兔”引擎展现了惊人的性能。在GPU使用量减半的情况下，推理速度却提升了3.15倍，这一成果不仅大幅降低了企业的硬件投入成本，还显著提升了运算效率。
“赤兔”引擎的智能优化技术具备强大的兼容性，能够迅速适应不同的芯片架构。这意味着国产硬件厂商无需再投入大量资源进行软件重复开发，可以将更多精力集中在硬件的升级与优化上。目前，清程极智已经与沐曦、燧原等领先厂商携手，推出了即插即用的推理一体机，在金融、医疗等多个领域得到了广泛应用。
清程极智的CEO汤雄超强调，目前国内在推理引擎这一关键环节上，仍然缺乏达到生产级标准的开源产品。“赤兔”引擎的开源，是推动国内AI生态建设的关键一步，它将为行业带来更加高效、灵活的技术支撑，助力行业实现更快发展。
