ITBear旗下自媒体矩阵:

训推一体机非AI Infra未来?清程极智CEO汤雄超这样说

   时间:2024-10-16 12:27:06 来源:ITBEAR作者:柳晴雪编辑:瑞雪 发表评论无障碍通道

【ITBEAR】在超算时代,清华大学高性能计算研究中心便以解决算力需求相关软件问题而著称。如今,随着AI技术的迅猛发展,这一经验被应用到新的领域。清程极智,一家由清华大学计算机系团队创办的初创企业,正致力于解决AI Infra领域的挑战。

清程极智的核心团队拥有丰富的超大规模国产算力集群使用和优化经验,这是目前国内AI Infra赛道中少有的技术优势。据汤雄超博士介绍,他们是国内唯一有过十万台服务器规模的国产算力集群调优经验的团队。

汤雄超在清程极智办公室

清程极智不仅关注AI训练面临的挑战,还看到了推理侧的机会。汤雄超认为,训推一体机难以满足未来的全部AI业务需求,因为训练和推理两种业务对算力系统的需求差异较大。因此,清程极智选择为推理业务量身定制软硬件一体化的算力系统,并通过云端算力提供MaaS大模型推理服务。

对于与云厂商的竞争,汤雄超表示,大模型应用市场前景广阔,足以容纳多家厂商。他认为,云厂商过去聚焦于资源池化和共享,而现在需要解决的问题是分布式的资源合并,这正是清程极智团队的优势所在。

在商业化方面,清程极智已经与多家芯片厂商、算力中心、AI应用开发商以及基础模型预训练厂商达成了合作。同时,他们也在与云厂商合作,提供兼容和赋能多样化算力基座的服务。

清程极智 MaaS 平台

汤雄超还表示,他们对国产芯片市场的发展充满信心。他认为,随着国产芯片性价比的提升,未来国产芯片市场会有一定程度的收敛,但不会完全集中到一家厂商。而清程极智的技术和服务,正是为了助力国产算力生态的发展。

在谈到MaaS平台时,汤雄超表示,他们不仅提供大模型API的服务,还通过自研的推理引擎提升模型推理的性能。他们的MaaS平台支持多种芯片,包括英伟达和国产算力平台。而他们的目标,是让更多有需求的人使用到清程的推理加速能力。

对于未来,汤雄超表示,他们将继续致力于AI Infra领域的技术创新和商业化应用。他们相信,随着AI技术的不断发展,他们的技术和服务将在更多领域得到应用和推广。

清程极智团队成员

在谈到国产芯片厂商的竞争和合作时,汤雄超表示,他们与多家国产芯片厂商都有合作,并认为未来国产芯片市场可能会出现一定程度的集中和收敛,但不太可能出现一家独大的情况。他们将继续与国产芯片厂商合作,共同推动国产算力生态的发展。

最后,对于GPU是否是算力的最优解,汤雄超表示,这取决于上层应用的需求和算法的发展。他认为,如果AI算法发生巨变,可能会导致新的芯片架构的出现。但目前来看,GPU或类GPU架构仍然是较好的选择。

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  网站留言  |  RSS订阅  |  违规举报  |  开放转载  |  滚动资讯  |  English Version