ITBear旗下自媒体矩阵:

NVIDIA Blackwell平台破MLPerf记录:Llama模型吞吐量狂增30倍!

   时间:2025-04-03 12:19:52 来源:ITBEAR编辑:快讯团队 发表评论无障碍通道

NVIDIA在最新一轮MLPerf V5.0基准测试中,凭借Blackwell平台大放异彩,展现了其在人工智能领域的卓越实力。

MLPerf,这一由图灵奖得主大卫·帕特森携手谷歌、斯坦福及哈佛大学等重量级机构共同创立的性能基准测试平台,无疑是国际AI领域的权威风向标。它旨在通过标准化测试,全面衡量人工智能硬件、软件及服务的性能表现。

值得注意的是,此次MLPerf更新引入了Llama 3.1 405B,这一庞大且复杂的开放权重模型,无疑为测试增添了极大的挑战。然而,NVIDIA及其合作伙伴却迎难而上,成功提交了Llama 3.1 405B基准测试的结果,成为业界焦点。

在Llama 3.1 405B基准测试中,NVIDIA的GB200 NVL72系统通过72个Blackwell GPU的紧密协作,实现了惊人的性能提升。与H200 NVL8相比,其吞吐量竟高达30倍之多,这一成绩无疑彰显了NVIDIA在GPU技术上的深厚积累。

除了吞吐量的大幅提升,NVIDIA在推理部署的关键指标上也取得了显著进步。首次响应时间(TTFT)和每个输出令牌的时间(TPOT)是衡量用户体验的重要指标。在新的Llama 2 70B Interactive基准测试中,NVIDIA利用8个Blackwell GPU的DGX B200系统,将TPOT缩短了5倍,TTFT降低了4.4倍,为用户带来了更为流畅的体验。

在这一更具挑战性的基准测试中,NVIDIA的表现同样出类拔萃。与使用8个H200 GPU的系统相比,DGX B200系统的性能高出三倍之多,为Llama 2 70B基准测试树立了新的标杆。

NVIDIA的这一系列成就,不仅展示了其在人工智能领域的领先地位,更为行业树立了新的性能标准。随着人工智能技术的不断发展,NVIDIA将继续以技术创新为驱动,推动AI性能的持续提升。

可以预见,NVIDIA的Blackwell平台将在未来的人工智能应用中发挥更加重要的作用,为各行各业带来更加智能、高效的解决方案。

此次MLPerf V5.0基准测试的结果,无疑为NVIDIA在人工智能领域的实力提供了有力的证明。

随着技术的不断进步和应用场景的不断拓展,NVIDIA将继续引领人工智能技术的发展潮流,为人类社会创造更加美好的未来。

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  RSS订阅  |  开放转载  |  滚动资讯  |  争议稿件处理  |  English Version