近日,MLCommons宣布了一项重要进展,正式推出了MLPerf Client基准测试的0.5版本,这一版本专门针对消费类PC的AI性能进行评估。这是该基准测试的首个公开版本,标志着AI性能评估领域的一大步。
MLCommons表示,MLPerf Client基准测试的问世离不开众多利益相关方的共同努力,包括AMD、英特尔、微软、英伟达、高通以及顶级PC制造商等。这些合作伙伴为测试的开发提供了宝贵的专业知识和资源。
MLPerf Client基准测试0.5版本基于meta的Llama 2 7B开源LLM,涵盖了四项AI任务,分别是内容生成、创意写作以及对两份不同长度文本的摘要。该版本目前支持两种加速路径,分别是DirectML ONNX和OpenVINO(仅限于英特尔GPU)。
值得注意的是,该基准测试在初期阶段仅支持Windows x86-64设备。具体来说,可以在以下设备上运行:AMD Radeon RX 7900系列独立显卡、最低配备8GB显存的英特尔锐炫独显、最低配备12GB显存的英伟达GeForce RTX 40系列独显、锐龙AI 9系列处理器(最低32GB内存)以及搭载英特尔锐炫核显的酷睿Ultra 200系列处理器(最低16GB内存)。
虽然目前仅限于特定设备和操作系统,但MLCommons透露,MLPerf Client未来将会拓展支持范围,包括macOS和Windows on Arm设备。同时,还将引入更多的硬件加速路径以及更广泛的AI模型测试场景,以满足不断发展的市场需求。
对于对MLPerf Client基准测试感兴趣的读者,可以通过以下链接了解更多信息: