近期，B站知名UP主“虽然但是张黑黑”发布了一段引人注目的视频，该视频揭示了苹果最新满血版M3 Ultra芯片在运行超大规模AI模型时的惊人表现。测试中，这款芯片在驱动DeepSeek R1模型——一个拥有6710亿参数的庞然大物时，展现出了超越8张NVIDIA A100显卡的性能，而其成本却远低于传统解决方案。
通常，运行如此大规模的AI模型需要借助配备6至8张A100显卡的专业服务器，这样的配置总价往往超过百万元人民币，对于大多数用户而言，这无疑是一道难以逾越的门槛。然而，满血版M3 Ultra却仅凭一台Mac Studio就实现了相近的性能，其性价比之高令人瞩目。
测试数据显示，在运行DeepSeek R1模型时，8张A100显卡的性能为每秒处理16.41个Tokens，而满血版M3 Ultra在GGUF格式下达到了每秒15.78个Tokens。但令人惊喜的是，当切换到能充分发挥统一内存优势的MLX格式后，M3 Ultra的速度飙升至每秒19.17个Tokens，成功超越了8张A100显卡的表现。在运行DeepSeek V3的6710亿参数模型时，M3 Ultra的速度更是达到了每秒19.66个Tokens。
然而，值得注意的是，M3 Ultra的性能优势并非在所有场景下都能显现。在进行单一模型推理时，主要依赖于内存带宽和容量，此时A100显卡的潜力可能无法得到完全发挥。而在多用户推理和大模型训练等更复杂的应用场景中，M3 Ultra则无法与A100相媲美。
尽管如此，M3 Ultra在大语言模型推理速度测试中的表现依然令人印象深刻。无论是Llama 3.1的70B版本、Gemma2的27B版本还是Qwen 2.5的14B版本，M3 Ultra的速度都明显优于其他M系列芯片。与M2 Ultra相比，M3 Ultra在这些模型上的速度分别提升了13%、34%和18%。
此次测试的满血版M3 Ultra配备了高达512GB的统一内存，其总价为74249元人民币。对于大多数用户而言，如果不需要运行如此大规模的模型，可以适当降低统一内存的容量以节省成本。这一灵活的配置选项无疑为更多用户提供了体验高性能AI计算的可能性。
