微软在学术界引起了轰动，其最新研发的世界和人类行动模型（WHAM）Muse成功登上了国际权威期刊Nature。这一突破性的成果标志着微软在游戏生成模型领域迈出了重要一步。
Muse是一款基于视频游戏生成的模型，其参数规模庞大，达到了16亿。这一模型利用了长达7年的人类游戏数据进行训练，使其能够深入理解游戏中的物理规则和3D环境。在此基础上，Muse能够生成与玩家动作相对应的视觉效果，为游戏开发者提供了全新的创作工具。
尽管Muse仍处于研究早期阶段，其目前生成的游戏视觉效果分辨率为300×180像素，但论文显示，Muse生成的游戏视频在一致性、多样性和持久性方面表现出色。具体而言，Muse生成的两分钟视频效果与人类真实游戏效果相近，同时提供了多种摄像机角度、角色和游戏工具的多样性效果。开发者还可以通过添加新元素，Muse能够自动合理地将这些元素融入画面。
Muse的研发是微软研究员游戏智能团队、可教的AI体验（Tai X，Teachable AI Experiences）团队与Xbox Games Studios旗下的电子游戏制作公司Ninja Theory共同合作的成果。这一模型不仅展示了微软在游戏生成模型方面的技术实力，也预示着游戏体验的变革。
微软已经决定开源Muse的权重和样本数据，并提供了一个名为WHAM Demonstrator的可视化交互界面，供开发者体验和学习。开发者可以在Azure AI Foundry上试验权重、示例数据和演示器，这将极大地促进基于Muse的后续研究和创新。
Xbox也在考虑利用Muse为用户构建简短的交互式AI游戏体验，并计划在Copilot Labs上进行试用。这一举措有望将AI生成的游戏体验带给更多玩家，为他们带来全新的游戏体验。
在研发过程中，微软的研究人员与多学科人员进行了协作，以评估生成式AI在创意设计方面的重要性。他们确定了生成模型可能需要的三种关键能力：一致性、多样性和持久性。Muse在生成游戏视频时能够保持这三种能力，使得生成的视频既连贯又富有变化，同时还能够支持用户对游戏进行修改和同化。
在评估Muse的能力时，研究人员使用了多种指标。例如，他们通过Fréchet视频距离（FVD）来衡量一致性效果，通过Wasserstein距离来评估模型动作是否捕捉到人类动作的全部分布。他们还通过手动编辑游戏图像来评估模型的持久性。结果表明，Muse在各个方面都表现出色。
微软的这一创新成果不仅展示了生成式AI在游戏领域的巨大潜力，也为游戏开发者提供了全新的创作工具。随着微软开源Muse的权重和样本数据，并提供可视化交互界面，我们期待在未来看到更多基于AI的新颖游戏体验。
