逼抢凶狠、擅长中场突破、短传行云流水，几乎毫无破绽……
去年12月，谷歌联手英超曼城在Kaggle平台上，举办了首届“AI足球世界杯”，吸引了1138个团队角逐比拼。其中，网易伏羲强化学习团队表现出色，斩获亚军;其接近专业教练的AI战术布局能力，让主办方看到了“AI+足球”的巨大潜力。
近日，网易伏羲受邀与英超曼城俱乐部、谷歌、Kaggle等行业高管深入交流，分享了比赛中采用的技术框架和训练方法，共同探讨了AI技术在足球领域的应用方向。
(网易伏羲强化学习团队(蓝队)在决赛中率先破门得分)
(本次比赛竞争激烈，吸引全球1138个团队参赛)
据了解，本次比赛在 Google Research Football 强化学习环境下进行，参赛团队可以在11个智能体中控制1个单独智能体。比赛涉及大量复杂的团队协作和战术变化;同时，也考验各个团队解决强化学习中几大极具挑战性问题的能力，例如长时决策(Long Time Horizon)、稀疏奖励(Sparse Reward)、多智能体(Multi-Agent)等。
沟通会上，主办方认为，网易伏羲AI采用的战术已经“非常接近”专业教练的打法，具备在虚拟环境中，模拟真实足球比赛战术的能力。同时，网易伏羲的“AI球员”还踢出了自己的风格：中场快速突破，短传配合进攻，最终进球得分。
(网易伏羲的短传组合)
网易伏羲AI“定位球”的专业打法，也让主办方印象深刻。曼城俱乐部母公司、城市足球集团数据洞察和决策技术总监Brian Prestidge坦言，网易伏羲AI所采用的“定位球”策略，与现实比赛中专业教练的“定位球”战术非常相似。
AI如同真人专业球队，不仅储备了擅长的“定位球”打法，还能根据场上的变化，灵活调整后续战术配合。例如，发边线球时，AI则会根据场上态势判断，自主选择保守或激进的打法。
据网易伏羲方面介绍，强化学习团队在本次比赛采用多头向量输入模型，主要通过玩家对战环境(PVE)与自博弈(Self-Play)相结合的训练方式，让AI从0到1学会踢球。赛程中，团队通过Surgery、模仿学习、课程学习等方式，帮助AI不断扩充状态特征和动作，学会对手的打法并予以反制，以及尝试不同的初始站位来丰富开局变化。
此外，网易伏羲还采用了自主研发的RLEase强化学习框架训练AI。该框架集成了主流强化学习算法，简化了环境接入流程，大幅降低强化学习的门槛。该框架还提供了标准接口，添加新算法时，只需要完成标准接口的实现即可，无需人工重复开发分布式等相关功能，这也使得游戏中试验新算法变得更容易。
(网易伏羲自主研发的RLEase强化学习框架)
“足球赛场极其复杂，球员要面对很多挑战，但更困难的是从中学习规律。人们一般通过失败来学习成长，但球场却很难容忍失败。”Brian Prestidge对“AI足球世界杯”寄予厚望，他认为，谷歌创造的虚拟环境是一个绝佳的试验场所，球队可以在其中测试战术概念、完善训练方法，让教练更有信心地开展自己的职业生涯。
(曼城母公司高管对“AI足球世界杯”寄予厚望)
未来，随着技术发展，AI有望更加深刻地改变足球行业。例如，AI可以辅助训练球员、提升战绩;为教练出谋划策、提供战术支持;甚至还能帮助管理层更好地经营球队。
绿茵赛场外，网易伏羲在本次比赛中使用的强化学习技术，也已在多款网易自研游戏中应用落地。例如，《逆水寒》流派竞武场景中，玩家可以挑战比自己高排名的玩家，如果被挑战者不在线，AI就能代替玩家出战。借助强化学习技术，AI不仅能打出高水平，还能“自我调节”难度，用变化多端的打法，让玩家体验与“真人高手”对抗一般的乐趣。
(《逆水寒》流派竞武场景)
在《潮人篮球》3V3场景中，AI不仅学会了传球、投篮等基础动作，还学会了挡拆、协防、突破等众多高级配合打法。
(《潮人篮球》3V3场景)
网易伏羲成立于2017年，是国内专业从事游戏、文娱产业AI研究和应用的顶尖机构，研究方向包括强化学习、图像动画、自然语言、虚拟人、用户画像、大数据平台、云计算平台、云游戏等领域。在为网易众多产品提供高质量和前沿AI技术的同时，网易伏羲正在进一步把AI技术和产品开放给更多合作伙伴，推动行业加速发展。
