在2024年度StarRocks Summit盛会上,腾讯游戏数据团队精心培育的数据品牌“Deltaverse”惊艳亮相,并隆重推出了其首款产品——UData,一款专为大数据时代设计的智能数据助手。峰会现场,腾讯游戏数据技术领军人物刘岩发表了题为《AI时代的湖仓数据体系构建》的演讲,深入剖析了腾讯游戏在“AI+湖仓”领域的实践经验,以及UData如何助力腾讯游戏业务实现数据工作效率的飞跃。
刘岩在演讲中介绍了UData,这是一款基于先进大语言模型技术和湖仓一体架构打造的问答式智能AI数据助手。它以新一代AI数据资产体系为核心,使数据资产能够被AI有效理解和运用,从而极大提升了业务需求到数据交付的精准度,为用户提供了自然语言交互的便捷体验,让数据的查询、探索、分析和可视化变得前所未有的简单。
据刘岩透露,UData已在腾讯游戏内部广泛应用于超过80个业务场景,显著提高了SQL代码的编写效率,提升幅度高达300%。在交付准确率这一关键指标上,UData的一次性准确率达到89%,充分满足了实际业务场景的需求。
UData的产品界面直观易用,为用户带来了全新的数据体验。刘岩强调,腾讯游戏每年面临数以万计的数据挖掘和数据提取需求,相较于BI场景,数据挖掘需要处理数万甚至数十万张数据表。UData通过让AI理解这些数据表,并实现人类水平的准确率,成功满足了实际业务场景的需求。
腾讯游戏数据团队在大量实践中发现,AI写SQL准确率不高的原因往往不在于大模型能力不足,而是由于AI对数据需求和数据资产的理解存在歧义。因此,UData的技术路线着重于需求构造和资产建设,通过工程化手段提升AI的准确率。
在需求构造方面,UData定义了AI和人都能理解的需求标准,通过匹配需求案例和行业知识,将用户提出的需求转化为标准格式,消除了AI理解需求的歧义。同时,当需求较为复杂时,需求Agent能将需求分解成简单的子需求,通过工程化方式组合成最终结果,确保交付质量的稳定可控。
例如,当用户提出一个复杂需求,如统计游戏内各玩法的参与率、次日留存排名和七日留存排名,并计算总排名时,UData会查询游戏领域知识,将需求分拆为多个子需求,分别计算并生成SQL,最终合并结果,形成一个完整的SQL查询。
在资产建设方面,UData构建了基于“AI驱动的数据资产体系”,解决了传统资产体系存在的问题,如缺乏非结构化标准、建设滞后于业务需求、治理成本高等。新一代AI数据资产以让AI能够理解和正确交付SQL为目标,定义了语义层建模规范,包括行业知识、指标、维度、特征和元数据等。AI通过理解这些语义资产,能够针对不同的需求采用不同的资产使用策略,实现自助交付。
刘岩表示,稳定可控的需求构造和AI可理解的资产体系是UData提升AI交付准确率的关键,也是其相较于行业其他产品的差异化优势。从腾讯游戏内部的应用情况来看,准确率已经稳定在89%,验证了这一方向的可行性。
为了支持对实时明细数据的探索和分析,UData对数据底座进行了升级,采用湖仓一体架构,通过数据实时接入、虚拟数仓、冷热分层等技术,实现了对实时明细数据的高效查询。同时,UData还建设了一个成本效率优化引擎,围绕资产热度、执行速度和数据量级三个方向,快速定位需要优化加速的资产,通过资产整合、物化视图等方式,实现了数据低成本、高效率的使用。
UData以新一代AI数据资产为基础,通过通用大模型、领域模型和Agent多智体架构,更好地释放了AI能力。它能够适配包括GPT、混元在内的多种行业通用大模型,并引入了“领域模型”,通过知识图谱、语义理解、检索和排序等技术,帮助大模型更好地理解数据资产。
在平台应用流程方面,UData使用Agent多智能体架构,打造了一个人与AI高度协同工作、可持续优化的运营平台。通过将一个工作分解成多个任务,由AI或人与AI协同完成,覆盖从业务需求到数据交付的全链路。各节点Agent可与用户实时交互,及时感知问题并进行干预和修正,确保系统的可持续优化。
UData已在腾讯游戏内部多个业务场景中展现出强大的应用能力,针对不同品类的游戏,如MOBA、MMORPG和战术竞技等,UData会根据具体业务需求进行产品的持续迭代升级。UData的产品能力也可应用于其他行业,如餐饮、金融和教育等,助力传统企业实现AI数字化转型,提升数据工作效率,并通过新一代AI数据资产提升数据治理的ROI,帮助企业降本增效。