meta AI的研究团队近期揭晓了一项创新成果——LIGER模型,这一突破性的人工智能模型巧妙融合了密集检索与生成检索的优势,显著提升了生成式推荐系统的整体性能。
在现代数字世界中,推荐系统作为连接用户与各类内容、产品或服务的桥梁,扮演着至关重要的角色。传统的密集检索方法,通过序列建模来计算项目和用户的表示,虽然在一定程度上有效,但因其需要为每个项目生成嵌入,导致计算资源和存储需求巨大。随着数据集的日益庞大,这些限制愈发明显,影响了系统的可扩展性。
另一方面,新兴的生成检索方法试图通过生成模型预测项目索引来降低存储需求。然而,这种方法在性能上有所欠缺,特别是在处理冷启动项目时,即那些用户交互有限的新项目,表现尤为不佳。
为了解决这些挑战,meta AI携手威斯康星大学麦迪逊分校、ELLIS Unit、LIT AI Lab、机器学习研究所及JKU Linz等机构,共同推出了LIGER模型。LIGER,即“LeveragIng dense retrieval for GEnerative Retrieval”的缩写,它巧妙地将生成检索的计算效率与密集检索的精确度相结合。
LIGER模型的工作原理是,首先利用生成检索生成候选集,以及包含语义ID和文本属性的项目表示。随后,通过密集检索技术对这些候选集进行进一步精炼,从而在效率和准确性之间找到了完美的平衡点。LIGER采用了双向Transformer编码器和生成解码器,其密集检索部分整合了项目文本表示、语义ID和位置嵌入,并通过余弦相似度损失进行优化;而生成部分则使用波束搜索,根据用户交互历史预测后续项目的语义ID。
通过这种混合推理过程,LIGER不仅降低了计算需求,还保持了高质量的推荐。更重要的是,LIGER能够很好地泛化到未见过的项目,这一特性解决了先前生成模型在处理新项目时的关键限制。
在Amazon Beauty、Sports、Toys以及Steam等多个基准数据集上的评估结果显示,LIGER的性能持续优于现有的最先进模型,如TIGER和UniSRec。例如,在Amazon Beauty数据集上,LIGER对冷启动项目的Recall@10得分为0.1008,而TIGER的得分为0。
同样,在Steam数据集上,LIGER的Recall@10达到了0.0147,也明显优于TIGER的0。随着生成方法检索的候选数量增加,LIGER与密集检索的性能差距逐渐缩小,这进一步证明了其强大的适应性和高效性。
LIGER的成功不仅为构建更高效、更精准的推荐系统提供了新的思路,也为解决传统推荐系统在计算资源、存储需求和冷启动项目处理上的难题提供了有效方案。