在科技领域的又一重大突破中,昆仑万维公司宣布成功推出Matrix-Zero世界模型,标志着中国企业在探索空间智能技术方面迈出了领先一步。这一创新成果不仅展示了将图片转化为可自由探索3D场景的能力,还实现了以用户输入为核心的可交互视频生成。
Matrix-Zero世界模型包含两大核心组件:一是昆仑万维自主研发的3D场景生成大模型,该模型能将用户提供的图片转化为逼真且可自由探索的3D场景。相较于现有的技术,如World Labs,Matrix-Zero不仅提供了更大的探索范围和更高的自由度,还融入了动态物理效果,为用户带来更加沉浸式的体验。二是可交互视频生成大模型,这一模型能够根据用户的实时输入生成互动视频,具备高度精准的action model控制,极大地丰富了视频内容的交互性和个性化。
昆仑万维的3D场景生成功能,凭借全局一致性和自由探索的特性,支持不同风格的图片输入和风格迁移,还能生成动态场景。这一技术的背后,是两个关键模块:场景布局生成模块和纹理生成模块。前者利用可微渲染和扩散模型技术,确保生成的3D场景布局与输入图片高度一致;后者则在图片和视频生成模型的基础上训练,能够在用户移动时不断补全场景中的缺失区域,确保场景在任何角度和位置都显得合理且连贯。
昆仑万维的可交互视频生成大模型,建立在先进的生成式视频模型之上,并结合了自主研发的用户交互模块,实现了以用户输入为核心驱动的空间智能视频生成方案。这一方案不仅保持了开放领域视频生成的能力,还显著增强了对视频内容中视角移动的精确控制,更好地满足了用户的交互需求和预期。这一技术突破,不仅拓宽了视频内容的生成边界,还为虚拟环境、交互式应用和沉浸式体验提供了全新的应用场景。
昆仑万维作为中国的AI领军企业,一直致力于通用人工智能的实现,并持续在人工智能领域进行自主研发。近年来,公司在视觉多模态、深度学习、强化学习等关键技术方向上取得了显著成果,并构建了完整的AI矩阵,包括天工AI搜索、AI音乐创作平台Mureka、AI短剧平台SkyReels、AI社交产品Linky以及AI游戏等。这些创新产品和应用,共同构成了“AI前沿基础研究——基座模型——AI矩阵产品/应用”的完整产业链。
Matrix-Zero世界模型的推出,是昆仑万维对未来AI技术布局的重要一步。这一创新模型不仅将赋能公司的AI游戏生产、AI短剧生产和编辑等业务,还将为用户和开发者提供全新的平台和工具。随着视频生成模型技术的不断发展,未来游戏可能不再依赖传统的3D引擎,许多实验和模拟都可以在虚拟环境中进行,影视创作也将变得更加普及。昆仑万维的这一技术突破,正引领着这一趋势的发展。