在机器人技术领域的最新进展中,智元机器人公司近期正式推出了其自主研发的大型仿真框架——AgiBot Digital World。这一创新平台旨在为机器人操作技能的研发与应用提供一个高度灵活、数据丰富的仿真环境。
AgiBot Digital World专为机器人操作技能设计,集成了海量的高精度三维资产、多样化的专家轨迹生成机制以及全面的模型评估工具。通过模拟各种真实世界的训练场景,它能够生成高质量的仿真数据,支持机器人的具身仿真服务。
该仿真框架的三维资产库包含了丰富多样的物体、场景和机器人模型,这些资产通过精细的人工建模、三维重建技术和先进的生成式人工智能技术转化而来,能够满足复杂机器人操作任务的仿真需求。无论是家居环境、商超场景还是办公环境,AgiBot Digital World都能提供逼真的模拟体验。
在视觉效果方面,AgiBot Digital World基于NVIDIA Isaac-Sim仿真平台,提供了高度逼真的视觉渲染和精确的物理模拟。光透过窗户的投影、物体移动时的倒影等细节都表现得十分自然,使得仿真情景与真实世界之间的域差异大大减小。
AgiBot Digital World还引入了多模态大模型,支持基于资产库自动生成操作任务和场景布局。这意味着,根据实际的训练需求,用户可以灵活地创建多样化、复杂度可调的仿真任务与仿真环境,实现数据的闭环生成。
在数据生成方面,AgiBot Digital World提供了多元化专家轨迹生成策略。通过真机操作数字孪生、具身智能体自动生成以及仿真遥操作等方式,它能够生成丰富多样的专家轨迹数据。这些数据不仅有助于提升模型的训练质量,还能增强模型在真实环境中的泛化能力。
智元机器人还同步开源了海量规模的仿真数据集——AgiBot Digital World Dataset。该数据集涵盖了家居、商超、办公、餐饮和工业五大场景,包含了超过180种具体物品和9种常见材质。数据集还囊括了12种核心技能,如抓、放、插、倒等,能够满足各种复杂任务的需求。
这些数据集具有高质量、高泛化性、任务多样性和应用灵活性等特点。它们不仅可供端到端模型可靠训练,还能支持实现光照、干扰物、平面位置、高度、背景和物体类别的快速泛化。数据集还包含了多个步骤的长程任务以及多技能组合的短程任务,适用于多技能训练和多任务泛化执行。
智元机器人的这一开源行动,无疑为机器人技术的研发与应用提供了坚实的开发基础和广泛的应用可能性。通过提供高质量的仿真数据和灵活的仿真环境,AgiBot Digital World有望降低行业研发门槛,加速具身智能技术的开发和应用进程。