在机器人技术的前沿探索中,一款名为AgiBot Digital World的大型仿真框架近日由智元机器人公司正式推出。这一创新工具专为机器人操作技能的研究与应用而设计,旨在通过提供灵活的仿真数据生成方案、预训练的大规模仿真数据以及统一的模型评测标准,推动机器人技术的进一步发展。
AgiBot Digital World集成了海量的三维资产,这些资产不仅数量庞大,而且种类繁多,包括逼真的物体、场景和机器人模型。这些资产通过精细的人工建模、三维重建技术和先进的生成式人工智能技术转化而来,能够满足各种复杂机器人操作任务的仿真需求。框架还提供了多样化的专家轨迹生成机制和全面的模型评估工具,使得机器人训练过程更加高效和准确。
该仿真框架能够高保真地模拟训练场景,实现全链自动化的数据生成。无论是光影效果还是物理效应,AgiBot Digital World都能以惊人的真实度进行再现。例如,当光线透过玻璃窗投射在物体上,或是机器人移动时产生的倒影,都显得异常自然。当机器人将小车放入篮子时,两者的晃动也模拟得十分逼真。
AgiBot Digital World的另一大亮点是其引入的多模态大模型。这一功能支持基于资产库自动生成操作任务,以及根据指定任务自动生成操作场景和物体布局。这意味着,根据实际训练需求,用户可以灵活创建多样化、复杂度可调的仿真任务与仿真环境,从而实现数据的闭环管理。例如,在书房场景中,如果机器人需要从桌面任务转向书架上的立面操作,只需一键召唤取书任务,系统即可自动捕捉到环境中的书架,并根据需要调用资产库补充物体或切换场景。
智元机器人还同步开源了海量规模的仿真数据集AgiBot Digital World Dataset。该数据集涵盖了家居、商超、办公、餐饮和工业五大场景,其中家居场景最为丰富,占比36%;商超占比21%;其余场景各占14.3%。数据集包含超过180种具体物品,涵盖9大品类和9种主要材质。还囊括了12种核心技能,如抓、放、插、倒等,能够灵活应对各种任务。这些数据具有高质量、快速泛化、任务多样和应用灵活等特点,为机器人技术的开发和应用提供了坚实的基础。