在机器人技术的前沿探索中,一款名为AgiBot Digital World的大型仿真框架横空出世,由智元机器人公司自主研发并正式推出。该框架旨在为机器人操作提供一个集灵活数据生成、预训练仿真数据及统一评测标准于一体的综合性解决方案,并慷慨地开源了海量的仿真数据资源。
AgiBot Digital World专门设计用于机器人操作技能的研究与应用,集成了丰富的三维资产库、多样化的专家轨迹生成机制以及全面的模型评估工具。通过高度逼真的模拟训练场景和全链自动化的数据生成流程,它能够提供一系列具身仿真服务,精准再现各种复杂的机器人训练场景。
尤为智元机器人同步开源的AgiBot Digital World Dataset数据集,覆盖了家居、商超、办公、餐饮和工业五大场景,包含了超过180种具体物品、9种常见材质以及12种核心操作技能。这些数据资源为机器人的操作训练提供了坚实的基础。
AgiBot Digital World的三维资产库堪称庞大且多样,涵盖了各种物体、场景和机器人模型。这些资产通过精细的人工建模、三维重建技术和先进的生成式人工智能技术转化而来,能够满足各类复杂机器人操作任务的仿真需求。资产库中的三维模型栩栩如生,仿佛将真实世界搬进了数字空间。
基于NVIDIA Isaac-Sim仿真平台,AgiBot Digital World提供了高度逼真的视觉渲染和精确的物理模拟。在仿真环境中,光影效果自然流畅,物体的物理行为也极为真实。例如,当机器人将小车放入篮子时,两者之间的碰撞和晃动都栩栩如生。
为了进一步提升仿真的灵活性和多样性,AgiBot Digital World引入了多模态大模型。这一创新技术使得系统能够基于资产库自动生成操作任务,并根据指定任务自动生成相应的操作场景和物体布局。这意味着,无论是简单的桌面操作还是复杂的立面操作,系统都能根据实际需求灵活创建仿真任务与环境。
在数据生成方面,AgiBot Digital World同样表现出色。它提供了多元化的专家轨迹生成策略,包括真机操作数字孪生、具身智能体自动生成以及仿真遥操作等。这些策略不仅丰富了数据标签和数据增广的手段,还为机器人操作轨迹的自动化生成提供了有力支持。通过环境光照、物体材质和物理属性的随机化以及多种操作轨迹增强方式,系统能够生成具有多样性和鲁棒性的专家轨迹数据,从而增强模型在真实环境中的泛化能力。
此次开源的仿真数据集不仅数量庞大,而且质量上乘。它涵盖了家居、商超、办公、餐饮和工业等多个场景,每个场景都包含了丰富的物体品类和材质类型。数据集还囊括了抓、放、插、倒等12种核心操作技能,使得机器人能够灵活应对各种复杂任务。这些高质量的数据资源为端到端模型的可靠训练提供了有力保障,同时也为机器人在不同环境下的快速泛化提供了可能。
智元机器人的这一开源行动无疑为具身智能技术的开发应用注入了新的活力。随着AgiBot Digital World的进一步扩展和适配更多机器人本体及执行器,以及融合更多模态的仿真数据,我们有理由相信,机器人技术的未来将更加光明和广阔。