在机器人技术领域的最新进展中，智元机器人公司近期推出了AgiBot Digital World，一个专为机器人操作技能研究与应用设计的大型仿真框架。该框架不仅提供了灵活的仿真数据生成方案，还同步开源了规模庞大的仿真数据集，为机器人操作的预训练、数据生成及模型评测提供了统一标准。
AgiBot Digital World集成了海量的三维资产，这些资产涵盖了多样化的物体、场景和机器人模型，能够满足各种复杂机器人操作任务的仿真需求。这些资产通过精细的人工建模、三维重建技术和先进的生成式人工智能技术转化而来，确保了高保真度的模拟训练场景。
基于NVIDIA Isaac-Sim仿真平台，AgiBot Digital World能够提供高度逼真的视觉渲染和精确的物理模拟。无论是光透过玻璃窗投射的光影，还是随着机器人动作而变动的倒影，视觉效果都极为自然。该框架还能模拟出真实世界的物理效应，如机器人将小车放入篮子时产生的晃动，进一步增强了仿真的真实感。
AgiBot Digital World引入了多模态大模型，支持基于资产库自动生成操作任务，以及根据指定任务自动生成操作场景和物体布局。这一功能使得用户能够根据实际训练需求，灵活创建多样化、复杂度可调的仿真任务与仿真环境，实现了数据的闭环生成。例如，在书房场景中，用户只需一键即可召唤取书任务，系统会自动捕捉到环境中的书架，并根据需要调用资产库补充物体或切换至适配场景。
在数据生成方面，AgiBot Digital World提供了多元化专家轨迹生成策略。这些策略包括真机操作数字孪生、具身智能体自动生成以及仿真遥操作。通过环境光照、物体材质、物理属性域的随机化以及多种操作轨迹增强方式，该框架能够生成具有多样性和鲁棒性的专家轨迹数据，从而增强模型在真实环境中的泛化能力。数据生成引擎还支持多模态数据的采集，包括多视角RGB-D图像、触觉信息、机器人状态信息等，为策略学习提供了丰富的数据基础。
智元机器人此次开源的仿真数据集AgiBot Digital World Dataset涵盖了家居、商超、办公、餐饮和工业五大场景，其中家居场景最为丰富，占比达到36%。数据集包含了超过180种具体物品，涵盖了9大品类和9种主要材质。数据集还囊括了12种核心技能，如抓、放、插、倒等，能够灵活应对各种任务需求。这些数据具有高质量、快速泛化、任务多样和应用灵活等特点，为机器人操作技能的训练和测试提供了坚实的支撑。
