英伟达近日在科技界掀起波澜,宣布对其NVIDIA Cosmos世界基础模型(WFM)进行重大更新,引入了一种开放且高度可定制的物理AI开发推理模型。这一创新为开发者提供了前所未有的控制力,使他们能够精准预测、生成并推理可控的虚拟世界。
作为首批采用Cosmos的企业,1X、Agility Robotics、Figure AI、Foretellix、Skild AI及Uber将能够更迅速、更大规模地为物理AI生成丰富的训练数据。英伟达创始人兼CEO黄仁勋强调,Cosmos世界基础模型标志着物理AI领域的一大突破,为机器人和物理工业的创新发展开辟了新路径。
与此同时,NVIDIA Omniverse物理AI操作系统也在不断扩展其行业覆盖面和合作伙伴网络。Accenture、Ansys、Cadence、Databricks、Dematic、Hexagon、Omron、SAP、Schneider Electric With ETAP及西门子等企业正将Omniverse与其领先的软件工具相结合,进一步推动工业数字化进程。
不仅如此,英伟达还推出了两款基于NVIDIA Omniverse和Cosmos平台的新蓝图,旨在为机器人和自动驾驶汽车后训练提供大规模可控合成数据生成引擎。这些蓝图极大地助力了机器人工厂和大规模合成数据的生成。
新发布的Cosmos世界基础模型包括三款核心工具:Cosmos Transfer用于合成数据生成,Cosmos Predict专注于智能世界生成,而Cosmos Reason则致力于物理AI的多模态推理。Cosmos Transfer能够处理结构化视频输入,生成可控且逼真的视频输出,简化感知AI训练过程。Agility Robotics正是利用Cosmos Transfer和Omniverse生成大规模合成数据,以训练其机器人模型。
Cosmos Predict则通过多模态输入生成虚拟世界状态,支持多帧生成,预测中间行为或运动轨迹。1X、Skild AI、Nexar和Oxa等企业正在利用这一模型升级其机器人和自动驾驶系统。而Cosmos Reason则具备时空感知能力,使用思维链推理理解视频数据,预测交互结果,为开发者提供了提升物理AI数据标注和管理的新途径。
Cosmos世界基础模型现已在英伟达API目录中预览,并列入谷歌云上的Vertex AI Model Garden。同时,开发者可以在NVIDIA DGX Cloud上使用原生PyTorch脚本或NVIDIA NeMo框架对模型进行后训练,利用DGX Cloud上的NVIDIA NeMo Curator加速数据处理和管理。
NVIDIA Omniverse操作系统也在不断扩展其应用场景。它通过统一物理世界的数据和应用,帮助开发者应对数字化挑战。Ansys、Databricks、Dematic、Omron、SAP、Schneider Electric with ETAP及西门子等企业正将Omniverse集成到其解决方案中,加速工业数字化进程。特别是在物理AI领域,Intrinsic、Databricks等企业正在利用Omniverse实现大规模合成数据生成。
英伟达还推出了四款全新蓝图,助力机器人设施和大规模合成数据生成。Mega蓝图用于在工业数字孪生中测试多机器人机群,已在build.nvidia.com上发布预览版。该蓝图已被Schaeffler、Accenture、现代汽车集团、梅赛德斯-奔驰、Pegatron及富士康等企业采用,以优化其工业运营。同时,NVIDIA Metropolis平台支持的AI蓝图能够构建监控整个设施活动的AI智能体。
在汽车制造领域,这些蓝图被用于测试和模拟材料处理自动化的机器人车队。在电子制造业中,Pegatron和富士康则利用这些蓝图改善工厂运营和工人安全性。而在仓库和供应链解决方案方面,凯傲集团、Dematic及Accenture等企业正集成Mega蓝图,推动新一代AI赋能的自动化发展。
英伟达还在GTC主题演讲中回顾了自2012年AlexNet神经网络问世以来的AI浪潮,从感知AI、生成式AI、代理型AI迈向物理AI的新时代。通过不断丰富的世界基础模型和Omniverse平台,英伟达为模拟现实世界的物理特性、优化虚拟世界训练开发提供了强大工具,惠及众多机器人、自动驾驶和工业AI开发者。