洞悉 Omniverse：开源物理引擎与 OpenUSD 推进机器人学习

本文是洞悉 Omniverse 系列文章。“洞悉 Omniverse”重点介绍开发者、3D 从业者与企业如何使用 OpenUSD 和 NVIDIA Omniverse 的最新进展深入改变他们的工作流。

开发能在工厂、医院和公共空间与人类协同作业的机器人是一项巨大的技术挑战。这类机器人需具备与人类接近的灵巧性、感知能力、认知能力和全身协调性，以便于实时应对充满不确定性的真实环境。

“仿真为先”的开发策略在仿真环境中使用机器人采集的现实数据与合成数据进行数百至数千个机器人实例的并行训练，以此突破这些关键技能瓶颈。通用场景描述 (OpenUSD) 作为一项可扩展、可互操作的数据标准，为这种先进机器人的开发提供了基础框架，使开发者能够建立达到物理学精度的虚拟世界。机器人可在其中反复训练技能，直至完善后再迁移至真实场景应用。

加速物理 AI 开发进程

NVIDIA 在机器人学习大会 (Conference on Robot Learning) 上宣布了开源物理仿真、开源基础模型及开发框架领域的突破性进展，包括：

Newton 物理引擎 (Newton Physics Engine)：虽然机器人在仿真环境中能够更加快速、安全地学习，但人形机器人的关节结构、平衡控制和动作模式非常复杂，现有物理引擎的性能已经难以满足。

Newton 物理引擎由 Google DeepMind、Disney Research 与 NVIDIA 共同开发，并由 Linux Foundation 管理，是一个旨在推动机器人学习的GPU加速的开源物理引擎。

Newton 基于 NVIDIA Warp 和 OpenUSD 开发，使机器人能够更精准地学习复杂任务，并可与 MuJoCo Playground 和 NVIDIA Isaac Lab 等 机器人学习框架无缝集成。

Isaac GR00T N1.6：为在物理世界执行类人任务，人形机器人需要能够理解模糊指令并应对突发场景。最新发布的 Isaac GR00T N1.6 开源机器人基础模型即将登陆 Hugging Face，该模型整合了专为物理 AI 开发的开发推理视觉语言模型 NVIDIA Cosmos Reason。Cosmos Reason 作为机器人的深度思考中枢，能运用先验知识、常识及物理理解，将模糊指令转化为分步行动方案。

NVIDIA Isaac Lab：开源模块化机器人学习框架 Isaac Lab 的最新版本已发布早期开发者版本，Isaac Lab 基于 NVIDIA Isaac Sim 和 OpenUSD 开发的。Isaac Lab 2.3 为机器人研究者和开发者带来了多项新功能，包括高级全身控制和经过扩展的遥操作数据采集。

OpenUSD 凭借其互操作性，保证了这些先进的物理仿真、基础模型与学习框架可无缝协同工作，使开发者能够建立统一的机器人学习流程。该流程可扩展至不同的平台与部署场景。

了解开发者如何加速机器人学习进程

Agility Robotics、光轮智能、Mentee、Universal Robots 和 Wandelbots 等领先人形机器人与机器人公司正使用仿真技术与库加速物理 AI 的开发与部署进程。

• Agility Robotics 使用 NVIDIA Isaac Lab 为其 Digit 机器人训练全身控制基础模型。Isaac Sim 与 OpenUSD 使创建精准的客户设施数字孪生成为可能，为用户提供了可扩展的部署前机器人优化方案。
• Lightwheel 光轮智能基于 NVIDIA Omniverse 开发了光轮智能仿真平台。该公司同时开发仿真就绪资产，通过 NVIDIA USD Search 应用接口简化资产发现流程并组装精准数字孪生，助力机器人开发者加速训练与仿真工作流。
• Mentee Robotics 使用 NVIDIA 的三台计算机架构开发了 MenteeBot 的先进学习能力，以 OpenUSD 为基础在 Isaac Sim 中建立合成数据生成流程。
• Universal Robots 使用 NVIDIA Isaac 平台实现全方位机器人仿真与学习，借助 OpenUSD 创建可互操作的制造环境数字孪生，用于验证协作机器人安全协议和优化不同工业场景中的人机交互。Universal Robots 生态合作伙伴 Inbolt 提供动态视觉引导系统，使机器人能够实时适应环境变化，轻松应对生产变量。
• 德国机器人软件公司 Wandelbots 正帮助大众汽车缩短德累斯顿透明工厂的自动化项目周期。借助深度集成 Isaac Sim 的 Wandelbots NOVA 机器人平台，开发者可在部署前通过虚拟孪生构建、训练、测试和验证其抓取放置应用。

机器人社区开发者正在广泛使用 NVIDIA 的开放框架与库。社区成员兼 NVIDIA Omniverse 大使 Dylan Tobin 开发了经过 Isaac Sim 工作流训练的 AI 聊天机器人，帮助开发者更加高效地利用 Omniverse。

进入 OpenUSD 的世界

如要进一步了解使用 OpenUSD 的机器人学习以及 NVIDIA 的最新机器人技术，请访问以下资源：

• 阅读在机器人工作流中使用 OpenUSD 的三种方法，了解如何显著缩短部署时间并提升机器人仿真与训练性能
• 使用 NVIDIA 机器人基础学习路径进行训练，该路径涵盖基础机器人技术与先进 AI 驱动的自动化。
• 参加 10 月 28 日 (周二) 在华盛顿特区举办的 NVIDIA GTC 物理 AI 和机器人日活动。届时将举办多场精心策划的会议，聚焦数字孪生、机器人学习及 OpenUSD 如何重塑物理AI的未来。参加者可免费获取业界认可的 OpenUSD 开发认证。