前沿AI与物理仿真库的深度协同
2026年10月8日,NVIDIA发布官方博客文章,展示了开发者利用前沿AI智能体构建物理仿真应用的最新探索。该工作流将自然语言指令、前沿AI模型与NVIDIA Omniverse底层库(包括物理库ovphysx、场景更新库ovstage、渲染库ovrtx以及用户界面库ovui等)相结合,由智能体辅助生成应用逻辑与场景代码。
在相关实验中,GPT-6 Astra被描述为在编码、视觉推理和计算机使用方面取得进展,具备协调多步工作流、构建可编辑场景并根据需求变化调整实现的能力。NVIDIA将这类AI智能体与物理仿真的结合视为评估应用程序物理行为的有效途径,使智能体能够根据物理仿真的运行结果指导下一次代码或场景修改。
机器人控制与多元仿真场景实验
在机器人运动实验中,NVIDIA Omniverse工程与产品负责人Tae Kim通过体育视频和自然语言引导Astra构建了用于测试Unitree G1人形机器人的实验项目。媒体报道指出,该“Robo Olympics”项目涵盖短跑、滑冰、踢拳、跨栏和掷标枪等9项模拟体育运动;底层技术上,项目采用Kimodo生成运动参考,通过SOMA Retargeter适配至机器人关节,并由SONIC提供预训练的全身控制。在单项跨栏测试中,该机器人在100次仿真试验中取得了64次成功跨越单个跨栏的成绩。
除机器人竞技外,NVIDIA团队还开展了多项场景仿真测试。Omniverse产品经理Frank DeLise利用Astra将SimReady仓库和人形机器人转化为具备第一与第三人称视角的可交互仿真器,由模型自动生成动画、应用代码并连接物理与渲染库。OpenUSD高级产品经理Jens Jebens则指导Astra在PTC Onshape中为汽车悬架建模,并在Isaac Sim中进行配置与测量,最终在仿真中完成了悬架组件的拆卸。在航天领域,工程总监Nic Johns通过单一提示词促使Astra将NASA资产组装为包含遥测数据的OpenUSD国际空间站模型,并通过后续提示词将场景光照无缝切换至地球白天一侧。
传感器验证与自动驾驶仿真落地
在数字孪生与传感器验证环节,RTX传感器验证人员Ashley Reid指导Astra与Claude Fable 5智能体,将ovrtx摄像头与原始LiDAR输出同记录数据进行对比校验。在耗时约三天的迭代工作流中,智能体从零构建了两个数字孪生并优化了两个现有资产。值得注意的是,该项目采用的Anthropic Claude Fable 5模型于2026年6月发布,基于Mythos架构,发布后即受到美国政府出口管制,限制非美国籍人士海外访问。
在自动驾驶领域,仿真技术团队经理Doyub Kim引导Astra构建了基于旧金山市场街的“Zero to Alpamayo”可复用仿真环境,涵盖资产生成、交通流及传感器仿真等环节。同时,团队还借助独立的Cosmos3-Nano模型开展实验,在已记录的仿真视频中调整天气与光照条件,以此比对驾驶模型在不同环境下的行为表现。

