NVIDIA推出的全球首个开源且完全可定制的人形机器人基础模型NVIDIA Isaac GR00T N1以及一系列相关新技术,阐述了该模型的特点、功能、应用场景,还提及了NVIDIA与其他机构的合作成果及新发布的合成运动生成蓝图等内容。
在科技发展的浪潮中,NVIDIA公司有了重大的技术突破。其推出了全球首个开源且完全可定制的人形机器人基础模型——NVIDIA Isaac GR00T N1,同时还带来了一系列全新的技术。这个基础模型的出现意义非凡,它能够赋能通用人形机器人,使其具备推理能力以及执行各项技能的本领。
在GTC主题演讲中,NVIDIA创始人兼CEO黄仁勋激动地表示,通用机器人的时代已然到来。借助NVIDIA Isaac GR00T N1以及新的数据生成和机器人学习框架,全球的机器人开发者将开启AI时代的全新篇章。
除了GR00T N1模型,NVIDIA还带来了其他实用的技术,包括仿真框架和蓝图。比如用于生成合成数据的NVIDIA Isaac GR00T Blueprint,还有和Google DeepMind及Disney Research共同开发的、专为机器人开发而构建的开源物理引擎Newton。
GR00T N1是NVIDIA一系列可完全定制模型中的首个模型。NVIDIA会对这一系列模型进行预训练,然后面向全球的机器人开发者发布。GR00T N1基础模型采用了独特的双系统架构。“系统1”就像是人类的本能反应或直觉,是一个快速思考的动作模型。而“系统2”则是经过深度思考来进行决策制定的慢思考模型。
系统2由视觉语言模型提供支持,它会对所处的环境和接收到的指令进行推理,从而规划出行动方案。系统1随后将这些规划转化为精确、连续的机器人运动。系统1是基于人类演示数据和NVIDIA Omniverse平台生成的海量合成数据进行训练的。
GR00T N1拥有强大的适应能力,能够轻松适应并完成通用任务。像单手或双手抓取、移动物体,将物体从一只手臂转移到另一只手臂,或者执行需要长语境和通用技能组合的多步骤任务等。这些功能在物品搬运、包装和检查等各种实际使用场景中都能发挥重要作用。
开发者和研究人员还可以使用真实数据或合成数据针对特定人形机器人或任务对GR00T N1进行后训练,以满足不同的需求。
在GTC主题演讲中,黄仁勋展示了1X的人形机器人自主执行室内清理任务的过程,这个过程利用了基于GR00T N1的后训练策略。该款机器人的自主能力是1X与NVIDIA AI训练协作的成果。
全球有许多领先的机器人公司优先使用GR00T N1,其中包括Agility Robotics、波士顿动力、Mentee Robotics和NEURA Robotics等。
NVIDIA还宣布与Google DeepMind和Disney Research合作,共同开发开源物理引擎Newton。这个引擎可让机器人学习如何以更高的精度处理复杂任务。
Newton基于NVIDIA Warp框架构建,它会针对机器人学习进行优化,并且与Google DeepMind MuJoCo和NVIDIA Isaac Lab等仿真框架兼容。此外,三家公司还计划让Newton能够利用迪士尼的物理引擎。
Google DeepMind正在和NVIDIA合作开发MuJoCo - Warp,预计将机器人机器学习工作负载处理速度提升至70倍以上,并且会通过Google DeepMind的MJX开源库和Newton提供给开发者。
Disney Research将成为首批使用Newton以推动其机器人角色平台发展的公司之一。该平台为下一代娱乐机器人提供支持,比如此次GTC主题演讲中和黄仁勋一起登台、以《星球大战》为灵感设计的富有表现力的BDX机器人,就是该平台的成果。
NVIDIA还将和Disney Research及Intrinsic进一步合作,为机器人数据流构建OpenUSD管线和最佳实践。
大型、多样化且高质量的数据集对机器人开发至关重要,但捕获成本高昂。此次发布的用于合成运动生成的NVIDIA Isaac GR00T Blueprint有助于应对这一挑战。该蓝图基于Omniverse和NVIDIA Cosmos Transfer世界基础模型构建,让开发者可以通过少量的人工演示生成大量合成运动数据,以用于操作任务。
利用为蓝图提供的首批组件,NVIDIA能够在11小时内生成780,000个合成轨迹,相当于6,500小时或连续9个月的人类演示数据。然后,通过将合成数据与真实数据相结合,与仅使用真实数据相比,NVIDIA将GR00T N1的性能提高了40%。
GTC上还宣布,为了进一步为开发者社区提供有价值的训练数据,NVIDIA将发布GR00T N1数据集,作为更大的开源物理AI数据集的一部分,现在可通过Hugging Face下载。
本文围绕NVIDIA推出的人形机器人基础模型GR00T N1及相关新技术展开。介绍了GR00T N1的特点、功能和应用场景,还阐述了NVIDIA与多方的合作成果,如开源物理引擎Newton等。同时提到了用于合成运动生成的蓝图以及新发布的数据集。这些技术和合作将为全球机器人开发者带来新的机遇,推动通用机器人时代的发展。
原创文章,作者:购物狂魔,如若转载,请注明出处:https://www.gouwuzhinan.com/archives/40627.html