2024年7月31日 BY

330103-00-05-05-11-05 NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“AI的下一波浪潮是機(jī)器人，其中最令人興奮的發(fā)展之一是人形機(jī)器人。我們正在推進(jìn)整個(gè)NVIDIA機(jī)器人堆棧的發(fā)展，面向全球人形機(jī)器人開(kāi)發(fā)者和公司開(kāi)放訪問(wèn)，讓他們能夠使用最符合其需求的平臺(tái)、加速庫(kù)和AI模型?！?/p>

借助 NVIDIA NIM 和 OSMO 加速開(kāi)發(fā)

NIM微服務(wù)提供了由NVIDIA推理軟件提供支持的預(yù)構(gòu)建容器，使開(kāi)發(fā)者能夠?qū)⒉渴饡r(shí)間從數(shù)周縮短到幾分鐘。機(jī)器人專家將能夠通過(guò)兩項(xiàng)新的 AI 微服務(wù)，在 NVIDIA Isaac Sim（基于 NVIDIA Omniverse平臺(tái)構(gòu)建的機(jī)器人仿真參考應(yīng)用）中增強(qiáng)生成式物理AI仿真工作流。

MimicGen NIM微服務(wù)可根據(jù)Apple Vision Pro等空間計(jì)算設(shè)備記錄的遠(yuǎn)程330103-00-05-05-11-05 操作數(shù)據(jù)，生成合成運(yùn)動(dòng)數(shù)據(jù)。Robocasa NIM微服務(wù)可在OpenUSD（一個(gè)用于在3D世界中進(jìn)行開(kāi)發(fā)和協(xié)作的通用框架）中生成機(jī)器人任務(wù)和仿真就緒環(huán)境。

現(xiàn)已推出的NVIDIA OSMO是一項(xiàng)云原生托管服務(wù)，允許用戶跨分布式計(jì)算資源來(lái)協(xié)調(diào)和擴(kuò)展復(fù)雜的機(jī)器人開(kāi)發(fā)工作流，無(wú)論是在本地還是在云端。

OSMO大大簡(jiǎn)化了機(jī)器人訓(xùn)練和仿真工作流，將部署和開(kāi)發(fā)周期從數(shù)月縮短到一周內(nèi)。用戶可以對(duì)各種任務(wù)進(jìn)行可視化管理，包括合成數(shù)據(jù)生成、模型訓(xùn)練、強(qiáng)化學(xué)習(xí)以及大規(guī)模的人形機(jī)器人、自主移動(dòng)機(jī)器人和工業(yè)機(jī)械臂軟件在環(huán)測(cè)試。

為人形機(jī)器人開(kāi)發(fā)者提供先進(jìn)的數(shù)據(jù)捕獲工作流

訓(xùn)練人形機(jī)器人的基礎(chǔ)模型需要大量的數(shù)據(jù)。遠(yuǎn)程操作是獲取人類演示數(shù)據(jù)330103-00-05-05-11-05 的方法之一，但這個(gè)過(guò)程正變得越來(lái)越昂貴和漫長(zhǎng)。

通過(guò)在SIGGRAPH計(jì)算機(jī)圖形大會(huì)上展示的NVIDIA AI和Omniverse遠(yuǎn)程操作參考工作流，研究者和 AI 開(kāi)發(fā)者能夠從極少量遠(yuǎn)程捕捉的人類演示中生成大量合成運(yùn)動(dòng)和感知數(shù)據(jù)。

首先，開(kāi)發(fā)者使用Apple Vision Pro捕獲少量遠(yuǎn)程操作演示，隨后在 NVIDIA Isaac Sim中仿真這些錄像，并使用MimicGen NIM微服務(wù)基于錄像生成合成數(shù)據(jù)集。

開(kāi)發(fā)者可以使用真實(shí)數(shù)據(jù)和合成數(shù)據(jù)對(duì)Project GR00T人形機(jī)器人基礎(chǔ)模型進(jìn)行訓(xùn)練，以節(jié)省時(shí)間和降低成本。然后，他們可以使用Isaac Lab中的 Robocasa NIM微服務(wù)（一個(gè)機(jī)器人學(xué)習(xí)框架）來(lái)生成經(jīng)驗(yàn)并重新訓(xùn)練機(jī)器人模型。在整個(gè)工作流中，NVIDIA OSMO將計(jì)算任務(wù)無(wú)縫地分配給不同的資源，為開(kāi)發(fā)者減少了數(shù)周的管理工作量。

通用機(jī)器人平臺(tái)公司傅利葉看到了使用仿真技術(shù)綜合生成訓(xùn)練數(shù)據(jù)的優(yōu)勢(shì)。傅利葉首席執(zhí)行官 Alex Gu 表示：“人形機(jī)器人的開(kāi)發(fā)極其復(fù)雜，這項(xiàng)工作需要從現(xiàn)實(shí)世界中繁瑣地獲取大量真實(shí)數(shù)據(jù)。NVIDIA 的全新仿真和生成式 AI 開(kāi)發(fā)者工具將有助于引導(dǎo)和加速我們的模型開(kāi)發(fā)工作流?！?/p>