ロボットのシミュレーションと学習のための新しいNVIDIA NIMマイクロサービスとフレームワーク、マルチステージのロボティクスワークロードを実行するための NVIDIA OSMOオーケストレーション サービス、開発者が少量の人間のデモンストレーションデータを使用してロボットをトレーニングできるAIとシミュレーション対応の遠隔操作ワークフローなどが提供されるという。
NVIDIAの創業者/CEOであるジェンスン・フアン氏は、次のようにコメントする。
AIの次の波はロボティクスであり、最もエキサイティングな開発の1つはヒューマノイドロボットです。NVIDIAは、NVIDIAロボティクススタック全体を進化させ、世界中のヒューマノイド開発者や企業がニーズに最適なプラットフォーム、アクセラレーションライブラリ、AIモデルを利用できるようにしています。
NVIDIA NIMとOSMOによる開発の加速
NIMマイクロサービスは、NVIDIA推論ソフトウェアを搭載した事前構築済みのコンテナーを提供し、開発者は展開に要する時間を数週間から数分に短縮できる。
2つの新しいAIマイクロサービスにより、ロボット開発者は、NVIDIA Omniverseプラットフォーム上に構築されたロボティクスシミュレーションのリファレンスアプリケーションであるNVIDIA Isaac Simで、生成物理AIのシミュレーションワークフローを強化できる。
MimicGen NIMは、Apple Vision Proなどの空間コンピューティングデバイスから記録された遠隔操作データに基づいて合成モーションデータを生成する。Robocasa NIMは、OpenUSDでロボットタスクとシミュレーション対応環境を生成する。OpenUSDは、3Dワールド内での開発とコラボレーションのためのユニバーサルフレームワークだ。
提供が開始されたNVIDIA OSMOは、オンプレミスでもクラウドでも、分散コンピューティングリソース全体で複雑なロボット開発ワークフローをオーケストレーションおよび拡張できるクラウドネイティブなマネージドサービスという。
OSMOはロボットのトレーニングとシミュレーションのワークフローを大幅に簡素化し、展開と開発のサイクルを数か月から1週間未満に短縮できる。ユーザーは、ヒューマノイド、自律移動ロボット、産業用マニピュレーターの合成データの生成、モデルのトレーニング、強化学習の実施、大規模なソフトウェアインザループ（SIL）テストの実装など、さまざまなタスクを可視化して管理できる。
ヒューマノイドロボット開発者向けのデータキャプチャ・ワークフローの進化
ヒューマノイドロボットの基盤モデルをトレーニングするには、膨大な量のデータが必要だ。人間のデモンストレーションデータをキャプチャする方法の1つは遠隔操作を使用することだが、これはますますコストがかかり、時間のかかるプロセスになりつつある。
SIGGRAPHコンピューターグラフィックス・カンファレンスでデモされたNVIDIA AIおよびOmniverse対応の遠隔操作リファレンスワークフローにより、研究者やAI開発者は、リモートでキャプチャされた最小限の人間のデモンストレーションから、大量の合成モーションおよび知覚データを生成できる。
まず、開発者はApple Vision Proを使用して、少数の遠隔操作デモンストレーションをキャプチャする。次に、NVIDIA Isaac Simで記録をシミュレーションし、MimicGen NIMを使用して記録から合成データセットを生成する。
開発者は、実際のデータと合成データを使用してProject GR00Tヒューマノイド基盤モデルをトレーニングし、開発者が時間を短縮してコストを削減することができる。次に、ロボット学習フレームワークであるIsaac LabのRobocasa NIMを使用して、ロボットモデルを再学習するためのエクスペリエンスを生成する。ワークフロー全体を通じて、NVIDIA OSMOはコンピューティングジョブをさまざまなリソースにシームレスに割り当てるため、開発者は数週間に及ぶ管理タスクを省くことができる。
汎用ロボット プラットフォーム企業であるFourierは、シミュレーションテクノロジを使用して学習データを合成的に生成することの利点を評価しているという。
FourierのCEOであるAlex Gu氏は、次のようにコメントする。
ヒューマノイドロボットの開発は極めて複雑で、現実世界から手間暇かけて収集した膨大な量の実際のデータが必要です。NVIDIAの新しいシミュレーションおよび生成AI開発者ツールは、モデル開発ワークフローの立ち上げと加速に役立ちます。
NVIDIA ヒューマノイド開発者向けテクノロジへのアクセスの拡大
NVIDIAは、ヒューマノイド ロボティクスの開発を容易にするために、3つのコンピューティングプラットフォームを提供している。モデルをトレーニングするためのNVIDIA AIスーパーコンピューター、ロボットがシミュレートされた世界でスキルを学習して磨くことができるOmniverse上に構築されたNVIDIA Isaac Sim、およびモデルを実行するための NVIDIA Jetson Thorヒューマノイドロボット・コンピューターだ。開発者は、特定のニーズに合わせて、プラットフォームのすべて(または一部) にアクセスし、使用できる。
新しいNVIDIA Humanoid Robot Developer Programを通じて、開発者は新しい製品や、NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor、Project GR00T汎用ヒューマノイド基盤モデルの最新リリースに早期アクセスできる。
1x、Boston Dynamics、ByteDance Research、Field AI、Figure、Fourier、Galbot、LimX Dynamics、Mentee、Neura Robotics、RobotEra、Skild AI などが、早期アクセスプログラムに最初に参加する企業だ。
Boston Dynamicsの最高技術責任者であるAaron Saunders氏は、次のようにコメントする。
Boston DynamicsとNVIDIAは、ロボティクスの可能性の限界を押し広げるために、長年にわたって緊密に協力してきました。この取り組みの成果が業界全体を加速させていることを非常に嬉しく思っており、早期アクセス プログラムはクラス最高のテクノロジにアクセスする素晴らしい方法です。
利用方法
開発者は、NVIDIA Humanoid Robot Developer Programに参加すると、NVIDIA OSMOとIsaac Labにアクセスができ、また、近日NVIDIA NIMマイクロサービスにもアクセスできるようになるとしている。
