[機器人虛實整合課程] 使用 NVIDIA Isaac 將 SO-101 機器人從模擬環境訓練到實際應用

課程介紹

本課程的核心任務是訓練並部署一個視覺-語言-動作（VLA）模型，控制一個 SO-101 機器手臂執行開放性的非結構化任務：將試管精準地放入架子中。學員將經歷「模擬訓練」到「實體驗證」的完整工作流程，並學習如何解決 Sim-to-Real Gap（模擬與現實的差距）這一核心技術挑戰。

? 版本說明：本課程參考 NVIDIA DLI [Train an SO-101 Robot From Sim-to-Real With NVIDIA Isaac] 課程，相關資訊皆以原廠為準。

? 還沒有預算買高規電腦：

Isaac Sim 對於執行電腦規格要求非常高，如果您想先行評估不同規格的 GPU 執行效能差異，請參考 NVIDIA Isaac Launchable 在雲端直接運用 Isaac Sim，彈性運用每一分預算！ ? SO-ARM 101 系列產品購買請點我 ? CAVEDU lerobot 相關文章請點我 [caption id="attachment_63150" align="alignnone" width="2560"]

Isaac launchable - Isaac Sim 馬上開工！[/caption]

? 程度：技術 - 中級
? 主題：實體 AI / 機器人模擬 / Sim-to-Real
? 完課證明：無
? 課程先修條件：熟悉機器人基礎概念、Python 程式設計，具備 LeRobot 操作經驗佳
? 所需軟體：Python, NVIDIA Isaac Sim, LeRobot 框架
? 所需硬體：可執行 NVIDIA Isaac Sim（最低系統規格建議）的高效能筆記型電腦或工作站（現場亦將提供 SO-101 機器手臂實機供學員進行實體部署測試）
? 相關資訊：請參考 DLI 物理 AI 學習路徑
? 課程定位：本課程位於 DLI 學習路徑之物理 AI 分類，也歡迎從中找到更多您喜歡的課程

- ? 領先的物理 AI 工作流：從模擬環境（Isaac Sim）出發，完整走完從虛擬訓練到實體部署的工業級流程。
- ? GR00T 模型深度應用：掌握 NVIDIA 最先進的機器人基礎模型，讓機器人理解視覺指令並執行精準動作。
- ? 系統化縮小 Sim-to-Real 差距：不只是理論，更透過 SAGE 與 GapONet 技術，定量測量並修正動力學上的物理誤差。
- ? Cosmos 資料增強：學習利用 NVIDIA Cosmos 平台生成多樣化的模擬資料，解決現實世界資料採集昂貴的問題。
- ? LeRobot 生態系整合：無縫接軌熱門的開源機器人學習框架，確保學員能快速應用於現有硬體專案。

時間	內容摘要
10:00 – 10:30	DLI 簡介與物理 AI 入門－簡介 NVIDIA DLI 深度學習學院與主流 AI 工具－註冊 NVIDIA 開發者帳號－介紹 DLI 的物理 AI 學習路徑
10:30 – 12:00	Isaac Sim 與數位孿生－建構 SO-101 數位孿生場景－配置物理屬性與 Actuator 驅動映射
12:00 – 13:00	午餐時間
13:00 – 14:40	遙控操作與資料採集－淺談模仿學習－在 Isaac Sim 中執行模擬遙控操作－採集符合 LeRobot 格式的高品質展示資料
15:00 – 16:40	領域隨機化 (Domain Randomization) －合成資料生成的必要性－實作光影、紋理與物件位置隨機化－建立穩健的模擬訓練集
16:40 – 17:00	Q&A 與複習－回顧本日學習內容並解答問題

[caption id="" align="aligncenter" width="1280"]

模擬中的遠端操作[/caption] [caption id="" align="aligncenter" width="848"] 實體示範

透過遠端操作進行任務的實際展示[/caption]

時間	內容摘要
10:00 – 12:00	GR00T 模型與 Cosmos 增強－訓練 Vision-Language-Action (VLA) 模型策略－使用 Cosmos 擴增場景多樣性
12:00 – 13:00	午餐時間
13:00 – 15:20	實體部署與差距測量－將策略部署至實體 SO-101 機器手臂－應用 SAGE+GapONet 測量並縮小動力學差距
15:30 – 16:30	實務探討－分享 Sim 2 Real 的差距：感知、執行、物理與建模
16:30 – 17:00	結尾與後續資源－更多學習資源分享、完成工作坊問卷調查

[caption id="" align="aligncenter" width="640"] Cosmos 增強範例 1

使用 Cosmos 模型來增強資料[/caption] [caption id="" align="aligncenter" width="1183"] SAGE概述

SAGE: Sim to Real Actuation Gap Estimation[/caption]

CAVEDU 教育團隊 (翰尼斯企業) 是國內執行課程經驗最豐富的 NVIDIA 教育合作夥伴。歡迎洽詢企業包班、技術顧問與客製化課程：

我們的專業團隊（2025 全球第一白金級大使領軍）將為您提供專屬的 NVIDIA DLI 原廠認證課程 規劃。

* 須完成該課程所指定之課程評量，難度根據各課程而有不同。

** 翰尼斯企業有限公司（29070497）為正式註冊之法人，CAVEDU 為其教育部門。