[兩日課程] 具身智能實戰：NVIDIA Isaac Sim x LeRobot 機器手臂虛實整合
課程介紹
隨著 AI 基礎模型（Foundation Models）進入物理世界，具身智能 (Embodied AI) 已成為機器人開發的新標準。本課程將帶領學員從虛擬環境部署、資料採集到模型微調，全面掌握 NVIDIA Isaac 生態系與 LeRobot 框架 的實戰技能，打造從模擬到實體 (Sim-to-Real) 的完整工作流。
? 實戰亮點：涵蓋 NVIDIA Isaac Sim、Isaac Lab 與 Hugging Face LeRobot 框架。
?️ 智能整合：深度整合 NVIDIA 諸多 AI 套件，並於 ROS2 框架下實作各種機器人實用功能。
? 解決痛點：實際操作 SO-ARM101 機器手臂進行遙控操作與 HDF5 資料採集訓練。
課程定位
- ? 程度：進階實務課程
- ? 主題：具身智能 / Isaac Lab / LeRobot / 模型微調
- ? 目標學員：AI / 機器人從業人員、對 Physical AI 有興趣者
- ? 先修條件：熟悉 Python、基礎 Ubuntu Linux 指令及深度學習基本概念
- ? 硬體要求：建議 RTX 3080 以上顯卡主機 (Ubuntu 22.04) 與 SO-ARM101 機器手臂
- ? 軟體環境：Isaac Sim 5.0+, Isaac Lab v2.1.0+, GR00T N1.5
學習目標
- ? 掌握 Isaac 軟體堆疊，建置高效能機器人模擬訓練環境
- ? 實作數位孿生資產準備，匯入 OpenUSD 格式之手臂與場景
- ? 透過實體遙控 (Teleoperation) 採集高品質 HDF5 專家資料
- ? 微調 GR00T N1.5 基礎模型，實現多模態指令控制
- ? 評估模型性能並理解從模擬擴展至真實部署的優化策略
.png)
GR00T架構：VLM + 擴散 transformer[/caption]
[caption id="" align="aligncenter" width="501"]
SO-ARM101 機器手臂，包含教學者 (人類操控) 與執行者 (訓練後執行任務)[/caption]
第一天課程：環境部署與資料採集
| 時間 | 內容摘要 |
|---|---|
| 09:00 – 10:30 | 具身智能與 Isaac 生態系概覽 － 具身智能趨勢：從傳統運動學到資料驅動控制 － NVIDIA Isaac Sim / Lab 架構解析與機器手臂工作流程 |
| 10:30 – 12:00 | 環境建置 － 安裝課程環境、Isaac Sim 與 Isaac Lab 等 － 配置 LeIsaac 儲存庫與相依套件 |
| 12:00 – 13:00 | 午餐時間 |
| 13:00 – 14:30 | 數位孿生場景準備 (Asset Preparation) － OpenUSD 格式簡介與 SO-ARM101 虛擬手臂匯入 |
| 14:30 – 16:00 | 遙控操作與資料採集 (Teleoperation) － 實體手臂連線與虛擬環境採樣實作 － 儲存抓取任務之 HDF5 數據 |
| 16:00 – 17:00 | 數據轉換與視覺化 － 使用 LeRobot 工具轉換訓練格式並進行回放檢查 |
第二天課程：模型訓練、微調與推論
| 時間 | 內容摘要 |
|---|---|
| 09:00 – 10:30 | 機器人基礎模型：GR00T N1.5 － 模型架構與多模態輸入分解 － Policy Training 參數配置說明 |
| 10:30 – 12:00 | 模型微調實作 (Policy Fine-tuning) － 淺談模仿學習、強化學習與兩者比較 － 啟動訓練腳本、監控指標變化與 GPU 資源配置 |
| 12:00 – 13:00 | 午餐時間 |
| 13:00 – 14:30 | 推論架構部署 (Inference Deployment) － Server/Client 架構解析 － 加載微調權重並啟動推論服務 |
| 14:30 – 16:00 | 虛擬環境閉環測試 (Evaluation) － 語言指令 (e.g., "Pick up the orange") 性能評測 |
| 16:00 – 17:00 | 總結 － 訓練實務分析 － 更多學習資源 |
立即洽詢與報名
CAVEDU 教育團隊 (翰尼斯企業) 是國內執行課程經驗最豐富的 NVIDIA 教育合作夥伴。 歡迎洽詢企業包班、技術顧問與客製化課程：
我們的專業團隊（2025 全球第一白金級大使領軍）將為您提供專屬的 NVIDIA DLI 原廠認證課程 規劃。
留言 💬 (0)
還沒有留言,來當第一個。