具身智慧百科

關鍵技術棧

從模仿學習到 VLA,從模擬到真機。

VLA(Vision-Language-Action)

直接把影像與語言指令映射為機器人動作。代表:RT-2(網頁知識遷移到控制)、OpenVLA(開源 7B,Open X-Embodiment)、後續 π0/RDT/GR00T 等。與純 VLM 不同:輸出必須是可執行動作,而非文字描述。

世界模型(World Models)

學習「狀態+動作 → 下一觀測/狀態」,支援腦內推演與規劃。可與策略耦合成為 WAM。綜述見 arXiv:2507.00917、2510.16732。

模仿學習/行為複製(IL/BC)

從示範軌跡以監督方式學習動作。ACT 適合雙臂遙操資料;實作單純、訓練快。

強化學習(RL)

依獎勵優化策略,常在模擬中大規模平行(Isaac Gym 等),再經 Sim2Real 遷移;運動控制(locomotion)尤為常見。

Diffusion Policy

以擴散模型擬合多峰動作分布,適合「同一任務多種合法動作」的示範(Chi et al., RSS 2023)。推論需多步去噪,可用 DDIM 等加速。

Sim2Real

域隨機化、系統識別、Real2Sim2Real、人在迴路修正(如 TRANSIC)等,縮小模擬與現實在物理、渲染、雜訊上的差距。

多模態與觸覺/靈巧手

視覺—語言—力覺—觸覺融合;視觸覺感測器與電子皮膚支援精細操作。硬體與演算法需共同設計。

來源:Embodied-AI-Guide 演算法篇結構;Diffusion Policy/ACT 公開比較;綜述 2407.06886。