深度網(wǎng)絡(luò)推斷視覺運動雅可比場的 3D 打印異構(gòu)機器人通用控制方法

來源：EFL生物3D打印與生物制造

在機器人領(lǐng)域，模仿自然生物復(fù)雜結(jié)構(gòu)與功能面臨長期挑戰(zhàn)，現(xiàn)代制造技術(shù)雖拓展了硬件可行性，但生物啟發(fā)的機器人多為軟體或多材料、缺乏傳感且材料特性隨使用改變，傳統(tǒng)建模與控制方法難以適用。麻省理工學(xué)院計算機科學(xué)與人工智能實驗室的Sizhe Lester Li教授與Vincent Sitzmann教授團隊合作，提出利用深度神經(jīng)網(wǎng)絡(luò)將機器人視頻流映射至視覺運動雅可比場的方法，僅通過單攝像頭即可實現(xiàn)對機器人的控制，且不依賴其材料、驅(qū)動或傳感特性，通過觀察隨機命令執(zhí)行自監(jiān)督訓(xùn)練。該工作成功控制了多種驅(qū)動、材料與造價的機器人，實現(xiàn)精確閉環(huán)控制并恢復(fù)其因果動態(tài)結(jié)構(gòu)，相關(guān)成果以“Controlling diverse robots by inferring Jacobian fields with deep networks”為題發(fā)表在《Nature》上。

1. 利用視覺運動雅可比場的視覺控制機器人，通過深度學(xué)習(xí)模型從單張圖像推斷機器人的三維表示（視覺運動雅可比場），該場編碼機器人幾何形狀與微分運動學(xué)特性（任意三維點對驅(qū)動命令的敏感度）。研究了機器人運動預(yù)測與閉環(huán)控制過程，結(jié)果表明該方法可通過梯度優(yōu)化以約12赫茲的交互速度求解機器人命令，實現(xiàn)像素空間或三維空間的期望運動軌跡跟蹤，如通過δx=Jθ(x|I)δu預(yù)測運動并優(yōu)化機器人命令δu，使誤差最小化。

圖1. 利用視覺運動雅可比場的視覺控制機器人。  

2. 單圖像重建機器人幾何與運動學(xué)，通過神經(jīng)網(wǎng)絡(luò)同時重建神經(jīng)輻射場（編碼三維形狀與外觀）和視覺運動雅可比場，利用12個消費級RGB-D相機采集的多視圖視頻流進行自監(jiān)督訓(xùn)練。研究了3D打印軟-硬氣動手、Allegro手等多種異構(gòu)機器人平臺的三維重建，結(jié)果表明深度預(yù)測誤差最低達1.109毫米（HSA平臺），預(yù)測的3D運動與點跟蹤參考運動高度一致，且系統(tǒng)自監(jiān)督學(xué)習(xí)可識別命令通道與機器人3D部件的因果關(guān)系。

圖2. 單圖像重建機器人幾何與運動學(xué)。  

3. 視覺驅(qū)動的異構(gòu)機器人閉環(huán)控制，將視覺運動雅可比場應(yīng)用于不同材料、驅(qū)動方式及造價的機器人（如3D打印軟-硬氣動手、16自由度Allegro手、低-cost Poppy機械臂），通過模型預(yù)測控制（MPC）算法實現(xiàn)2D/3D軌跡跟蹤。研究了抓取工具、繪制字母MIT等任務(wù)的執(zhí)行效果，結(jié)果表明在外部負載（如350克配重）或機械 backlash 情況下，仍能實現(xiàn)高精度控制，如Allegro手關(guān)節(jié)誤差小于3°，Poppy機械臂繪圖平均誤差小于6毫米。

圖3. 視覺驅(qū)動的異構(gòu)機器人閉環(huán)控制。  

4. 定量分析與魯棒性測試，通過OptiTrack運動捕捉系統(tǒng)（誤差<0.2毫米）和機器人內(nèi)置高精度傳感器，對控制精度和動態(tài)擾動下的穩(wěn)定性進行評估。研究了HSA平臺在附加配重、Allegro手在復(fù)雜動作下的表現(xiàn)，結(jié)果顯示HSA平臺在負載下目標跟蹤誤差為7.303毫米，雅可比預(yù)測與Drake物理模擬的平均角度誤差低于11°，驗證了方法對未見機器人配置和命令的泛化性及抗視覺遮擋能力。

圖4. 定量分析與魯棒性測試。

研究結(jié)論
本研究提出基于視覺的深度學(xué)習(xí)方法，通過單攝像頭視頻流推斷視覺運動雅可比場，實現(xiàn)對異構(gòu)機器人的通用控制。該方法無需假設(shè)機器人材料、驅(qū)動或傳感特性，通過自監(jiān)督學(xué)習(xí)觀察隨機命令執(zhí)行過程完成訓(xùn)練。實驗驗證表明，本研究成功控制3D打印軟-硬氣動手、16自由度Allegro手、低造價Poppy機械臂等系統(tǒng)，實現(xiàn)高精度閉環(huán)軌跡跟蹤，如Allegro手關(guān)節(jié)誤差小于3°、HSA平臺負載下目標跟蹤誤差7.303毫米。本研究突破傳統(tǒng)建模限制，拓寬機器人設(shè)計空間，為降低自動化門檻提供可行路徑，其視覺驅(qū)動控制框架對生物啟發(fā)機器人與低成本系統(tǒng)具有重要應(yīng)用價值。

文章來源：
https://doi.org/10.1038/s41586-025-09170-0