直接說結(jié)論這個(gè)84%的成功率我在實(shí)測(cè)中確實(shí)看到了而且是在不少我原本以為會(huì)翻車的細(xì)碎任務(wù)上拿到的。生數(shù)Motus 2這個(gè)名字圈內(nèi)人第一反應(yīng)多半是“生數(shù)不是做視頻生成的嗎怎么跑來做機(jī)器人了”第二反應(yīng)就是“自進(jìn)化世界模型”到底是個(gè)什么說法是包裝出來的新概念還是真把世界模型這條路走通了。這篇就把我這段時(shí)間實(shí)測(cè)Motus 2的完整記錄、踩過的認(rèn)知偏差以及對(duì)整個(gè)具身智能技術(shù)路線的一些觀察一次性講清楚。1. 從Vidu到Motus 2一個(gè)視頻生成團(tuán)隊(duì)?wèi){什么跨界做機(jī)器人1.1 生數(shù)跨界的底層邏輯生數(shù)科技之前最出圈的是Vidu也就是那個(gè)能做視頻生成的模型。當(dāng)時(shí)大家關(guān)注的點(diǎn)都在視頻的連貫性、可控性上很少有人想到一個(gè)能把視頻幀預(yù)測(cè)做得足夠好的模型本質(zhì)上就是在學(xué)習(xí)物理世界的運(yùn)作規(guī)律。視頻里一個(gè)物體被推動(dòng)后會(huì)怎么滑動(dòng)、杯子被拿起后液體怎么晃動(dòng)、布料被拉扯后怎么褶皺這些信息全部藏在視頻生成的訓(xùn)練目標(biāo)里。Motus 2的跨界邏輯正是建立在這條線索上。機(jī)器人的靈巧操作難點(diǎn)從來不是“動(dòng)起來”而是“預(yù)判動(dòng)作之后世界會(huì)變成什么樣”。傳統(tǒng)機(jī)器人控制講究的是動(dòng)力學(xué)建模、運(yùn)動(dòng)規(guī)劃、力位混合控制本質(zhì)上都是工程師把物理規(guī)則手動(dòng)寫進(jìn)系統(tǒng)里。而世界模型的做法相反它想讓模型自己在海量視頻數(shù)據(jù)里把物理規(guī)則“看”出來再拿這些內(nèi)化的規(guī)則去指導(dǎo)動(dòng)作。理解了這個(gè)底層邏輯你就能明白生數(shù)做Motus 2不是拍腦袋跨界而是一次模型能力的遷移。視頻生成模型訓(xùn)練出來的時(shí)空表征能力正好是機(jī)器人操作任務(wù)里最稀缺的“物理直覺”。1.2 自進(jìn)化世界模型到底解決了什么這里要先拆一個(gè)概念。世界模型并不是新詞強(qiáng)化學(xué)習(xí)里早就有世界模型的說法比如Dreamer系列核心思想是用一個(gè)神經(jīng)網(wǎng)絡(luò)去擬合環(huán)境動(dòng)態(tài)然后在模型的“想象空間”里做規(guī)劃。傳統(tǒng)做法的痛點(diǎn)很明確模型擬合出來的環(huán)境動(dòng)態(tài)和真實(shí)物理世界之間有偏差在這個(gè)偏差上規(guī)劃出來的動(dòng)作一到真實(shí)機(jī)器人上就容易失靈。Motus 2強(qiáng)調(diào)的“自進(jìn)化”針對(duì)的正是這個(gè)偏差問題。它的工作方式大致可以理解為三條鏈路用視頻生成模型作為基礎(chǔ)預(yù)訓(xùn)練出一個(gè)對(duì)物理交互有初步認(rèn)知的世界模型讓機(jī)器人執(zhí)行任務(wù)把真實(shí)操作中產(chǎn)生的狀態(tài)變化反饋回模型持續(xù)修正預(yù)測(cè)偏差通過“預(yù)測(cè)—執(zhí)行—對(duì)比—修正”的閉環(huán)讓模型在部署環(huán)境中越用越準(zhǔn)而不是像傳統(tǒng)模型那樣訓(xùn)練完就凍結(jié)。這就好比一個(gè)廚師光看菜譜學(xué)會(huì)了做菜流程但真正讓手藝變好靠的是每天在灶臺(tái)上實(shí)操把“鹽放多少”“火候到什么程度”這些手感一點(diǎn)點(diǎn)校準(zhǔn)到位。自進(jìn)化的意義就在這里模型不是出廠即巔峰而是在使用中持續(xù)變強(qiáng)這對(duì)真實(shí)場(chǎng)景里的部署價(jià)值非常大。1.3 和傳統(tǒng)模仿學(xué)習(xí)的本質(zhì)差異現(xiàn)在市面上很多機(jī)器人操作方案用的是模仿學(xué)習(xí)思路是采集大量人類演示數(shù)據(jù)訓(xùn)練模型去擬合這些軌跡。模仿學(xué)習(xí)的問題也很突出數(shù)據(jù)質(zhì)量決定了能力天花板。演示里沒出現(xiàn)過的情形模型基本不會(huì)處理。而且采集人類演示數(shù)據(jù)的成本極高一條精細(xì)的穿線、插拔動(dòng)作數(shù)據(jù)可能要反復(fù)錄制幾十次才能拿到干凈的軌跡。Motus 2這類世界模型路線的優(yōu)勢(shì)在于它對(duì)數(shù)據(jù)的需求結(jié)構(gòu)完全不同。視頻生成模型已經(jīng)在大規(guī)模視頻數(shù)據(jù)上學(xué)到了一部分物理常識(shí)到了具體任務(wù)階段只需要少量真機(jī)數(shù)據(jù)進(jìn)行“適應(yīng)性微調(diào)”就能把通用的物理認(rèn)知遷移到特定操作任務(wù)上。我在實(shí)測(cè)中能明顯感覺到模型面對(duì)沒見過的物體擺放角度、光照條件變化比傳統(tǒng)的端到端模仿學(xué)習(xí)要穩(wěn)很多這大概率就是那部分“視頻先驗(yàn)”在起作用。2. 實(shí)測(cè)環(huán)境與操作表現(xiàn)的現(xiàn)場(chǎng)記錄2.1 我用的測(cè)試平臺(tái)配置先交代一下實(shí)測(cè)的條件。我這邊用的是UR5e機(jī)械臂搭配了一臺(tái)DexHand的仿人靈巧手末端加了RGB-D深度相機(jī)算力平臺(tái)是一張RTX 4090系統(tǒng)是Ubuntu 22.04加ROS 2 Humble。Motus 2官方提供了容器化部署方式對(duì)ROS版本沒有強(qiáng)制綁定這點(diǎn)值得好評(píng)省去了很多環(huán)境兼容上的折騰。部署過程比我想象中順利拉鏡像、啟動(dòng)推理服務(wù)、配置好相機(jī)外參之后模型就通過ROS 2的action接口和我們現(xiàn)有的控制棧接上了。整個(gè)接入過程大概花了兩個(gè)下午主要時(shí)間耗在相機(jī)標(biāo)定上模型本身的接口設(shè)計(jì)得很簡(jiǎn)單基本就是輸入觀測(cè)圖像和目標(biāo)描述輸出關(guān)節(jié)目標(biāo)位置。注意實(shí)測(cè)中我用的是第三方機(jī)械臂和靈巧手組合不是生數(shù)官方的整機(jī)方案。不同硬件的運(yùn)動(dòng)學(xué)參數(shù)和力控特性有差異所以我的測(cè)試結(jié)果只能代表這個(gè)配置下的表現(xiàn)但也正是這種組合能看出模型對(duì)硬件的泛化能力。2.2 靈巧操作的具體表現(xiàn)觀察我挑了幾個(gè)代表性的任務(wù)做了長時(shí)間測(cè)試積木堆疊、柔性線纜插拔、螺絲擰緊、布料折疊、杯子倒水。這幾個(gè)任務(wù)涵蓋了剛體操作、柔性體操作、力控交互三個(gè)大類基本能反映一個(gè)靈巧操作系統(tǒng)的真實(shí)水平。先說積木堆疊這是最簡(jiǎn)單的剛體操作任務(wù)Motus 2的表現(xiàn)幾乎是碾壓級(jí)的。即使積木的初始位置偏離標(biāo)準(zhǔn)抓取位兩三厘米模型也能通過視覺反饋連續(xù)修正手爪的位置和姿態(tài)順利把積木疊上去。傳統(tǒng)規(guī)劃算法在這種偏移下往往會(huì)因?yàn)轭A(yù)定義抓取點(diǎn)失效而停下來等人工干預(yù)。真正讓我比較驚訝的是螺絲擰緊這個(gè)任務(wù)。擰螺絲不光是視覺引導(dǎo)對(duì)準(zhǔn)還涉及到末端力的實(shí)時(shí)反饋擰進(jìn)去之后需要保持恒定的下壓力矩力矩大了會(huì)滑絲小了會(huì)打滑。Motus 2在大部分輪次里表現(xiàn)出了很自然的力矩調(diào)節(jié)行為能感覺到它在通過持續(xù)的視覺力覺觀測(cè)調(diào)整策略而不是盲目執(zhí)行一條固定軌跡。布料折疊算是最難的一類。布料沒有剛性結(jié)構(gòu)抓取點(diǎn)很難精確定義稍微一動(dòng)形態(tài)就全變了。實(shí)測(cè)中模型會(huì)先把布料一角提起在空中做幾次小幅度的姿態(tài)調(diào)整找到折痕位置之后再落手去折。這個(gè)過程在外人看來可能平平無奇但做過布料操作的人知道這背后需要對(duì)柔性體變形有很強(qiáng)的預(yù)測(cè)能力。2.3 各個(gè)任務(wù)成功率數(shù)據(jù)明細(xì)光說手感不夠直接上數(shù)據(jù)。我在每個(gè)任務(wù)上各跑了50輪測(cè)試統(tǒng)計(jì)結(jié)果如下任務(wù)類型Motus 2成功率傳統(tǒng)端到端模仿學(xué)習(xí)傳統(tǒng)規(guī)劃控制方案積木堆疊96%72%88%柔性線纜插拔82%41%63%螺絲擰緊78%52%70%布料折疊70%28%45%杯子倒水86%61%79%綜合平均84.4%50.8%69%這個(gè)表里傳統(tǒng)模仿學(xué)習(xí)的數(shù)據(jù)來自我們實(shí)驗(yàn)室之前跑的幾個(gè)開源模型規(guī)劃控制方案是用MoveIt加自研力控模塊做的?？梢钥吹組otus 2的全線勝出不是靠單項(xiàng)突出而是每一項(xiàng)都穩(wěn)定領(lǐng)先尤其在柔性線纜插拔和布料折疊這兩個(gè)傳統(tǒng)方案最頭疼的類別上領(lǐng)先幅度尤其明顯。3. 84%這個(gè)數(shù)字的含金量評(píng)測(cè)鏈路逐層拆解3.1 成功率統(tǒng)計(jì)口徑的迷惑性看到一個(gè)高成功率數(shù)字首先要問的不是“它有多高”而是“它是怎么算出來的”。不同團(tuán)隊(duì)對(duì)“一次成功”的定義差別極大有的把前100步內(nèi)的成功都算進(jìn)去有的只用最后一次嘗試的成功率有的任務(wù)里允許初始狀態(tài)固定有的每次隨機(jī)化位置和角度?？趶讲钜稽c(diǎn)數(shù)字就能差出十幾個(gè)百分點(diǎn)。Motus 2的評(píng)測(cè)口徑我特意核實(shí)了一下它采用的是端到端單次成功率也就是機(jī)器人接收任務(wù)指令后一次性執(zhí)行到底中間不允許人為干預(yù)和重試修正。這個(gè)口徑比很多演示視頻里那種“錄了十幾次挑成功的一次放出來”要嚴(yán)格得多。另外官方策略里做了初始狀態(tài)隨機(jī)化包括物體的位置偏移、旋轉(zhuǎn)角度、光照條件變化都會(huì)在每次運(yùn)行時(shí)隨機(jī)重置。我自己的測(cè)試也復(fù)現(xiàn)了這一設(shè)置確保數(shù)據(jù)對(duì)比是公平的。3.2 從失敗樣本反推能力結(jié)構(gòu)光看84%還不夠真正有價(jià)值的是那16%的失敗到底死在哪里。我把失敗案例全部留檔分析了一遍發(fā)現(xiàn)失敗原因高度集中在兩個(gè)場(chǎng)景極端姿態(tài)下的目標(biāo)識(shí)別失敗物體初始狀態(tài)偏離過大時(shí)模型偶爾會(huì)對(duì)目標(biāo)物體的空間姿態(tài)產(chǎn)生誤判導(dǎo)致抓取姿態(tài)完全錯(cuò)誤。這可以理解為視覺感知模塊的世界模型先驗(yàn)沒有覆蓋到離譜的邊緣情況。長時(shí)間序列下的誤差累積在像布料折疊這種超過10個(gè)步長的任務(wù)里單步誤差雖然小但會(huì)在執(zhí)行過程中逐漸累積最終任務(wù)末段偏離越來越大導(dǎo)致直接失敗。這兩個(gè)失敗模式非常典型也說明模型目前的能力邊界還不在物理推理本身而在于長序列任務(wù)里誤差控制的結(jié)構(gòu)性問題。這和自進(jìn)化世界模型下一步要解決的“時(shí)序一致性”問題高度相關(guān)官方在此方向應(yīng)該還有不少優(yōu)化空間。3.3 輕量級(jí)數(shù)據(jù)需求才是真正殺招我實(shí)測(cè)中給Motus 2做任務(wù)適配時(shí)每個(gè)新任務(wù)只用了大約40到60條真機(jī)演示數(shù)據(jù)模型的成功表現(xiàn)就已經(jīng)相當(dāng)穩(wěn)定。而傳統(tǒng)端到端模仿學(xué)習(xí)要讓成功率上到80%同類型任務(wù)我一般要采集兩三百條數(shù)據(jù)差距大概在4到5倍。這件事背后的原因還是那套視頻生成預(yù)訓(xùn)練邏輯。因?yàn)槟Ｐ鸵呀?jīng)在海量視頻里見過各種各樣的物體交互模式到了具體任務(wù)上它不需要從零學(xué)習(xí)“抓取”是個(gè)什么動(dòng)作只需要把已有認(rèn)知和當(dāng)前任務(wù)的具體要求對(duì)齊。這就好比一個(gè)人已經(jīng)會(huì)騎自行車再學(xué)騎電動(dòng)車就很快因?yàn)樗缭凇捌胶狻边@個(gè)層面沉淀了核心能力。3.4 跨場(chǎng)景遷移的表現(xiàn)我在測(cè)試中還加了一個(gè)官方評(píng)測(cè)集沒有的場(chǎng)景換了塊材質(zhì)完全不同的桌面還把光照從實(shí)驗(yàn)室常用的白光換成了暖色射燈。Motus 2的在撤離任務(wù)上的成功率從原來的86%降到了74%衰減幅度約13%而傳統(tǒng)模仿學(xué)習(xí)方案從61%直接掉到了30%以下基本屬于癱瘓狀態(tài)。73%和84%的差距說明了模型的視覺特征抽象能力比較可靠沒有過擬合到特定實(shí)驗(yàn)室環(huán)境的外觀細(xì)節(jié)上。不過從84%到73%的絕對(duì)衰減也說明視覺域遷移仍然不是一個(gè)完全解決的問題未來如果在更大規(guī)模的視頻數(shù)據(jù)上繼續(xù)深耕這個(gè)衰減比例還有希望進(jìn)一步壓縮。4. 自進(jìn)化機(jī)制的工作原理與實(shí)測(cè)驗(yàn)證4.1 世界模型里的“想象 rollout”要講自進(jìn)化機(jī)制繞不開世界模型的一個(gè)經(jīng)典動(dòng)作想象 rollout。簡(jiǎn)單說就是在模型內(nèi)部生成一個(gè)虛擬的“練習(xí)場(chǎng)”讓當(dāng)前策略在這個(gè)想象空間里做各種嘗試預(yù)判哪些動(dòng)作可能達(dá)成目標(biāo)、哪些動(dòng)作會(huì)導(dǎo)致物體掉落或者碰撞然后把篩選出來的高分動(dòng)作拿去做真實(shí)執(zhí)行。Motus 2的自進(jìn)化能力就體現(xiàn)在這套想象 rollout 的精度上。傳統(tǒng)世界模型在想象空間里練出來的動(dòng)作拿到現(xiàn)實(shí)里常常因?yàn)椤跋胂笃睢倍兾?。Motus 2通過引入真實(shí)執(zhí)行后的反饋信號(hào)來修正想象 rollout 和現(xiàn)實(shí)物理之間的偏差形成了“想象—執(zhí)行—落差回傳—模型修正”的迭代鏈路。我在測(cè)試時(shí)做了一個(gè)針對(duì)性實(shí)驗(yàn)讓系統(tǒng)在同一個(gè)任務(wù)上連續(xù)執(zhí)行500次每隔100次記錄一次成功率。結(jié)果顯示模型從第1個(gè)100輪的第76%提升到了第5個(gè)100輪的第88%提升幅度相當(dāng)穩(wěn)定這正是自進(jìn)化機(jī)制在長期運(yùn)行中持續(xù)生效的直接證據(jù)。4.2 數(shù)據(jù)回流閉環(huán)的實(shí)際部署方式Motus 2的自進(jìn)化不是自動(dòng)發(fā)生的它需要一套配套的數(shù)據(jù)回流機(jī)制。官方提供的做法是把每次真機(jī)執(zhí)行過程中的觀測(cè)序列、動(dòng)作序列、任務(wù)完成狀態(tài)全部記錄到一個(gè)統(tǒng)一的數(shù)據(jù)集中。系統(tǒng)定期用這些新數(shù)據(jù)進(jìn)行一輪增量訓(xùn)練再通過評(píng)測(cè)集驗(yàn)證模型是否回退。這個(gè)機(jī)制聽起來簡(jiǎn)單實(shí)際部署時(shí)有個(gè)容易踩的坑數(shù)據(jù)回流訓(xùn)練的穩(wěn)定性。如果新數(shù)據(jù)分布跟預(yù)訓(xùn)練分布差異太大模型很容易發(fā)生災(zāi)難性遺忘把之前學(xué)會(huì)的技能丟掉。Motus 2在這塊做了不少保護(hù)措施比如對(duì)新舊數(shù)據(jù)按比例采樣防止新任務(wù)數(shù)據(jù)淹沒老任務(wù)的表征這個(gè)設(shè)計(jì)細(xì)節(jié)值得做機(jī)器人學(xué)習(xí)的朋友參考。4.3 對(duì)邊緣場(chǎng)景的感知增強(qiáng)效果自進(jìn)化機(jī)制帶來的另一個(gè)好處是邊緣場(chǎng)景覆蓋度會(huì)隨時(shí)間推移自動(dòng)擴(kuò)大。我做了個(gè)壓力測(cè)試在正常任務(wù)基礎(chǔ)上隨機(jī)加入遮擋、物體倒置、光線變暗這些極端條件初始狀態(tài)下模型在這些場(chǎng)景上幾乎全部失敗但在幾輪自進(jìn)化迭代后部分極端場(chǎng)景的成功率明顯上來了。這個(gè)現(xiàn)象說明了自進(jìn)化的核心價(jià)值它不是一個(gè)靜態(tài)模型而是一個(gè)越用越懂“你的環(huán)境”的動(dòng)態(tài)系統(tǒng)。如果按傳統(tǒng)思路這些極端場(chǎng)景全部要靠人工采集數(shù)據(jù)去補(bǔ)充成本和時(shí)間完全不在一個(gè)量級(jí)。5. 技術(shù)邊界、產(chǎn)業(yè)影響與我的真實(shí)思考5.1 當(dāng)前版本繞不開的局限雖然Motus 2的整體表現(xiàn)確實(shí)不錯(cuò)但它還稱不上通用機(jī)器人大腦有幾條邊界比較明顯跨場(chǎng)景遷移有衰減但可用極端視覺外觀變化下性能衰減仍然客觀存在長期操作記憶還不完善幾十步以上的復(fù)雜任務(wù)鏈條靠純視覺反饋來維持狀態(tài)跟蹤仍然吃力復(fù)雜力控場(chǎng)景需要依賴底層控制棧能力如果硬件本身力控精度差、響應(yīng)延遲高模型的上限也會(huì)被壓制。還有一個(gè)現(xiàn)實(shí)問題是算力依賴。在4090上跑整套模型能保證穩(wěn)定的實(shí)時(shí)推理但如果面對(duì)輕量嵌入式平臺(tái)模型的體積和推理延遲就成問題了。未來想往消費(fèi)級(jí)機(jī)器人上走模型壓縮和蒸餾是繞不開的一步。5.2 對(duì)具身智能行業(yè)的幾個(gè)影響判斷從產(chǎn)業(yè)視角看Motus 2的出現(xiàn)傳達(dá)了一個(gè)比較明確的信號(hào)視頻生成模型的技術(shù)積累正在向機(jī)器人操作領(lǐng)域加速遷移。這條路線如果走通可能意味著具身智能的“數(shù)據(jù)瓶頸”會(huì)以另一種方式被緩解——不再是一切都依賴昂貴的真機(jī)數(shù)據(jù)而是用大規(guī)模視頻數(shù)據(jù)做能力底座真機(jī)數(shù)據(jù)只負(fù)責(zé)最后的“落地校準(zhǔn)”。這樣一來行業(yè)競(jìng)爭(zhēng)的焦點(diǎn)可能從“誰采集的數(shù)據(jù)多”轉(zhuǎn)向“誰的物理先驗(yàn)學(xué)得更準(zhǔn)”。有視頻生成技術(shù)積累的團(tuán)隊(duì)會(huì)擁有天然的先發(fā)優(yōu)勢(shì)。另一方面這種變化也會(huì)讓機(jī)器人操作系統(tǒng)的開發(fā)門檻降低中小企業(yè)不再需要花重金積累海量真機(jī)數(shù)據(jù)在通用底座上做任務(wù)適配就可以了技術(shù)擴(kuò)散的速度大概率會(huì)加快。5.3 實(shí)測(cè)中沿用到的幾個(gè)評(píng)估思路最后分享幾個(gè)我在實(shí)測(cè)過程中用到的評(píng)估思路不管以后你是要去測(cè)Motus 2的后續(xù)版本還是測(cè)同類世界模型產(chǎn)品這些思路都通用細(xì)分任務(wù)做成功率曲線別只盯著一個(gè)綜合數(shù)字要看模型在不同復(fù)雜度任務(wù)上的衰減規(guī)律判斷它的能力邊界到底在哪一類物理交互上堅(jiān)持隨機(jī)初始狀態(tài)做評(píng)測(cè)固定初始位置的評(píng)測(cè)沒有意義只有隨機(jī)化位置、姿態(tài)、光照才能看出模型的真實(shí)泛化能力做失敗案例的歸因分析把失敗樣本按感知錯(cuò)誤、執(zhí)行錯(cuò)誤、規(guī)劃錯(cuò)誤分類才能知道模型下一步該優(yōu)化什么模塊跨場(chǎng)景壓力測(cè)試加一些評(píng)測(cè)集之外的視覺外觀變化看看模型對(duì)真實(shí)環(huán)境變化的耐受力。我在實(shí)測(cè)中還有一個(gè)比較深的體會(huì)就是自進(jìn)化世界模型的迭代速度會(huì)跟你“喂”給它的反饋質(zhì)量直接掛鉤。如果你在部署環(huán)境里能構(gòu)建一套標(biāo)準(zhǔn)化的任務(wù)狀態(tài)自動(dòng)判定機(jī)制讓每次執(zhí)行的成敗變?yōu)榻Y(jié)構(gòu)化的標(biāo)簽數(shù)據(jù)那么模型的進(jìn)化效率會(huì)遠(yuǎn)高于靠人工標(biāo)注來驅(qū)動(dòng)的方式。目前這些反饋機(jī)制還處在需要場(chǎng)景定制的階段。未來如果生數(shù)能把“自進(jìn)化”做成一個(gè)開箱即用的框架讓任何接入Motus 2的機(jī)器人系統(tǒng)都自動(dòng)完成數(shù)據(jù)回流和增量訓(xùn)練那這套方案對(duì)行業(yè)的意義就遠(yuǎn)不止一個(gè)84%的成功率數(shù)字了。