空間智能這個(gè)詞最近有點(diǎn)熱熱到我一個(gè)平時(shí)只關(guān)心落地應(yīng)用的人都不得不多花幾個(gè)晚上把它相關(guān)的論文、Demo和產(chǎn)品邏輯翻了一遍。原因很簡(jiǎn)單過(guò)去兩年我們聊AI聊的是“它能說(shuō)什么”現(xiàn)在大家開始聊“它能做什么、能走多深、能在真實(shí)世界里幫你干多少活”。說(shuō)白了AI正在從一個(gè)聊天窗口變成一雙眼睛、一雙手。這期空間智能前沿日?qǐng)?bào)想認(rèn)真聊的就是這個(gè)從“能聊天”到“能動(dòng)手”的過(guò)程。我會(huì)討論空間智能到底是什么AI Agent怎么把語(yǔ)言能力變成實(shí)際行動(dòng)以及兩者匯合之后到底能在哪些場(chǎng)景里產(chǎn)生真金白銀的價(jià)值。如果你也在關(guān)注AI應(yīng)用落地方向或者正糾結(jié)要不要投入精力研究空間智能這篇內(nèi)容應(yīng)該對(duì)你有參考價(jià)值。1. 空間智能是什么從“看見(jiàn)”到“理解”再到“行動(dòng)”1.1 先拆解概念空間智能不是三維識(shí)別的馬甲空間智能這個(gè)術(shù)語(yǔ)第一次大面積出圈是因?yàn)閹坠P大額融資和幾位AI圈重量級(jí)人物的公開強(qiáng)調(diào)。但這個(gè)詞本身并不神秘它本質(zhì)上是指AI對(duì)三維空間中的物體位置、幾何關(guān)系、遮擋、運(yùn)動(dòng)趨勢(shì)、物理約束進(jìn)行感知和理解并在此基礎(chǔ)上完成預(yù)測(cè)或行動(dòng)的能力。打個(gè)比方。人類走進(jìn)一間房間掃一眼就能知道“沙發(fā)離桌子大概多遠(yuǎn)”“水杯在沙發(fā)右邊、伸手能夠到”“從門口走到窗戶不會(huì)被絆倒”。這些判斷不需要刻意計(jì)算這就是空間智能。對(duì)人類而言它幾乎是本能但對(duì)傳統(tǒng)AI來(lái)說(shuō)它曾經(jīng)極其困難。一個(gè)二維視覺(jué)模型能識(shí)別出圖片里有一把椅子但無(wú)法回答“這把椅子面朝哪個(gè)方向、離鏡頭多遠(yuǎn)、能不能承重”這類問(wèn)題。傳統(tǒng)NLP模型能生成一段請(qǐng)你“把桌上的杯子遞過(guò)來(lái)”的文字但完全不知道杯子在哪、手該怎么伸。所以空間智能并不是給三維識(shí)別換了個(gè)名字。三維重建也好、目標(biāo)檢測(cè)也好更多是“感知”層面的單點(diǎn)能力空間智能強(qiáng)調(diào)的是感知之后的“理解”與“行動(dòng)”閉環(huán)。理解意味著不僅要認(rèn)出物體還要推斷物體之間的關(guān)系、運(yùn)動(dòng)趨勢(shì)和物理屬性行動(dòng)意味著要基于這種理解生成具體的、可執(zhí)行的指令或姿態(tài)。我在追蹤這個(gè)方向時(shí)最明顯的感受是過(guò)去幾年大家把視覺(jué)模型和語(yǔ)言模型分開訓(xùn)練一個(gè)負(fù)責(zé)“看”一個(gè)負(fù)責(zé)“說(shuō)”現(xiàn)在則拼命想讓模型同時(shí)具備“看”和“做”的能力?？臻g智能就是這中間的那塊拼圖。1.2 為什么“能聊天”不夠了三股力量逼著AI動(dòng)手很多人會(huì)問(wèn)聊天聊得好好的為什么要折騰“動(dòng)手”我覺(jué)得背后有三股推力。第一是數(shù)據(jù)瓶頸。圍繞文本的大規(guī)模預(yù)訓(xùn)練已經(jīng)接近天花板高質(zhì)量文本數(shù)據(jù)快被用完了。而視覺(jué)數(shù)據(jù)、視頻數(shù)據(jù)、空間數(shù)據(jù)還有大量未被利用。空間數(shù)據(jù)的來(lái)源廣、維度多、信息密度高是下一代模型訓(xùn)練最重要的燃料。誰(shuí)先能把空間數(shù)據(jù)消化掉誰(shuí)就能在下一輪競(jìng)爭(zhēng)中占據(jù)優(yōu)勢(shì)這是很多大模型團(tuán)隊(duì)愿意重倉(cāng)布局空間智能的根本原因。第二是場(chǎng)景需求。純聊天產(chǎn)品很難獨(dú)立創(chuàng)造足夠大的商業(yè)價(jià)值企業(yè)客戶真正愿意付費(fèi)的是“解決問(wèn)題”。比如物流倉(cāng)儲(chǔ)要機(jī)器人把貨架上的商品抓下來(lái)室內(nèi)設(shè)計(jì)要讓AI根據(jù)戶型圖自動(dòng)擺放家具自動(dòng)駕駛要讓車在復(fù)雜路口做合理決策。這些需求都要求AI從“給出文字建議”升級(jí)為“直接執(zhí)行并交付結(jié)果”。第三是Agent生態(tài)的成熟。推理成本下降、工具調(diào)用框架逐步標(biāo)準(zhǔn)化讓“讓AI調(diào)用工具完成任務(wù)”變成工程上可落地的方案。從Chat到Act不是某個(gè)單一模型的突破而是一整套工程體系成熟的結(jié)果。模型負(fù)責(zé)理解意圖和拆解任務(wù)工具負(fù)責(zé)執(zhí)行空間智能負(fù)責(zé)讓執(zhí)行過(guò)程真實(shí)可靠。三股推力加在一起結(jié)論就很明確AI的下一個(gè)增長(zhǎng)點(diǎn)不在對(duì)話框里而在真實(shí)空間里。2. AI Agent把“想法”變成“動(dòng)作”2.1 Agent的基礎(chǔ)結(jié)構(gòu)感知、規(guī)劃、記憶與工具調(diào)用想要理解“能聊天”到“能動(dòng)手”必須先理解AI Agent的基本結(jié)構(gòu)。我習(xí)慣用一個(gè)四模塊框架來(lái)拆解一個(gè)典型Agent感知模塊接收信息包括用戶的文字輸入、圖像輸入、傳感器數(shù)據(jù)、系統(tǒng)狀態(tài)等。在空間智能場(chǎng)景下感知模塊經(jīng)常還要接入深度相機(jī)、點(diǎn)云、三維重建結(jié)果。規(guī)劃模塊由大模型承擔(dān)負(fù)責(zé)理解用戶意圖把任務(wù)分解成多個(gè)子步驟決定每一步該調(diào)用什么工具。記憶模塊保存任務(wù)的中間狀態(tài)、歷史信息和執(zhí)行結(jié)果讓Agent在多輪操作里不迷路。執(zhí)行模塊也就是工具調(diào)用連接外部API、代碼執(zhí)行器、移動(dòng)設(shè)備或機(jī)械臂把規(guī)劃結(jié)果變成真實(shí)動(dòng)作。這個(gè)結(jié)構(gòu)并不復(fù)雜但每個(gè)模塊都有很多細(xì)節(jié)。比如規(guī)劃模塊現(xiàn)在主流還是“思維鏈”加“ReAct”這類方法讓模型一邊思考一邊行動(dòng)每一步都輸出“我觀察到了什么、下一步該做什么”。再比如記憶模塊短期記憶用上下文窗口就能解決長(zhǎng)期記憶則要把重要信息存到向量數(shù)據(jù)庫(kù)里在需要時(shí)檢索出來(lái)。過(guò)去一年最明顯的變化是工具調(diào)用的標(biāo)準(zhǔn)越來(lái)越統(tǒng)一。各大模型廠商跟進(jìn)推出的函數(shù)調(diào)用格式和工具調(diào)用協(xié)議讓“模型輸出一個(gè)結(jié)構(gòu)化指令系統(tǒng)執(zhí)行后返回結(jié)果”變成了一套通用玩法。這帶來(lái)的直接好處是你可以把任何能力封裝成一個(gè)工具然后讓模型自由組合?？臻g智能里的“視覺(jué)定位”“深度估計(jì)”“三維重建”都可以封裝成工具交給Agent調(diào)度。2.2 從“對(duì)話”到“行動(dòng)”的關(guān)鍵轉(zhuǎn)變模型要開始對(duì)結(jié)果負(fù)責(zé)對(duì)話系統(tǒng)和Agent系統(tǒng)有個(gè)本質(zhì)區(qū)別對(duì)話系統(tǒng)只對(duì)“說(shuō)出來(lái)的話”負(fù)責(zé)Agent要對(duì)“做出來(lái)的事”負(fù)責(zé)。舉個(gè)很簡(jiǎn)單的例子。你讓聊天機(jī)器人“幫我訂一張明天到上海的票”它可能給你一段建議“你可以去某APP看看”。這個(gè)回答在文本層面是完整的但沒(méi)有完成任何實(shí)際動(dòng)作。而Agent會(huì)自己打開訂票工具、查詢車次、提交訂單然后告訴你“已經(jīng)訂好訂單號(hào)是XXX”。從工程角度看這個(gè)轉(zhuǎn)變帶來(lái)了幾個(gè)新問(wèn)題。第一是錯(cuò)誤成本變高了。對(duì)話說(shuō)錯(cuò)了可以改口動(dòng)作做錯(cuò)了可能造成實(shí)際損失所以Agent必須有更嚴(yán)格的校驗(yàn)和回滾機(jī)制。第二是需要反饋閉環(huán)。動(dòng)作執(zhí)行之后系統(tǒng)要把結(jié)果反饋給模型模型判斷是否滿意不滿意就調(diào)整策略再來(lái)。第三是安全限制必須前置。在讓Agent執(zhí)行動(dòng)作之前要給權(quán)力設(shè)邊界包括權(quán)限控制、動(dòng)作審核、告警機(jī)制。這也是為什么我始終覺(jué)得做Agent比做聊天機(jī)器人難得多。模型能力只是地基真正考驗(yàn)工程能力的是怎么在可控的范圍內(nèi)把模型能力釋放出來(lái)。空間智能的加入又會(huì)把這個(gè)問(wèn)題提升一個(gè)量級(jí)模型不僅要保證自己的輸出正確還要保證對(duì)空間的操作正確。3. 空間智能 × Agent 的落地場(chǎng)景哪些地方真的在“動(dòng)手”3.1 具身智能與機(jī)器人從Demo到產(chǎn)線還有多遠(yuǎn)具身智能是空間智能和Agent結(jié)合最典型的場(chǎng)景。所謂具身簡(jiǎn)單說(shuō)就是給AI一個(gè)物理載體比如機(jī)械臂、四足機(jī)器人、人形機(jī)器人讓它在真實(shí)世界里活動(dòng)。在具身智能的發(fā)展上我觀察到兩條路線。一條是“模型驅(qū)動(dòng)”路線直接把視覺(jué)-語(yǔ)言-動(dòng)作模型做端到端訓(xùn)練輸入圖像和語(yǔ)言指令輸出關(guān)節(jié)動(dòng)作或運(yùn)動(dòng)指令。另一條是“模塊化”路線把感知、規(guī)劃、控制拆開感知用視覺(jué)大模型規(guī)劃用語(yǔ)言大模型控制用傳統(tǒng)機(jī)器人學(xué)方法。兩條路線各有優(yōu)劣端到端潛力更大但數(shù)據(jù)需求極高模塊化更容易落地但鏈路長(zhǎng)、集成復(fù)雜。目前來(lái)看大多數(shù)真實(shí)產(chǎn)線上的方案還是模塊化為主。一個(gè)典型的抓取任務(wù)會(huì)被拆成目標(biāo)檢測(cè)與位姿估計(jì)、抓取點(diǎn)規(guī)劃、路徑規(guī)劃、運(yùn)動(dòng)控制。空間智能模型負(fù)責(zé)前兩環(huán)比如用三維重建或者深度估計(jì)模型得到物體在相機(jī)坐標(biāo)系下的位置然后通過(guò)抓取點(diǎn)生成網(wǎng)絡(luò)輸出機(jī)械臂的抓取姿態(tài)。這個(gè)行業(yè)里常見(jiàn)的誤區(qū)是以為有了一個(gè)大模型機(jī)器人就能自動(dòng)學(xué)會(huì)所有操作。實(shí)際根本不是這樣。真實(shí)環(huán)境里有光照變化、物體形變、遮擋、摩擦力不均等問(wèn)題任何一個(gè)環(huán)節(jié)沒(méi)處理好抓取成功率都會(huì)掉得很明顯。這也是為什么現(xiàn)在大家都在做sim-to-real遷移先用仿真環(huán)境大量訓(xùn)練再在真實(shí)場(chǎng)景做少量微調(diào)?？臻g智能在這條鏈路里承擔(dān)的任務(wù)是讓模型對(duì)“空間關(guān)系”有先驗(yàn)的理解減少真實(shí)調(diào)試的試錯(cuò)成本。3.2 三維內(nèi)容創(chuàng)作與數(shù)字孿生AI開始直接生成“世界”除了物理世界的機(jī)器人空間智能在數(shù)字世界里同樣大有可為。最典型的就是三維內(nèi)容生成。過(guò)去做一張三維場(chǎng)景需要美術(shù)人員用建模軟件一點(diǎn)一點(diǎn)搭動(dòng)輒幾個(gè)星期?，F(xiàn)在出現(xiàn)了大量基于生成式AI的三維工具能直接通過(guò)文字或圖片生成可編輯的三維模型和場(chǎng)景。這些工具背后的空間智能模型要解決的其實(shí)是兩個(gè)問(wèn)題幾何一致性和物理合理性。幾何一致性是指生成的模型在形狀、拓?fù)?、紋理上必須自洽不能出現(xiàn)兩個(gè)面穿模、一個(gè)物體懸空這些低級(jí)錯(cuò)誤物理合理性是指物體之間的關(guān)系要符合常識(shí)比如杯子應(yīng)該放在桌面上而不是浮在半空。數(shù)字孿生也屬于這個(gè)范疇。工廠要做產(chǎn)線仿真城市要做智慧管理第一步都是把物理世界數(shù)字化。傳統(tǒng)做法是激光掃描加人工修模成本很高?，F(xiàn)在用多視角圖像送入三維重建模型配合大模型的語(yǔ)義理解可以快速生成帶語(yǔ)義標(biāo)簽的數(shù)字孿生場(chǎng)景。比如掃描一個(gè)倉(cāng)庫(kù)AI能自動(dòng)識(shí)別出貨架、通道、貨物并給出合理的空間布局建議。在這個(gè)方向做Agent價(jià)值在于“生成之后的修改與交互”。一個(gè)室內(nèi)設(shè)計(jì)Agent你告訴它“把客廳改成原木風(fēng)沙發(fā)靠窗”它不僅要能重新生成設(shè)計(jì)方案還要能局部修改三維場(chǎng)景更新材質(zhì)和家具位置并且保證修改后空間仍然合理。這比單純生成一張圖難很多因?yàn)槿S空間存在全局約束改一個(gè)地方可能影響其他部分?，F(xiàn)在很多團(tuán)隊(duì)正在解決這個(gè)問(wèn)題思路是先建立場(chǎng)景的圖結(jié)構(gòu)把物體之間的依賴關(guān)系顯式建模再做局部修改。3.3 自動(dòng)駕駛、AR/VR與端側(cè)設(shè)備空間智能的普惠入口如果說(shuō)機(jī)器人和數(shù)字孿生是重場(chǎng)景那自動(dòng)駕駛、AR/VR和端側(cè)設(shè)備就是空間智能進(jìn)入普通人生活的入口。自動(dòng)駕駛天然就是空間智能的試驗(yàn)場(chǎng)。車輛需要在毫秒級(jí)時(shí)間內(nèi)感知周圍環(huán)境、預(yù)測(cè)其他交通參與者的軌跡、規(guī)劃自己的行駛路徑。過(guò)去幾年自動(dòng)駕駛從單純的感知算法演進(jìn)到端到端模型本質(zhì)上就是在讓整個(gè)“感知-預(yù)測(cè)-規(guī)劃”閉環(huán)變得更智能?？臻g智能在這里的作用不只是識(shí)別出前方有個(gè)行人而是理解“行人可能往左走還是往右走我要不要減速”。這種對(duì)動(dòng)態(tài)空間關(guān)系的理解是L3以上級(jí)別自動(dòng)駕駛的關(guān)鍵。AR/VR就更好理解。在混合現(xiàn)實(shí)環(huán)境里虛擬物體必須和真實(shí)空間對(duì)齊隨便亂放的話用戶會(huì)立刻出戲。空間智能負(fù)責(zé)實(shí)時(shí)理解房間的幾何結(jié)構(gòu)、光照條件、遮擋關(guān)系讓虛擬物體“穩(wěn)穩(wěn)地”待在應(yīng)該待的位置。這類設(shè)備出現(xiàn)后大家都意識(shí)到了三維交互界面是下一個(gè)平臺(tái)但真正讓這個(gè)平臺(tái)成立的核心能力就是空間智能。端側(cè)設(shè)備的落地更現(xiàn)實(shí)一點(diǎn)。手機(jī)通過(guò)深度相機(jī)做人臉識(shí)別、手勢(shì)控制掃地機(jī)器人靠激光雷達(dá)和視覺(jué)建圖規(guī)劃路徑無(wú)人機(jī)做自主避障。這些設(shè)備上的空間智能模型通常要兼顧精度和功耗所以模型壓縮、量化部署、端側(cè)推理框架都是重點(diǎn)。我試過(guò)在嵌入式設(shè)備上跑輕量化的深度估計(jì)模型幀率大概能到十幀左右做個(gè)簡(jiǎn)單的避障Demo是夠的但真要商用還得繼續(xù)優(yōu)化。4. 技術(shù)棧選型與實(shí)操?gòu)?fù)盤做空間智能Agent該從哪里下手4.1 模型與框架怎么選一個(gè)實(shí)用的選型清單考慮做空間智能相關(guān)應(yīng)用時(shí)模型選擇是最關(guān)鍵的一步。我把目前常見(jiàn)的開源模型和工具按功能整理成一張表方便大家對(duì)照功能常用模型/工具適用場(chǎng)景圖像分割/識(shí)別SAM系列、Grounding DINO從圖片中分離物體、做語(yǔ)義標(biāo)注單目深度估計(jì)Depth Anything系列從二維圖片估出深度圖得到大致空間結(jié)構(gòu)三維重建3D高斯?jié)姙R、NeuS、COLMAP從多視角圖片重建三維場(chǎng)景姿態(tài)估計(jì)FoundationPose、MegaPose對(duì)物體位姿做估計(jì)機(jī)械臂抓取常用視覺(jué)-語(yǔ)言模型LLaVA系列、Qwen-VL圖文理解、目標(biāo)定位、空間關(guān)系描述Agent框架LangChain、AutoGPT、Dify、自研工具調(diào)用層搭建AI Agent應(yīng)用調(diào)用外部工具選擇原則其實(shí)很直白先錨定你的任務(wù)類型再選模型。比如你要做室內(nèi)場(chǎng)景的AI設(shè)計(jì)助手那么Depth Anything做深度估計(jì)、SAM做家具分割、視覺(jué)-語(yǔ)言模型理解用戶意圖這樣的組合足夠起步。如果要做機(jī)械臂抓取那FoundationPose這類專攻位姿估計(jì)的方案會(huì)更合適通用分割模型反而幫不上太多?？蚣芊矫嫒绻皇强焖衮?yàn)證想法LangChain或者Dify都?jí)蛴?。但如果要深度定制我建議干脆自己寫工具調(diào)用層反而更可控?？蚣芙o了你腳手架同時(shí)也給你帶上了枷鎖尤其在空間智能這種需要頻繁傳遞圖像、點(diǎn)云等非結(jié)構(gòu)化數(shù)據(jù)的場(chǎng)景里標(biāo)準(zhǔn)框架往往不夠靈活。4.2 搭建一個(gè)“能動(dòng)手”的最小Demo從對(duì)話到控制機(jī)械臂空談技術(shù)選型沒(méi)用還是得動(dòng)手。我搭了一個(gè)最小可用的“空間智能Agent”Demo功能非常簡(jiǎn)單用戶輸入“抓取桌上的可樂(lè)罐”Agent通過(guò)視覺(jué)模型定位目標(biāo)物再調(diào)用機(jī)械臂控制接口完成抓取。整體鏈路如下部署一個(gè)視覺(jué)-語(yǔ)言模型負(fù)責(zé)把用戶的自然語(yǔ)言指令轉(zhuǎn)成“檢測(cè)目標(biāo)物體”的結(jié)構(gòu)化任務(wù)。調(diào)用Grounding DINO加SAM從相機(jī)畫面里定位可樂(lè)罐的邊界框和分割掩碼。用Depth Anything從單目圖像里估出目標(biāo)物的深度結(jié)合相機(jī)內(nèi)參計(jì)算出目標(biāo)在相機(jī)坐標(biāo)系下的三維位置。將三維坐標(biāo)發(fā)送給機(jī)械臂控制接口進(jìn)行運(yùn)動(dòng)規(guī)劃和抓取。這里面每一步都有不少細(xì)節(jié)。比如第一步視覺(jué)-語(yǔ)言模型如果識(shí)別錯(cuò)了目標(biāo)后面全白搭所以需要加一層確認(rèn)機(jī)制讓模型輸出“我找到了一個(gè)銀色罐體是否為目標(biāo)”再等用戶確認(rèn)。比如第三步單目深度估計(jì)的精度有限測(cè)出來(lái)深度可能有幾厘米的偏差這時(shí)候可以用機(jī)械臂末端的深度傳感器做一次矯正或者讓機(jī)械臂先移到目標(biāo)附近再通過(guò)手眼標(biāo)定精調(diào)。我寫的一段核心Python偽代碼如下import numpy as np # 假定相機(jī)內(nèi)參 fx, fy, cx, cy 600.0, 600.0, 320.0, 240.0 K np.array([[fx, 0, cx], [0, fy, cy], [0, 0, 1]]) # 1. 從模型輸出獲得目標(biāo)中心點(diǎn)像素坐標(biāo) (u, v) 和深度 d u, v, d model_detect(可樂(lè)罐) # 2. 將像素坐標(biāo) 深度轉(zhuǎn)成相機(jī)坐標(biāo)系下的三維點(diǎn) X (u - cx) * d / fx Y (v - cy) * d / fy Z d # 3. 通過(guò)手眼標(biāo)定矩陣 T 轉(zhuǎn)到機(jī)械臂基座坐標(biāo)系 P_cam np.array([X, Y, Z, 1.0]) P_base T P_cam # 4. 發(fā)給機(jī)械臂去做規(guī)劃抓取 robot.grasp(P_base[:3])這個(gè)Demo跑通之后你就能直觀感受到“從能聊天到能動(dòng)手”的工程量在哪。模型本身并不難難的是把各種坐標(biāo)系對(duì)齊、把誤差控制在可接受范圍內(nèi)、把異常情況處理干凈。我第一次跑的時(shí)候機(jī)械臂抓了十幾回才成功一次后來(lái)發(fā)現(xiàn)是深度估計(jì)偏差加手眼標(biāo)定沒(méi)校準(zhǔn)好。調(diào)整之后成功率才上來(lái)但也遠(yuǎn)沒(méi)有到穩(wěn)定的程度。4.3 踩坑記錄我在這條路上踩過(guò)的幾個(gè)坑做空間智能Agent踩坑幾乎是必然的。我把印象最深的幾個(gè)坑寫出來(lái)希望你能少走彎路。第一個(gè)坑是單目深度估計(jì)的不穩(wěn)定性。Depth Anything在靜態(tài)場(chǎng)景下表現(xiàn)不錯(cuò)但一旦畫面里出現(xiàn)運(yùn)動(dòng)物體深度圖就會(huì)抖動(dòng)尤其是物體邊緣深度值會(huì)在前后兩個(gè)距離值之間跳變。這種情況在機(jī)器人抓取任務(wù)里非常致命因?yàn)樽鴺?biāo)稍微偏一點(diǎn)抓取就會(huì)失敗。我的解決辦法是加了一個(gè)時(shí)序?yàn)V波對(duì)連續(xù)幾幀的深度輸出做中值濾波同時(shí)結(jié)合目標(biāo)跟蹤框的穩(wěn)定性判斷是否可信。第二個(gè)坑是手眼標(biāo)定不到位。相機(jī)裝在機(jī)械臂旁邊和機(jī)械臂基座的相對(duì)位姿關(guān)系必須精確。我用OpenCV自帶的標(biāo)定板做手眼標(biāo)定前幾次總是有毫米級(jí)誤差后來(lái)發(fā)現(xiàn)是標(biāo)定板不平整。換了一塊剛性亞克力標(biāo)定板之后誤差明顯下降。這讓我意識(shí)到很多標(biāo)定問(wèn)題和算法無(wú)關(guān)硬件選型才是大頭。第三個(gè)坑是大模型上下文不可控。Agent在跟視覺(jué)模型、工具系統(tǒng)多輪交互時(shí)經(jīng)常會(huì)出現(xiàn)“幻覺(jué)式執(zhí)行”比如用戶讓“抓取綠色杯子”模型卻找到了一排綠色物體然后自己選了一個(gè)就執(zhí)行了。為了避免這種問(wèn)題我在工具調(diào)用層加了一層規(guī)則校驗(yàn)要求模型輸出必須包含目標(biāo)類別、置信度、空間范圍字段程序端再對(duì)這些字段做合法性檢查。模型輸出不合法就直接要求重試寧可多跑幾輪也不要執(zhí)行錯(cuò)誤動(dòng)作。還有一個(gè)工程上的坑是延遲。視覺(jué)模型加語(yǔ)言模型串聯(lián)起來(lái)整個(gè)鏈路耗時(shí)經(jīng)常超過(guò)五秒對(duì)交互體驗(yàn)非常不友好。我把視覺(jué)模型放在本地GPU上推理語(yǔ)言模型用輕量化版本并通過(guò)流式處理把首幀結(jié)果盡快返回。最終把整體延遲壓到了兩秒以內(nèi)雖然談不上實(shí)時(shí)但至少能用。4.4 再補(bǔ)一個(gè)經(jīng)驗(yàn)評(píng)測(cè)體系一定要提前搭這個(gè)經(jīng)驗(yàn)是我做了幾個(gè)空間智能項(xiàng)目之后才悟出來(lái)的。做聊天機(jī)器人你可以靠人工問(wèn)答去主觀評(píng)估效果但做空間智能Agent必須提前搭一套量化評(píng)測(cè)體系否則項(xiàng)目根本沒(méi)法推進(jìn)。原因很簡(jiǎn)單?？臻g智能任務(wù)的結(jié)果是客觀的物體抓沒(méi)抓到、位姿誤差多少、三維重建的精度多高、路徑規(guī)劃有沒(méi)有碰撞。這些問(wèn)題不是“感覺(jué)還不錯(cuò)”就能蒙混過(guò)去的。我一開始做機(jī)械臂抓取時(shí)憑印象覺(jué)得“成功率還行”后來(lái)實(shí)測(cè)統(tǒng)計(jì)才發(fā)現(xiàn)只有六成左右離上線差的遠(yuǎn)。從那以后我再做這類項(xiàng)目第一件事就是把評(píng)測(cè)腳本寫出來(lái)每次改動(dòng)模型或參數(shù)自動(dòng)跑一遍測(cè)試集記錄指標(biāo)。具體來(lái)說(shuō)我會(huì)為每個(gè)場(chǎng)景定義三到五個(gè)核心指標(biāo)。比如機(jī)械臂抓取關(guān)注抓取成功率、平均定位誤差、單次任務(wù)耗時(shí)三維重建關(guān)注Chamfer距離、F-score、紋理保真度室內(nèi)設(shè)計(jì)Agent關(guān)注用戶指令滿足率、空間布局合理性評(píng)分。這些指標(biāo)不一定都能量化完美但至少能讓團(tuán)隊(duì)對(duì)“當(dāng)前系統(tǒng)處在一個(gè)什么水平”有統(tǒng)一認(rèn)知不會(huì)出現(xiàn)產(chǎn)品覺(jué)得能用、研發(fā)覺(jué)得還遠(yuǎn)的情況。評(píng)測(cè)數(shù)據(jù)的積累還有個(gè)額外好處當(dāng)模型更新或者換了新方案時(shí)你可以直接對(duì)比歷史數(shù)據(jù)快速判斷是變好了還是變差了?？臻g智能方向迭代速度很快模型版本三四個(gè)月就會(huì)換一代沒(méi)有一套穩(wěn)定的評(píng)測(cè)基準(zhǔn)你根本不知道該不該升級(jí)。5. 四個(gè)月實(shí)操下來(lái)我對(duì)空間智能Agent的幾點(diǎn)判斷5.1 空間智能會(huì)讓AI真正成為“生產(chǎn)力工具”聊天模型解決的是信息獲取和內(nèi)容生成的效率問(wèn)題空間智能Agent解決的是物理世界任務(wù)的效率問(wèn)題。兩者不在一個(gè)量級(jí)。對(duì)個(gè)人來(lái)說(shuō)聊天機(jī)器人幫你寫郵件、總結(jié)文檔省的是幾分鐘對(duì)工廠來(lái)說(shuō)一臺(tái)搭載空間智能的機(jī)器人替代人工完成質(zhì)檢、分揀、搬運(yùn)省的是一個(gè)人一年的成本。只有進(jìn)入物理世界AI的杠桿效應(yīng)才會(huì)被真正放大。這四個(gè)月我在多個(gè)場(chǎng)景里反復(fù)驗(yàn)證同一個(gè)結(jié)論凡是需要“人眼判斷手部操作”的任務(wù)空間智能Agent都有機(jī)會(huì)參與凡是只需要“閱讀打字”的任務(wù)現(xiàn)有聊天模型已經(jīng)夠用。所以判斷一個(gè)場(chǎng)景值不值得做先問(wèn)一句這個(gè)任務(wù)有沒(méi)有物理空間維度如果有空間智能就是剛需。5.2 數(shù)據(jù)閉環(huán)是唯一靠譜的護(hù)城河這個(gè)方向技術(shù)壁壘并沒(méi)有想象中高。開源模型已經(jīng)很強(qiáng)大SAM、Depth Anything、Qwen-VL這些模型直接拿來(lái)用表現(xiàn)都不差。真正拉開差距的是數(shù)據(jù)閉環(huán)。你能不能在真實(shí)場(chǎng)景里持續(xù)收集到高質(zhì)量的標(biāo)注數(shù)據(jù)能不能把失敗案例沉淀下來(lái)反哺模型和策略這決定了系統(tǒng)能不能越用越準(zhǔn)。我見(jiàn)過(guò)一些團(tuán)隊(duì)模型選型很新代碼架構(gòu)也很好就是沒(méi)有認(rèn)真收集真實(shí)場(chǎng)景數(shù)據(jù)結(jié)果Demo驚艷一上真實(shí)環(huán)境就露餡。反觀那些跑得穩(wěn)的項(xiàng)目都有一個(gè)共同點(diǎn)每一臺(tái)設(shè)備都在回傳數(shù)據(jù)每一次失敗都在觸發(fā)記錄每一條記錄都在進(jìn)入下一個(gè)訓(xùn)練或調(diào)優(yōu)周期。空間智能不像純語(yǔ)言模型那樣能在互聯(lián)網(wǎng)文本里自學(xué)它必須依賴真實(shí)空間里的反饋數(shù)據(jù)誰(shuí)掌握數(shù)據(jù)閉環(huán)誰(shuí)就掌握主動(dòng)權(quán)。5.3 從交互到執(zhí)行AI創(chuàng)業(yè)者的話語(yǔ)權(quán)在變大最后說(shuō)點(diǎn)行業(yè)觀察。過(guò)去做AI應(yīng)用大家總覺(jué)得自己在給大模型“打工”核心能力都在模型層應(yīng)用層隨時(shí)可被替代。但空間智能Agent扭轉(zhuǎn)了這種關(guān)系。因?yàn)榭臻g智能的落地嚴(yán)重依賴場(chǎng)景工程你需要做手眼標(biāo)定、需要調(diào)機(jī)械臂控制、需要處理物理環(huán)境的不確定性、需要搭建評(píng)測(cè)體系。這些工程能力大模型廠商不會(huì)替你解決也不愿意替你解決。這意味著掌握?qǐng)鼍癒now-how的團(tuán)隊(duì)在大模型生態(tài)里有了真正的議價(jià)能力。大模型再?gòu)?qiáng)也只是你系統(tǒng)里的一個(gè)組件。當(dāng)你能把“空間理解、任務(wù)規(guī)劃、底層控制、質(zhì)量反饋”串成閉環(huán)時(shí)你就不再是簡(jiǎn)單的模型調(diào)用方而是具備完整交付能力的方案商。這個(gè)轉(zhuǎn)變會(huì)讓AI創(chuàng)業(yè)者第一次感受到“技術(shù)在手天下我有”的底氣。這期日?qǐng)?bào)寫到這里我自己的體會(huì)是空間智能和AI Agent的交叉處恰恰是接下來(lái)最值得投入的方向之一。聊天模型證明了“機(jī)器能理解語(yǔ)言”空間智能要證明的是“機(jī)器能理解并改造物理世界”。兩者結(jié)合之后能給機(jī)器人、內(nèi)容創(chuàng)作、自動(dòng)駕駛、AR等無(wú)數(shù)場(chǎng)景帶來(lái)實(shí)質(zhì)變化。這個(gè)方向還很早期模型能力、工程實(shí)踐、硬件成本都有大量問(wèn)題要解決但也正因?yàn)樵缙诿總€(gè)人參與進(jìn)去都有機(jī)會(huì)做出真正有差異化的東西。如果你也在這個(gè)方向探索我的建議是先從小場(chǎng)景、小Demo做起把“看”和“做”的閉環(huán)跑通一次再慢慢擴(kuò)大邊界。下一步我計(jì)劃寫一篇更偏實(shí)戰(zhàn)的教程把我搭建的室內(nèi)場(chǎng)景Agent代碼倉(cāng)庫(kù)整理出來(lái)拆解每一層的設(shè)計(jì)思路。如果你有具體的落地場(chǎng)景或者踩過(guò)的坑歡迎在評(píng)論區(qū)聊聊我會(huì)挑有價(jià)值的問(wèn)題放到后面的日?qǐng)?bào)里展開。