做視覺定位和三維重建的朋友這兩年應(yīng)該沒少被VGGT刷屏。它把多視角圖像的相機位姿估計、內(nèi)參預(yù)測和3D點生成全部塞進一個端到端Transformer一個前向網(wǎng)絡(luò)跑完場景結(jié)構(gòu)直接出來省掉了特征匹配、RANSAC、全局優(yōu)化這一整套傳統(tǒng)SfM流程。精度確實能打但問題也同樣明顯模型體量大、推理慢、顯存吃緊想在實時的SLAM前端或者大規(guī)模圖像集粗定位里用它壓力很大。最近開源社區(qū)放出了一個叫LiteVGGT的輕量版本官方說法很直接——比VGGT快10倍左右定位精度和重建質(zhì)量基本無損。這聽起來像是“既要馬兒跑又要馬兒不吃草”的廣告詞但我把它拉下來在自己手頭的數(shù)據(jù)集上完整跑了一遍又翻了源碼和release說明發(fā)現(xiàn)這個加速不是靠簡單砍層數(shù)砍參數(shù)量硬湊出來的而是把注意力機制、token密度、蒸餾策略、推理精度這幾個維度一起做了調(diào)整。這篇文章就把我拆解到的原理、實測流程和踩過的坑一次說清楚給想把它接進自己項目的朋友做一個參考。1. 先搞清楚VGGT在解決什么問題LiteVGGT又在改什么VGGT這類前饋式三維感知模型本質(zhì)上是把傳統(tǒng)的“幾何優(yōu)化”問題變成了“序列預(yù)測”問題。傳統(tǒng)SfM的處理鏈路很長先提特征、做特征匹配、跑RANSAC估計基礎(chǔ)矩陣或本質(zhì)矩陣最后用Bundle Adjustment反復(fù)優(yōu)化相機參數(shù)和3D點。這套流程在紋理豐富的場景下效果很好但遇到弱紋理、重復(fù)結(jié)構(gòu)、大視角變化匹配噪聲一上來迭代就非常容易崩。VGGT的思路完全不同。它輸入一批無序圖像在Transformer內(nèi)部通過注意力機制隱式建立跨視圖對應(yīng)關(guān)系然后把相機外參、內(nèi)參、逐像素3D點圖當(dāng)作輸出頭直接回歸出來。整個過程不需要顯式匹配不需要RANSAC也不需要BA。對下游任務(wù)來說它最大的價值是提供了一個溫和、穩(wěn)定、可微分的“幾何初始化器”NeRF和3DGS訓(xùn)練之前不再必須依賴COLMAP跑幾十分鐘。但代價也藏在架構(gòu)里。VGGT的骨干網(wǎng)絡(luò)規(guī)模不小而且用的是標(biāo)準(zhǔn)全局注意力。輸入9張1024分辨率的圖切patch之后token數(shù)量直接到幾萬級別注意力矩陣的尺寸是token數(shù)平方顯存和時間都吃得很兇。我實際測下來的體驗是模型裝得上去但跑一次推理要等batch稍大一點GPU就開始報警。LiteVGGT做的事情不是把VGGT砍成一個小號版本這么簡單。它保留了VGGT的輸入輸出接口和核心輸出頭也就是說你原來寫的下游解析代碼基本不用改模型名一換就能接進去。但內(nèi)部骨干網(wǎng)絡(luò)、注意力計算方式、token處理邏輯都重做了。官方把它定義為“保持精度的輕量化版本”而不是“犧牲精度的快速版”這個詞是有講究的后面講蒸餾的時候再展開。如果用一張表來對比傳統(tǒng)SfM、VGGT和LiteVGGT的定位大概是這樣的方案核心流程速度特征精度特征部署友好度傳統(tǒng)SfM特征匹配RANSACBA慢分鐘到小時級成熟場景下很穩(wěn)依賴COLMAP等外部工具VGGT端到端Transformer前向中等顯存占用高泛化強開箱即用大模型部署成本高LiteVGGT輕量Transformer前向明顯加速顯存下降與VGGT基本持平更適合接入實時/準(zhǔn)實時系統(tǒng)這里面的關(guān)鍵點在于LiteVGGT不是回答“要不要用學(xué)習(xí)型SfM”的問題而是在你已經(jīng)決定用VGGT這類模型的前提下回答“怎么讓它跑得更快且不掉精度”的問題。所以本文后面所有內(nèi)容都默認讀者已經(jīng)理解VGGT的基本用法。2. “10倍加速”到底從哪里來一個可落地的加速點拆解我翻完release說明和示例代碼之后又結(jié)合這幾年Transformer輕量化的一貫套路把LiteVGGT的加速收益來源拆成四個方向。需要注意我下面的拆解是基于開源倉庫公開信息和常見實踐做的推斷不保證和官方論文里的每個模塊編號一一對應(yīng)但整體邏輯應(yīng)該八九不離十。2.1 注意力機制替換把二次復(fù)雜度降下來標(biāo)準(zhǔn)自注意力的計算量是O(n2·d)其中n是token數(shù)量d是特征維度。LiteVGGT的源碼里明顯不再使用標(biāo)準(zhǔn)的全局自注意力而是換成了線性注意力或者窗口化注意力的變體。可以算一筆賬。假設(shè)輸入9張1024×1024的圖patch size是16×16那么每張圖產(chǎn)生4096個token9張圖一共36864個token。如果特征維度是768標(biāo)準(zhǔn)注意力做一次QK^T的矩陣乘計算量大約是368642×768數(shù)量級大約在1012 FLOPs以上這還只是一層、一次前向。換線性注意力之后復(fù)雜度可以降到O(n·r·d)甚至O(n·d2)在r遠小于n的時候單層算力需求直接低兩到三個數(shù)量級。但這里有個細節(jié)要說明單個算子的理論加速比已經(jīng)超過10倍了為什么最終端到端只快了10倍因為模型不只有注意力還有patch embedding、FFN、輸出頭這些模塊的耗時并不會等到同比例下降。所以LiteVGGT的加速一定是“整體工程優(yōu)化”的結(jié)果而不是某一個算子替換的功勞。這也解釋了為什么官方強調(diào)“端到端前向時間快10倍”而不是“注意力快100倍”。2.2 token壓縮與特征密度控制Transformer的計算量跟token數(shù)強相關(guān)所以LiteVGGT在token層面也做了文章。常見的做法有兩種一種是直接增大patch size另一種是動態(tài)剪枝低信息量token。從示例代碼看它更偏向第二種——保留空間分辨率以維持細粒度幾何精度同時在網(wǎng)絡(luò)早期預(yù)測每個token的重要性把天空、墻面、地面這類紋理平坦區(qū)域的token合并或丟棄。這個設(shè)計對重建質(zhì)量的影響值得聊一下。三維重建任務(wù)里真正決定姿態(tài)精度的往往是邊緣、角點、重復(fù)紋理區(qū)域和視差明顯的物體邊界均勻的平坦區(qū)域?qū)缀渭s束的貢獻很低。把那些token省掉相當(dāng)于用很少的算力保留了最關(guān)鍵的幾何信息。官方說的“精度無損”有一部分就是靠這個剪枝策略撐住的它不是在特征層面強行降維而是在信息密度層面做了取舍。2.3 推理棧優(yōu)化半精度和算子融合即使算子和token都省了如果推理還跑在FP32上那提速依然有限。LiteVGGT在部署上默認推薦混合精度也就是權(quán)重和激活用半精度部分歸一化層和輸出頭保持FP32。我實測下來半精度在三維幾何任務(wù)里的風(fēng)險主要是深度值動態(tài)范圍太大導(dǎo)致精度溢出但它在關(guān)鍵位置做了數(shù)值穩(wěn)定的處理屬于“開發(fā)者已經(jīng)把坑替你先踩了一遍”。另外示例腳本里會出現(xiàn)torch.compile之類的算子融合入口或者等價的CUDA算子優(yōu)化。算子融合能減少中間張量落回顯存的次數(shù)這種優(yōu)化在標(biāo)準(zhǔn)PyTorch代碼里不直觀但對耗時影響很大。很多人在自己的項目里復(fù)現(xiàn)不出“10倍”往往就是跳過了這一步——只換了模型權(quán)重文件沒啟用編譯優(yōu)化。2.4 端到端蒸餾讓輕量模型向教師模型看齊加速的核心結(jié)構(gòu)定下來之后精密度能不能保住就得靠蒸餾了。LiteVGGT的學(xué)生模型在訓(xùn)練時不僅有自己針對標(biāo)注數(shù)據(jù)的監(jiān)督信號還要同時模仿VGGT教師模型的輸出分布。蒸餾的監(jiān)督層次包括位姿輸出、3D點圖輸出以及中間層的特征響應(yīng)。這個機制非常重要它解釋了“精度無損”是怎么來的。單純用標(biāo)注數(shù)據(jù)訓(xùn)練輕量模型很難在泛化性上追上大模型因為你不可能把所有場景都標(biāo)注一遍。但大模型已經(jīng)見過足夠多的數(shù)據(jù)分布把它的行為“教”給學(xué)生模型相當(dāng)于把泛化能力也遷移了一部分給輕量版。所以更準(zhǔn)確的說法是LiteVGGT不是重新發(fā)明了一個更聰明的網(wǎng)絡(luò)而是站在VGGT肩膀上用結(jié)構(gòu)換速度再用蒸餾把精度換回來。3. 精度無損到底怎么驗證評測設(shè)計比模型本身更要注意“定位精度和重建質(zhì)量無損”這個話不能只聽官方說你自己接手項目之前一定要先建立一套可靠的評測流程。我在這里分享幾個評測設(shè)計上的建議也是我在實測中比較關(guān)注的地方。3.1 指標(biāo)怎么選才算公平定位精度最常規(guī)的指標(biāo)是ATE和相對旋轉(zhuǎn)誤差。ATE對應(yīng)軌跡的全局一致性相對旋轉(zhuǎn)誤差對應(yīng)逐幀姿態(tài)準(zhǔn)確度。重建質(zhì)量方面VGGT類模型輸出的是逐像素3D點圖評估時可以用Chamfer距離或者F-score但要注意必須先做一個尺度對齊因為預(yù)測點云和真值點云往往差一個全局尺度而VGGT輸出的尺度本身就是從圖像內(nèi)容里回歸出來的不保證和真實物理尺度嚴格一致。官方release給出的對比表格里L(fēng)iteVGGT和VGGT在AUC類指標(biāo)上基本是貼著走的差距在噪聲容限之內(nèi)。我自己的復(fù)測結(jié)果也類似在常規(guī)視角變化下兩者幾乎分不出高下只是在極端大視角、弱紋理區(qū)域LiteVGGT偶爾會比VGGT偏一點。所以“無損”更準(zhǔn)確的理解是“在工程可接受的范圍內(nèi)沒有可感知的損失”而不是逐樣本完全一致。3.2 評測協(xié)議統(tǒng)一是高線不然就是自欺欺人我發(fā)現(xiàn)很多人測這類模型時有個壞習(xí)慣給LiteVGGT輸入長邊1024給VGGT輸入長邊1024但裁剪方式、歸一化參數(shù)、batch大小全不一樣最后時間對比當(dāng)然不靠譜。測速時必須固定分辨率、固定batch size、固定GPU、固定推理精度并且要做預(yù)熱。Transformer第一次前向會觸發(fā)CUDA圖捕獲或算子編譯那個時間不算數(shù)通常要預(yù)熱20次以上再取均值。還有一個隱藏很深的坑動態(tài)shape。如果你的Dataloader里圖像尺寸不固定模型內(nèi)部被迫重新編譯或者頻繁走fallback路徑速度會驟降。官方倉庫示例里所有圖像都預(yù)先調(diào)整到固定尺寸不只是為了穩(wěn)定精度更多是為了避免動態(tài)shape帶來的性能懲罰。3.3 內(nèi)參到底要不要傳VGGT類模型的一個賣點是可以直接從圖像里回歸內(nèi)參但這個能力在工程上有個隱患當(dāng)你的相機內(nèi)參已知且準(zhǔn)確時不傳反而浪費了先驗信息。LiteVGGT同樣支持傳入已知內(nèi)參實測下來傳入準(zhǔn)確內(nèi)參之后姿態(tài)精度和重建穩(wěn)定性都會有可感知的提升。如果你手里是固定內(nèi)參的相機建議不要偷懶一定把內(nèi)參喂進去這也算是對“精度無損”的更嚴格驗證。4. 開源庫實測記錄從拉代碼到跑通多視圖重建的全過程我實際復(fù)現(xiàn)的軟硬件環(huán)境沒有特別離譜但也不是入門配置一臺24 GB顯存的GPUPyTorch 2.x、CUDA 12.xPython 3.10以上。如果你的顯存比較緊張LiteVGGT的優(yōu)勢會體現(xiàn)得更明顯因為它比VGGT省顯存不少。下面按步驟拆一下整個流程。4.1 環(huán)境準(zhǔn)備和模型下載先創(chuàng)建虛擬環(huán)境安裝依賴包。官方倉庫會提供一個requirements.txt里面主要是PyTorch、torchvision、OpenCV這類常規(guī)庫。這里提醒一句不要用CPU版本PyTorch跑線性注意力的半精度算子依賴CUDACPU模式不光慢還可能直接報錯。模型權(quán)重從發(fā)布頁面或者模型倉庫下載下載之后放到本地某個目錄。權(quán)重文件沒有VGGT那么大因為學(xué)生模型本身參數(shù)更少我印象中單個權(quán)重文件在可接受范圍內(nèi)具體以倉庫標(biāo)注為準(zhǔn)。python -m venv venv source venv/bin/activate pip install -r requirements.txt python -c import torch; print(torch.__version__, torch.cuda.is_available())4.2 推理代碼示例核心推理代碼比很多人想象中短。模型加載方式和VGGT幾乎一致只需要把模型名換成LiteVGGT的權(quán)重路徑。下面是簡化但完整的示例import torch from litevggt import LiteVGGT, load_images, save_ply model LiteVGGT.from_pretrained(checkpoints/litevggt-1b) model.eval() model.cuda().half() image_paths [ demo/0000.png, demo/0001.png, demo/0002.png, ] images load_images(image_paths, long_edge1024) with torch.no_grad(): output model( images, known_intrinsicsNone, calibrate_intrinsicsTrue, ) cameras output[cameras] points3d output[points3d] print(cameras shape:, cameras.shape) print(points3d shape:, points3d.shape) save_ply(demo/result.ply, points3d, colorsNone)第一次跑的時候大部分人會被兩個地方卡住一是load_images對圖像格式有要求最好讀出來就是RGB、float32、歸一化到[0,1]二是模型輸入是列表而不是batch tensor因為內(nèi)部要處理不同視圖數(shù)量。如果你習(xí)慣性地把圖像拼成[B, C, H, W]再喂進去大概率會直接報錯。4.3 輸出結(jié)構(gòu)和坐標(biāo)系LiteVGGT的輸出結(jié)構(gòu)沿用了VGGT的設(shè)計。cameras里包含每個視圖的旋轉(zhuǎn)矩陣、平移向量、內(nèi)參和圖像尺寸信息points3d是逐像素的3D點圖每個像素對應(yīng)一條從相機出發(fā)的射線上的空間坐標(biāo)。要注意的是這些3D點的尺度是模型自己回歸出來的和真實物理尺度不直接對應(yīng)。如果你想把點云可視化或者喂給下一步算法建議直接把points3d拍平成點云去掉置信度低的點。模型通常還會輸出一個置信度圖過濾閾值可以設(shè)在0.2到0.5之間我自己的經(jīng)驗是閾值太低會夾雜很多漂浮點閾值太高又會讓物體邊緣變稀疏需要根據(jù)自己的數(shù)據(jù)調(diào)一輪。4.4 一次典型推理的時間體感在我那臺24 GB顯存的環(huán)境下用9張1024分辨率圖像跑LiteVGGT端到端耗時大概在秒級區(qū)間顯存占用也遠低于VGGT。換句話說同樣的輸入規(guī)模VGGT可能跑起來比較吃力LiteVGGT則留出了余量。不同顯卡性能差異很大所以這個數(shù)字僅供參考重要的是你自己跑之前把分辨率、視角數(shù)、半精度開關(guān)都定成和release一致的配置再去對比官方聲稱的10倍。5. 實測中的坑與取舍這些細節(jié)才是工程落地的分水嶺我在自己的數(shù)據(jù)上跑了兩輪第一輪幾乎全程踩雷第二輪才摸清脾氣。下面這幾個坑是按“從癥狀到原因”的方式整理的方便你排查時對號入座。5.1 分辨率一提高加速比就大幅縮水官方發(fā)布里的“快10倍”基本是在長邊1024的設(shè)定下測出來的。我把輸入分辨率提到1600甚至2048之后加速比明顯縮水。原因也好理解token剪枝可能已經(jīng)濾掉了很多平坦區(qū)域token但剩下的token數(shù)量還是隨分辨率近似線性增長線性注意力的計算量也跟著線性漲。與此同時某些模塊在小分辨率時被算子融合吃掉了大分辨率時內(nèi)存訪問模式變了融合收益下降。這里我給一個實操建議如果應(yīng)用確實需要高分辨率細節(jié)不要直接把全圖分辨率拉滿而是先用LiteVGGT在低分辨率下計算粗略姿態(tài)和視差范圍再對關(guān)鍵區(qū)域做局部的高分辨率裁剪推理。這個策略在真實場景里比硬扛全分辨率更穩(wěn)。5.2 半精度不是所有層都安全混合精度模式下大部分算子跑在半精度沒問題但深度圖輸出層、位姿輸出頭可能出現(xiàn)數(shù)值不穩(wěn)定的情況。我遇到過一次某個場景整體偏暗3D點圖里遠處點的坐標(biāo)值很大半精度表示下出現(xiàn)明顯的量化噪聲重建出來的點云像蒙了一層毛玻璃。后來我把輸出頭單獨切成FP32問題就消失了。代碼里可以通過把某些層的dtype單獨指定來實現(xiàn)但更推薦的做法是先檢查輸出數(shù)值的統(tǒng)計范圍。如果points3d直接輸出就到FP16盡量在模型內(nèi)部預(yù)留一個output_float32True之類的開關(guān)沒有開關(guān)就自己在后處理里轉(zhuǎn)精度損失雖然不大但能避免下游視覺化工具把大數(shù)值當(dāng)異常值過濾掉。5.3 動態(tài)shape會悄悄拖垮性能這是個很隱蔽的坑。官方示例固定把所有圖resize到同一尺寸不只是為了省事而是模型內(nèi)部對輸入shape有隱式依賴。如果你按自己的Dataloader習(xí)慣允許任意尺寸進入模型會遇到兩類問題一是某些算子被迫回退到非融合實現(xiàn)速度直接掉到原來的三分之一二是如果開啟torch.compile新shape會導(dǎo)致重新編譯第一次調(diào)用會被卡住好幾秒。解決辦法是預(yù)處理階段統(tǒng)一resize到固定long edge測試時保持一致。如果你需要支持多種分辨率最好為每種分辨率單獨準(zhǔn)備一個推理進程或預(yù)編譯好的模型實例不要在同一個進程里頻繁切換。5.4 多視角數(shù)量超過模型訓(xùn)練上限時需要主動拆分LiteVGGT沿用了VGGT對“任意數(shù)量視角”的支持方式內(nèi)部會把多視角按一定上限拆成子塊處理再合并輸出。這意味著視角數(shù)量超過模型一次性處理能力時子塊之間會存在一定的位姿對齊誤差。表現(xiàn)為你輸入20張環(huán)繞圖前5張和后5張各自內(nèi)部姿態(tài)一致但兩組之間存在細微漂移。應(yīng)對方案是在上游控制輸入視角的分布。用于定位時優(yōu)先選擇視差適中、重疊足夠的幀而不是時間上連續(xù)的所有幀。不要一股腦把所有圖都塞給模型那樣不光慢還可能在跨子塊的地方引入新的誤差。5.5 預(yù)處理里的細微不一致會直接影響“無損”最后這個坑看著簡單卻最容易讓人誤判模型。比如load_images用的是ImageNet的mean/std歸一化你自己用OpenCV讀圖時順序是BGR沒轉(zhuǎn)成RGB歸一化參數(shù)又用了自己的模型的幾何輸出會整體漂移。這不是模型不穩(wěn)定的問題是喂進去的數(shù)據(jù)分布已經(jīng)變了。凡是做對比評測一定要保證兩個模型走完全相同的預(yù)處理管線。我建議把預(yù)處理抽成公共函數(shù)模型A和模型B共用同一份數(shù)據(jù)load、同一套resize邏輯、同一份歸一化參數(shù)。否則你測出來的精度差異很可能只是預(yù)處理差異放大的結(jié)果。6. 選型判斷LiteVGGT不是所有場景的萬能解把LiteVGGT夸了半天但它畢竟不是銀彈。我接觸到的實際項目里至少有三類情況我仍然會建議謹慎或者繼續(xù)用VGGT。第一類是相機模型非常規(guī)的場景比如魚眼、全景、推掃相機。VGGT和LiteVGGT默認假設(shè)的是針孔或近似針孔模型對嚴重畸變的支持有限。雖然可以傳入內(nèi)參讓模型做一定補償?shù)珮O端畸變下仍然容易失真。這類場景先做個畸變校正再送進模型比直接硬跑靠譜。第二類是需要全局一致高精度的離線重建任務(wù)比如精度要求非常高的物體三維重建。這種場景數(shù)據(jù)量不大但對誤差零容忍。此時VGGT的計算開銷沒那么不可接受反而因為參數(shù)量大、容量高在一些難樣本上比LiteVGGT更穩(wěn)。你要的是最終質(zhì)量天花板不是單次推理的響應(yīng)速度。第三類是已經(jīng)重度依賴COLMAP流程的成熟系統(tǒng)。如果你的管線里特征提取、匹配、BA都已經(jīng)調(diào)得很好工程上也穩(wěn)定那引入LiteVGGT的價值主要是替代掉最耗時的初始化階段。只把它當(dāng)作“快速粗定位器”輸出粗姿態(tài)之后再交給傳統(tǒng)優(yōu)化做精修比直接整個替換更合理。下面這張表是我在做技術(shù)選型時比較常用的判斷框架應(yīng)用場景推薦方案理由SLAM/VIO前端初始化LiteVGGT快速給出可用初始值大規(guī)模圖像集粗定位LiteVGGT單幀成本低吞吐高高精度離線重建VGGT或傳統(tǒng)SfM精修需要精度天花板邊緣設(shè)備嵌入式部署LiteVGGT 半精度量化顯存和延遲都更友好魚眼/全景等特殊相機先校正再考慮兩者都不能直接硬扛最后說點我的個人體會。這輪實測下來我對LiteVGGT最滿意的不是“快10倍”這個數(shù)字而是它的輸出接口沒有亂改遷移成本很低。我從VGGT換到LiteVGGT主體代碼幾乎沒有動只是改了模型名、加了幾行預(yù)處理和混合精度設(shè)置。真正花時間的反而是在評測協(xié)議的統(tǒng)一上——怎么保證兩個模型在完全公平的條件下對比比模型本身的替換更費心思。如果你正準(zhǔn)備把它接進項目我的建議是先拿自己數(shù)據(jù)里最難的50張圖試一遍對比一下LiteVGGT和VGGT在弱紋理、重復(fù)紋理、大視角變化下的差異再決定是否全量替換。畢竟“平均無損”不等于“你的場景無損”這類模型跑通Demo很容易跑好一個真實業(yè)務(wù)場景需要自己拿數(shù)據(jù)說話。