端側(cè)推理的模型壓縮與部署全鏈路)
AI圈有個(gè)公開(kāi)的秘密頂會(huì)論文的 demo 視頻有多驚艷落地到真實(shí)用戶手機(jī)里就有多狼狽。一個(gè)在 4 塊 A100 上跑通的超分模型到了普通用戶的驍龍芯片上可能連一幀都推不動(dòng)一個(gè)在 PSNR 指標(biāo)上刷到新高的生成模型放進(jìn)修圖軟件里反而被用戶投訴“越修越假”。論文是學(xué)術(shù)勝利產(chǎn)品才是用戶能感知的勝利而這中間隔著的恰恰是很多團(tuán)隊(duì)不愿意承認(rèn)的那段臟活累活模型壓縮、算子適配、端側(cè)推理、效果調(diào)優(yōu)、數(shù)據(jù)回流。所以當(dāng)看到“美圖影像研究院發(fā)了 11 篇頂會(huì)論文”這個(gè)信息時(shí)我第一反應(yīng)不是羨慕論文數(shù)量而是好奇另外一個(gè)問(wèn)題這些論文里的方法到底有多少真正跑進(jìn)了美圖秀秀、Wink 這類大眾產(chǎn)品里材料里有一句話點(diǎn)出了關(guān)鍵——研究院不只是做研究還想“讓大眾愛(ài)用 AI”。這句話放在技術(shù)語(yǔ)境里翻譯一下就是AI 不能只停留在指標(biāo)好看它必須變成用戶可以感知到的畫(huà)質(zhì)提升、修圖速度變快、視頻處理不卡頓。這篇文章我不想寫(xiě)成美圖的品牌通稿而是想借這個(gè)案例把很多 AI 團(tuán)隊(duì)都會(huì)遇到的一個(gè)核心問(wèn)題拆開(kāi)講清楚**一個(gè)在論文里效果很好的模型要經(jīng)歷哪些步驟才能變成普通用戶愿意每天打開(kāi)的功能**換句話說(shuō)AI 工程化到底在解決什么問(wèn)題模型部署的完整鏈路是什么效果驗(yàn)證怎么做才不算自欺欺人。如果你正在做 AI 應(yīng)用開(kāi)發(fā)、模型部署或者負(fù)責(zé)把實(shí)驗(yàn)室模型推上線這篇文章會(huì)比較適合你。我會(huì)從學(xué)術(shù)與工程之間的落差講起然后依次拆解模型選型、輕量化、端側(cè)適配、推理部署、效果評(píng)測(cè)和持續(xù)迭代這幾個(gè)關(guān)鍵環(huán)節(jié)最后給出一些可以直接參考的代碼和工程建議。1. 這篇文章真正要解決的問(wèn)題先做一個(gè)判斷AI 產(chǎn)品化的瓶頸早已不是算法創(chuàng)新而是工程化能力。過(guò)去幾年視覺(jué)大模型、生成式 AI 的進(jìn)展非?？煺撐睦锏男Ч粋€(gè)比一個(gè)驚艷。但如果你真正做過(guò)落地項(xiàng)目就會(huì)發(fā)現(xiàn)一個(gè)扎心的現(xiàn)實(shí)論文里報(bào)告的是“實(shí)驗(yàn)室效果”而用戶使用的是“真實(shí)環(huán)境效果”。這兩者之間的差距通常不在模型結(jié)構(gòu)設(shè)計(jì)上而在下面的這些環(huán)節(jié)里實(shí)驗(yàn)室用的是 A100/V100用戶手機(jī)里是各種中低端 SoC算力差幾十倍。論文只關(guān)心 PSNR、SSIM、FID 這類指標(biāo)用戶只關(guān)心“看起來(lái)是否自然”“處理一張圖要多久”“會(huì)不會(huì)閃退”。論文數(shù)據(jù)集是經(jīng)過(guò)清洗的用戶輸入是隨手拍的糊圖、老照片、低光照照片、帶水印的表情包。論文推理不在乎顯存占用用戶手機(jī)在乎內(nèi)存、功耗、發(fā)熱、App 體積。所以“讓大眾愛(ài)用 AI”這句話落到工程層面是一個(gè)很具體的挑戰(zhàn)如何在資源受限的設(shè)備上把模型的精度、速度、體量、功耗壓到一個(gè)可接受的范圍同時(shí)保證效果不能翻車。本文重點(diǎn)回答以下四個(gè)問(wèn)題論文模型到產(chǎn)品功能之間差了多少步模型輕量化有哪些主流手段各自取舍是什么端側(cè)推理部署的完整鏈路長(zhǎng)什么樣如何用代碼落地效果驗(yàn)證和持續(xù)迭代怎么做才不會(huì)被指標(biāo)騙了2. 論文到產(chǎn)品之間到底差了哪幾步很多人以為 AI 功能上線的流程是算法同學(xué)訓(xùn)好模型寫(xiě)個(gè)接口前端調(diào)一下完事。真實(shí)流程遠(yuǎn)比這個(gè)復(fù)雜。我們可以把論文模型變成用戶可用功能的過(guò)程拆成 6 個(gè)階段階段核心目標(biāo)典型工作常見(jiàn)坑模型選型確定算法方案比較不同模型結(jié)構(gòu)、訓(xùn)練策略只追求 SOTA忽略參數(shù)量和算力需求訓(xùn)練與調(diào)優(yōu)讓模型在目標(biāo)數(shù)據(jù)上表現(xiàn)穩(wěn)定數(shù)據(jù)清洗、增強(qiáng)、loss 設(shè)計(jì)訓(xùn)練集和真實(shí)用戶數(shù)據(jù)分布不一致模型輕量化降低推理成本蒸餾、剪枝、量化壓縮后效果明顯掉點(diǎn)且沒(méi)有兜底方案推理適配讓模型跑在目標(biāo)硬件上ONNX、TensorRT、MNN/NCNN、Core ML算子不支持、精度異常、動(dòng)態(tài)尺寸問(wèn)題工程集成接入產(chǎn)品業(yè)務(wù)流程前后處理、緩存、并發(fā)控制模型在單測(cè)里正常線上調(diào)用超時(shí)效果監(jiān)測(cè)上線后持續(xù)驗(yàn)證A/B 測(cè)試、線上指標(biāo)、badcase 回流只盯著離線指標(biāo)忽略用戶真實(shí)感受大多數(shù) AI 團(tuán)隊(duì)在這條鏈路上都會(huì)遇到至少一個(gè)“斷點(diǎn)”。有的是沒(méi)有專門(mén)的推理優(yōu)化工程師模型訓(xùn)完就扔給后端結(jié)果單次推理要 2 秒有的是缺乏評(píng)測(cè)體系模型上線后效果好壞全靠用戶投訴才知道有的則是數(shù)據(jù)閉環(huán)斷了模型用舊數(shù)據(jù)訓(xùn)練用戶需求早就變了。美圖影像研究院能被單獨(dú)拿出來(lái)討論核心不在于它發(fā)了多少篇論文而在于它大概率把上面這條鏈路跑通了。從公開(kāi)材料看美圖的影像類產(chǎn)品對(duì)模型推理的要求很明確要快、要穩(wěn)、要適配大量中低端安卓機(jī)。這意味著他們?cè)诙藗?cè)推理、模型壓縮這些工程向的方向上積累可能比很多吹噓“自研大模型”的團(tuán)隊(duì)更扎實(shí)。3. 核心概念模型壓縮與端側(cè)推理為了讓后續(xù)的實(shí)操部分更好理解這里先把幾個(gè)關(guān)鍵概念解釋清楚。這些概念在 AI 工程化中會(huì)反復(fù)出現(xiàn)。3.1 模型壓縮到底是什么模型壓縮的目標(biāo)很簡(jiǎn)單**把模型變小、變快同時(shí)盡量保住效果。**常見(jiàn)的四種手段是剪枝Pruning把模型中不重要的權(quán)重或通道刪掉。結(jié)構(gòu)化剪枝可以直接減少計(jì)算量但效果容易掉點(diǎn)需要微調(diào)恢復(fù)。量化Quantization把 FP32 的權(quán)重和激活值用 INT8、INT16 等低精度表示。INT8 量化可以把模型體積縮小到原來(lái)的 1/4推理速度提升 2 到 3 倍是端側(cè)部署最常用的一招。知識(shí)蒸餾Distillation用一個(gè)大的 Teacher 模型指導(dǎo)小的 Student 模型訓(xùn)練。Student 模型結(jié)構(gòu)更小但可以逼近 Teacher 的性能。低秩分解Low-rank Factorization把權(quán)重矩陣分解成多個(gè)低秩矩陣的乘積減少參數(shù)量。在 Fully Connected 層效果更明顯卷積層上收益較難控制。實(shí)際項(xiàng)目中這些手段通常會(huì)組合使用比如先蒸餾出一個(gè)輕量模型再做 INT8 量化。3.2 端側(cè)推理引擎怎么選模型訓(xùn)練完要跑在目標(biāo)設(shè)備上不能直接用 PyTorch 或者 TensorFlow因?yàn)樘亓恕＿@時(shí)候需要推理引擎。常見(jiàn)的幾個(gè)陣營(yíng)推理引擎適用平臺(tái)特點(diǎn)ONNX Runtime跨平臺(tái)生態(tài)最好算子支持全適合服務(wù)器和部分移動(dòng)端場(chǎng)景TensorRTNVIDIA GPU服務(wù)器端推理首選支持 FP16/INT8 加速M(fèi)NN移動(dòng)端/iOS/Android阿里開(kāi)源移動(dòng)端優(yōu)化深入支持動(dòng)態(tài) shapeNCNN移動(dòng)端騰訊開(kāi)源輕量適配大量手機(jī) SoCTFLite移動(dòng)端/嵌入式Google 生態(tài)對(duì) Android 支持好選擇推理引擎沒(méi)有絕對(duì)標(biāo)準(zhǔn)主要看你的目標(biāo)平臺(tái)、算子需求、動(dòng)態(tài)尺寸要求和團(tuán)隊(duì)的技術(shù)積累。如果團(tuán)隊(duì)剛起步ONNX Runtime 是成本最低的起點(diǎn)因?yàn)閺?PyTorch 導(dǎo)出 ONNX 的鏈路最成熟。3.3 端側(cè)部署的通用鏈路不管用什么引擎端側(cè)部署的流程都類似用 PyTorch/TensorFlow 訓(xùn)練模型。導(dǎo)出為通用中間格式通常是 ONNX。轉(zhuǎn)換為目標(biāo)引擎的模型格式。在目標(biāo)硬件上做精度和性能驗(yàn)證。封裝成 SDK 或服務(wù)接口集成進(jìn) App/服務(wù)端。4. 環(huán)境準(zhǔn)備與前置條件下面開(kāi)始進(jìn)入實(shí)操部分。我會(huì)用一套通用的圖像增強(qiáng)模型部署流程來(lái)做演示。這里的核心思路不綁定具體框架你可以根據(jù)自己的業(yè)務(wù)替換模型和目標(biāo)平臺(tái)。4.1 環(huán)境清單本文的示例代碼基于以下環(huán)境Python 3.9 或以上版本PyTorch 2.x模型訓(xùn)練與導(dǎo)出onnxruntimeONNX 模型推理驗(yàn)證onnxONNX 模型操作numpy、opencv-python圖像處理可選MNN 或 NCNN真實(shí)端側(cè)部署時(shí)使用版本號(hào)不用完全一致本文重點(diǎn)是演示通用流程。如果你當(dāng)前環(huán)境沒(méi)有這些包可以用 pip 安裝pip install torch onnx onnxruntime opencv-python numpy4.2 關(guān)于硬件的說(shuō)明如果要做完整的端側(cè)推理驗(yàn)證建議準(zhǔn)備一臺(tái) Android 手機(jī)或一塊開(kāi)發(fā)板。如果沒(méi)有也可以先在 PC 上用 ONNX Runtime 完成流程驗(yàn)證邏輯是一樣的。材料中沒(méi)有提供美圖影像研究院使用的具體硬件方案所以這里不猜測(cè)只講通用做法。5. 核心流程拆解從 PyTorch 模型到可部署模型下面以“圖像超分辨率”為例——這也是美圖這類影像產(chǎn)品很常見(jiàn)的功能場(chǎng)景——逐步拆解一個(gè)模型從 PyTorch 到可部署格式的完整流程。5.1 Step 1準(zhǔn)備一個(gè)訓(xùn)練好的 PyTorch 模型假設(shè)我們有一個(gè)訓(xùn)練好的超分模型輸入是低分辨率圖像輸出是高分辨率圖像。模型代碼這里不展開(kāi)只要知道它輸入輸出的張量形狀即可。以常見(jiàn)的超分模型為例輸入[1, 3, H, W]RGB 圖像數(shù)值范圍 [0,1]輸出[1, 3, scale*H, scale*W]數(shù)值范圍 [0,1]關(guān)鍵點(diǎn)是模型輸入輸出的約定要非常明確因?yàn)樗苯佑绊懞罄m(xù)導(dǎo)出和推理代碼的編寫(xiě)。5.2 Step 2導(dǎo)出為 ONNX 格式ONNX 相當(dāng)于模型格式的“通用語(yǔ)言”把 PyTorch 模型轉(zhuǎn)成 ONNX 后就能轉(zhuǎn)換到不同的推理引擎。# 文件路徑export_onnx.py import torch # 假設(shè)你的模型類叫 SRModel from model import SRModel model SRModel() checkpoint torch.load(checkpoints/sr_model.pth, map_locationcpu) model.load_state_dict(checkpoint[state_dict]) model.eval() # 構(gòu)造一個(gè)示例輸入導(dǎo)出的模型會(huì)綁定這個(gè)輸入形狀 dummy_input torch.randn(1, 3, 256, 256) torch.onnx.export( model, dummy_input, sr_model.onnx, opset_version11, input_names[input], output_names[output], dynamic_axes{ input: {0: batch, 2: height, 3: width}, output: {0: batch, 2: height, 3: width} } ) print(ONNX 模型導(dǎo)出完成sr_model.onnx)這里有幾個(gè)細(xì)節(jié)要注意opset_version會(huì)影響算子兼容性。太新的版本在老設(shè)備上可能不支持建議根據(jù)目標(biāo)推理引擎的文檔選擇。如果不設(shè)置dynamic_axes導(dǎo)出的模型會(huì)固定為[1, 3, 256, 256]的輸入形狀一旦用戶傳其他尺寸的圖就會(huì)報(bào)錯(cuò)。設(shè)置為動(dòng)態(tài)尺寸更靈活但有些引擎對(duì)動(dòng)態(tài) shape 支持不好需要取舍。導(dǎo)出前一定要調(diào)用model.eval()否則 BN 層和 Dropout 層的行為會(huì)不一致。5.3 Step 3用 ONNX Runtime 驗(yàn)證正確性導(dǎo)出模型后不能直接拿去部署先要做一次推理驗(yàn)證確認(rèn)導(dǎo)出的模型和 PyTorch 原模型的輸出一致。# 文件路徑verify_onnx.py import cv2 import numpy as np import onnxruntime as ort import torch # 讀取測(cè)試圖像并預(yù)處理 image cv2.imread(test.png) image cv2.cvtColor(image, cv2.COLOR_BGR2RGB) image image.astype(np.float32) / 255.0 input_tensor cv2.resize(image, (256, 256)) input_tensor np.transpose(input_tensor, (2, 0, 1))[None, ...] # [1, 3, 256, 256] # 構(gòu)造 ONNX Runtime 推理會(huì)話 sess ort.InferenceSession(sr_model.onnx, providers[CPUExecutionProvider]) input_name sess.get_inputs()[0].name output_name sess.get_outputs()[0].name # 推理 onnx_output sess.run([output_name], {input_name: input_tensor.astype(np.float32)})[0] print(ONNX 輸出形狀, onnx_output.shape)跑完這個(gè)腳本如果能夠正常輸出結(jié)果說(shuō)明 ONNX 模型至少可以完成前向推理。但是否和原模型一致還需要做一次對(duì)比# 在 verify_onnx.py 中追加 import torch # 加載 PyTorch 原模型 from model import SRModel model SRModel() checkpoint torch.load(checkpoints/sr_model.pth, map_locationcpu) model.load_state_dict(checkpoint[state_dict]) model.eval() with torch.no_grad(): torch_output model(torch.from_numpy(input_tensor)) # 對(duì)比輸出誤差 diff np.abs(torch_output.numpy() - onnx_output).max() print(PyTorch 與 ONNX 最大輸出誤差, diff)如果誤差在1e-4量級(jí)以內(nèi)說(shuō)明導(dǎo)出基本沒(méi)問(wèn)題。如果誤差很大常見(jiàn)原因是前處理不一致、Op 精度差異或者 PyTorch 到 ONNX 的算子映射有問(wèn)題。5.4 Step 4轉(zhuǎn)換為端側(cè)推理格式如果你的目標(biāo)是移動(dòng)端需要把 ONNX 進(jìn)一步轉(zhuǎn)換為端側(cè)引擎格式。以阿里開(kāi)源的 MNN 為例可以使用 MNN 提供的轉(zhuǎn)換工具# 安裝 MNN 轉(zhuǎn)換工具 # 具體安裝方式參考 MNN 官方文檔這里只演示轉(zhuǎn)換命令 mnnconvert -f ONNX --modelFile sr_model.onnx --MNNModel sr_model.mnn --bizCode biz這里必須強(qiáng)調(diào)**不同推理引擎對(duì) ONNX 算子的支持程度不同。**轉(zhuǎn)換時(shí)如果遇到不支持的算子通常有三種解決方案在 PyTorch 層面重構(gòu)模型用更基礎(chǔ)的算子如卷積、ReLU替代特殊算子。修改 ONNX 計(jì)算圖把不支持的算子替換為等價(jià)的組合算子。在端側(cè)引擎中注冊(cè)自定義算子。方案 3 實(shí)現(xiàn)成本最高一般放到最后考慮。實(shí)際工程中方案 1 和 2 覆蓋了 90% 以上的情況。5.5 Step 5INT8 量化加速如果模型在端側(cè)推理速度不達(dá)標(biāo)INT8 量化是優(yōu)先級(jí)最高的優(yōu)化手段。量化的核心思想是把浮點(diǎn)計(jì)算轉(zhuǎn)成整數(shù)計(jì)算從而利用硬件對(duì) INT8 的優(yōu)化能力。以 ONNX Runtime 為例可以做動(dòng)態(tài)量化# 文件路徑quantize_onnx.py from onnxruntime.quantization import quantize_dynamic, QuantType # 動(dòng)態(tài)量化不需要校準(zhǔn)數(shù)據(jù)上手最快 quantize_dynamic( sr_model.onnx, sr_model_int8.onnx, weight_typeQuantType.QUInt8 ) print(INT8 量化模型生成完成sr_model_int8.onnx)需要說(shuō)明的是動(dòng)態(tài)量化主要量化權(quán)重激活值還是浮點(diǎn)加速效果有限。如果要追求更高的加速比需要做靜態(tài)量化這一步需要準(zhǔn)備校準(zhǔn)數(shù)據(jù)# 文件路徑quantize_static.py from onnxruntime.quantization import quantize_static, QuantType, CalibrationDataReader # 假設(shè)你已經(jīng)準(zhǔn)備好了一個(gè)校準(zhǔn)數(shù)據(jù)集 CalibDataReader calib_reader CalibrationDataReader() # 這個(gè)類需要自己實(shí)現(xiàn) quantize_static( sr_model.onnx, sr_model_static_int8.onnx, calib_reader, quant_formatQuantType.QOperator, per_channelTrue ) print(靜態(tài)量化模型生成完成sr_model_static_int8.onnx)量化之后必須做兩件事精度驗(yàn)證對(duì)比量化模型和 FP32 模型在同一個(gè)測(cè)試集上的指標(biāo)和視覺(jué)效果。速度驗(yàn)證在真實(shí)設(shè)備上跑測(cè)確認(rèn)推理耗時(shí)的提升。量化掉點(diǎn)是一個(gè)常見(jiàn)問(wèn)題尤其是在 Image-to-Image 任務(wù)上因?yàn)樯深惸Ｐ偷姆植挤秶鼘捔炕`差更容易被放大。如果掉點(diǎn)嚴(yán)重可以考慮量化感知訓(xùn)練QAT在訓(xùn)練階段就模擬量化誤差。6. 完整示例一個(gè)超分模型的部署驗(yàn)證 Demo下面把前面幾個(gè)步驟串起來(lái)做一個(gè)可以直接運(yùn)行的完整 demo。這個(gè) demo 的場(chǎng)景是用 PyTorch 訓(xùn)練好的超分模型導(dǎo)出 ONNX量化然后用 ONNX Runtime 完成推理并保存結(jié)果圖。6.1 目錄結(jié)構(gòu)sr_demo/ ├── model.py # 模型定義 ├── export_onnx.py # PyTorch 轉(zhuǎn) ONNX ├── quantize_onnx.py # 模型量化 ├── infer_onnx.py # ONNX 推理 ├── test.png # 測(cè)試圖像 └── checkpoints/ └── sr_model.pth # 預(yù)訓(xùn)練權(quán)重6.2 模型定義簡(jiǎn)化版# 文件路徑model.py import torch import torch.nn as nn class SRModel(nn.Module): 一個(gè)極簡(jiǎn)超分模型僅用于演示。 def __init__(self, scale2): super().__init__() self.scale scale self.conv1 nn.Conv2d(3, 32, kernel_size3, padding1) self.relu nn.ReLU(inplaceTrue) self.conv2 nn.Conv2d(32, 32, kernel_size3, padding1) self.pixel_shuffle nn.PixelShuffle(scale) self.out_conv nn.Conv2d(32 // (scale * scale), 3, kernel_size3, padding1) def forward(self, x): x self.relu(self.conv1(x)) x self.relu(self.conv2(x)) x self.out_conv(x) x self.pixel_shuffle(x) return x6.3 ONNX 推理腳本# 文件路徑infer_onnx.py import argparse import cv2 import numpy as np import onnxruntime as ort def preprocess(image_path, target_size(256, 256)): image cv2.imread(image_path) image cv2.cvtColor(image, cv2.COLOR_BGR2RGB) image cv2.resize(image, target_size) image image.astype(np.float32) / 255.0 tensor np.transpose(image, (2, 0, 1))[None, ...] return tensor def postprocess(tensor): tensor np.squeeze(tensor, axis0) tensor np.transpose(tensor, (1, 2, 0)) tensor np.clip(tensor, 0.0, 1.0) image (tensor * 255.0).astype(np.uint8) image cv2.cvtColor(image, cv2.COLOR_RGB2BGR) return image def main(): parser argparse.ArgumentParser() parser.add_argument(--model, defaultsr_model.onnx) parser.add_argument(--input, defaulttest.png) parser.add_argument(--output, defaultoutput.png) args parser.parse_args() # 檢查可用 provider providers [CUDAExecutionProvider, CPUExecutionProvider] available ort.get_available_providers() providers [p for p in providers if p in available] sess ort.InferenceSession(args.model, providersproviders) input_name sess.get_inputs()[0].name output_name sess.get_outputs()[0].name input_tensor preprocess(args.input) output_tensor sess.run([output_name], {input_name: input_tensor})[0] output_image postprocess(output_tensor) cv2.imwrite(args.output, output_image) print(f推理完成結(jié)果已保存到: {args.output} 形狀: {output_image.shape}) if __name__ __main__: main()運(yùn)行方式python infer_onnx.py --model sr_model.onnx --input test.png --output result.png如果你已經(jīng)完成了量化也可以直接對(duì)比 FP32 模型和 INT8 模型的輸出差異python infer_onnx.py --model sr_model_int8.onnx --input test.png --output result_int8.png6.4 效果評(píng)估腳本看輸出圖沒(méi)問(wèn)題后還需要量化評(píng)估。對(duì)于超分任務(wù)一般使用 PSNR 和 SSIM 兩個(gè)指標(biāo)。下面是一個(gè)簡(jiǎn)單腳本可以用來(lái)對(duì)比真實(shí)高分辨率圖和模型輸出圖之間的差異# 文件路徑evaluate.py import cv2 import numpy as np from skimage.metrics import peak_signal_noise_ratio, structural_similarity def calc_psnr_ssim(pred_path, gt_path): pred cv2.imread(pred_path) gt cv2.imread(gt_path) pred cv2.resize(pred, (gt.shape[1], gt.shape[0])) psnr peak_signal_noise_ratio(gt, pred) ssim structural_similarity(gt, pred, channel_axis2) return psnr, ssim if __name__ __main__: pred_path result.png gt_path gt.png psnr, ssim calc_psnr_ssim(pred_path, gt_path) print(fPSNR: {psnr:.2f} dB, SSIM: {ssim:.4f})需要scikit-image安裝方式pip install scikit-image7. 運(yùn)行結(jié)果與效果驗(yàn)證方法模型部署完不能只看“能跑就行”。你需要建立一套判斷標(biāo)準(zhǔn)區(qū)分“工程上跑通了”和“產(chǎn)品上能用了”。下面是三層驗(yàn)證思路。7.1 第一層功能驗(yàn)證確認(rèn)模型推理鏈路順暢輸入輸出符合預(yù)期。判斷標(biāo)準(zhǔn)ONNX 模型可以正常加載和推理。輸出圖像尺寸符合放大倍率。輸出圖像不是全黑、全白、純色或嚴(yán)重噪聲。如果這一步不過(guò)大概率是前處理/后處理的問(wèn)題先檢查數(shù)值范圍、通道順序和維度順序。7.2 第二層精度驗(yàn)證把模型輸出和真實(shí)標(biāo)簽對(duì)比計(jì)算 PSNR、SSIM 等指標(biāo)。判斷標(biāo)準(zhǔn)相對(duì)于 PyTorch 原模型ONNX 模型的指標(biāo)劣化在可接受范圍內(nèi)。INT8 量化模型相對(duì)于 FP32 模型PSNR 掉點(diǎn)一般不超過(guò) 0.5 dB具體看任務(wù)。在測(cè)試集上的表現(xiàn)不是單個(gè)樣例的偶然結(jié)果。注意PSNR 是個(gè)偏保守的指標(biāo)它只衡量像素級(jí)誤差不一定能反映人眼感知。在圖像生成類任務(wù)中SSIM、LPIPS 或者其他感知指標(biāo)可能更貼近用戶感受。建議同時(shí)看指標(biāo)和肉眼效果。7.3 第三層性能驗(yàn)證在真實(shí)目標(biāo)設(shè)備上測(cè)試關(guān)注四個(gè)指標(biāo)指標(biāo)說(shuō)明參考方向單幀推理耗時(shí)處理一張圖所需時(shí)間越低越好通常要求低于用戶可感知閾值內(nèi)存占用推理時(shí)新增的內(nèi)存開(kāi)銷需要控制在 App 可用內(nèi)存范圍內(nèi)模型體積打包進(jìn) App 后增加的體積超大模型會(huì)讓用戶放棄更新功耗/發(fā)熱連續(xù)推理時(shí)設(shè)備溫度移動(dòng)端特別關(guān)注性能驗(yàn)證切忌只看 PC 端數(shù)據(jù)。同一個(gè)模型在不同 SoC 上的表現(xiàn)差異可能非常大。如果真實(shí)設(shè)備上速度不達(dá)標(biāo)再回到模型壓縮和算子優(yōu)化環(huán)節(jié)。7.4 如果效果不理想先排查什么按優(yōu)先級(jí)排序先確認(rèn)前處理和后處理是否與原訓(xùn)練流程一致。再確認(rèn) ONNX 算子是否有精度截?cái)鄦?wèn)題。然后看量化是否掉點(diǎn)嚴(yán)重。最后才考慮模型結(jié)構(gòu)本身是否需要調(diào)整。很多人第一步就會(huì)懷疑模型結(jié)構(gòu)實(shí)際上 90% 的問(wèn)題是數(shù)據(jù)流問(wèn)題。8. 常見(jiàn)問(wèn)題與排查思路下表整理了模型部署和落地過(guò)程中最常見(jiàn)的問(wèn)題按出現(xiàn)頻率排序。問(wèn)題現(xiàn)象可能原因排查方式解決方案ONNX 導(dǎo)出時(shí)報(bào)錯(cuò)不支持的算子PyTorch 算子與 ONNX opset 不兼容查看完整導(dǎo)出日志確認(rèn)哪個(gè)算子失敗升級(jí) opset 版本或替換模型中的特殊算子為組合基礎(chǔ)算子導(dǎo)出的 ONNX 推理結(jié)果和 PyTorch 不一致前處理不一致 / 模型包含訓(xùn)練態(tài)算子對(duì)比每個(gè)中間層輸出誤差確認(rèn)model.eval()統(tǒng)一圖像預(yù)處理邏輯檢查 BN 層折疊INT8 量化后 PSNR 驟降量化誤差過(guò)大激活值分布不均勻統(tǒng)計(jì)激活值分布檢查是否有極端值使用靜態(tài)量化 校準(zhǔn)數(shù)據(jù)改用 QAT 量化感知訓(xùn)練只量化部分層端側(cè)推理速度遠(yuǎn)低于預(yù)期算子沒(méi)有完全走 NPU/GPU動(dòng)態(tài) shape 導(dǎo)致額外的內(nèi)存拷貝用 profiling 工具查看算子耗時(shí)分布固定輸入尺寸替換低效算子調(diào)整輸入圖片分辨率上限內(nèi)存占用過(guò)高模型過(guò)大或推理框架緩存未復(fù)用監(jiān)控推理前后內(nèi)存增量模型裁剪分塊推理調(diào)整推理框架的線程和緩存配置高分辨率輸入導(dǎo)致 OOM輸入尺寸過(guò)大中間特征圖爆顯存/內(nèi)存查看內(nèi)存曲線限制輸入最大尺寸使用滑動(dòng)窗口分塊處理后再拼接不同手機(jī)表現(xiàn)差異大不同 SoC 的算子實(shí)現(xiàn)和算力差異在低中高端設(shè)備分別測(cè)試針對(duì)中低端設(shè)備單獨(dú)下發(fā)輕量模型或降級(jí)策略這里想多說(shuō)一句**模型部署的排查不是靠猜而是靠日志和數(shù)據(jù)。**建議在工程鏈路中埋好觀測(cè)點(diǎn)比如記錄每一步輸入的 shape、數(shù)據(jù)范圍、耗時(shí)、內(nèi)存增量。這個(gè)習(xí)慣會(huì)幫你節(jié)省大量時(shí)間。9. 最佳實(shí)踐與工程建議最后把經(jīng)驗(yàn)層面可以復(fù)用的內(nèi)容沉淀下來(lái)。這些建議不一定來(lái)自美圖影像研究院的公開(kāi)材料而是 AI 模型落地項(xiàng)目中比較通用的工程原則。9.1 從一開(kāi)始就為部署設(shè)計(jì)而不是訓(xùn)練完再回頭很多團(tuán)隊(duì)犯的錯(cuò)誤是算法同學(xué)訓(xùn)練模型時(shí)完全不管部署需求選了大模型、用了一堆特殊的算子到最后部署階段才發(fā)現(xiàn)根本無(wú)法在目標(biāo)設(shè)備上跑起來(lái)只能推翻重來(lái)。更穩(wěn)妥的做法是在模型選型階段就明確約束條件目標(biāo)設(shè)備的最低算力是什么最大允許的模型體積是多少單次推理耗時(shí)的上限是多少內(nèi)存增量的上限是多少帶著這些約束去設(shè)計(jì)模型后面會(huì)省掉大量返工。9.2 建立“效果基線 自動(dòng)化評(píng)測(cè)”機(jī)制每次模型迭代后都要自動(dòng)跑一遍評(píng)測(cè)對(duì)比當(dāng)前版本和線上版本的效果。評(píng)測(cè)項(xiàng)包括客觀指標(biāo)PSNR、SSIM、FID、主觀效果人眼打分或 A/B 測(cè)試、性能指標(biāo)耗時(shí)、內(nèi)存、功耗。沒(méi)有評(píng)測(cè)體系的團(tuán)隊(duì)基本靠感覺(jué)辦事很容易出現(xiàn)“模型指標(biāo)更好了用戶卻投訴變差了”的情況。9.3 數(shù)據(jù)閉環(huán)是護(hù)城河論文研究可以用公開(kāi)數(shù)據(jù)集產(chǎn)品落地必須靠真實(shí)數(shù)據(jù)。用戶在 App 里的每一次操作都是一次免費(fèi)的標(biāo)注數(shù)據(jù)來(lái)源用戶修復(fù)了一張舊照片說(shuō)明這個(gè)場(chǎng)景算法覆蓋到了用戶反復(fù)試了三次還不行說(shuō)明這里有 badcase。建議從上線第一天就規(guī)劃數(shù)據(jù)的采集、脫敏、回流和標(biāo)注鏈路。9.4 灰度發(fā)布與快速回滾AI 功能上線最忌一次性全量。建議按用戶比例灰度比如先放 5% 的流量觀察一天確認(rèn)沒(méi)有明顯問(wèn)題再逐步放量。同時(shí)要保留上一版本的模型文件一旦新模型出現(xiàn)效果問(wèn)題可以一鍵回滾。這個(gè)回滾機(jī)制在 AI 工程里經(jīng)常被忽略但它往往是救命的。9.5 關(guān)注用戶可感知的體驗(yàn)最后一點(diǎn)也是最容易被技術(shù)團(tuán)隊(duì)忽視的**用戶不關(guān)心模型用了什么結(jié)構(gòu)只關(guān)心處理完的照片是否更自然、處理速度是否夠快。**在落地過(guò)程中不要為了追求 PSNR 高 0.2 而犧牲推理速度也不要為了省一點(diǎn)內(nèi)存而讓效果肉眼可見(jiàn)地變差。最終要在用戶體驗(yàn)的各個(gè)維度之間找到平衡點(diǎn)。10. 總結(jié)與后續(xù)學(xué)習(xí)方向回到開(kāi)頭那個(gè)問(wèn)題11 篇頂會(huì)論文之外美圖影像研究院真正在做的事情是什么我的判斷是他們?cè)谧鲆粭l很多團(tuán)隊(duì)不愿意承認(rèn)很難的鏈路——**把實(shí)驗(yàn)室里好看的指標(biāo)變成普通用戶愿意每天打開(kāi)的功能。**這件事的技術(shù)含量不在某篇論文的某一個(gè)創(chuàng)新點(diǎn)上而在對(duì)模型壓縮、推理適配、性能優(yōu)化、效果評(píng)測(cè)、數(shù)據(jù)回流全鏈路的深度掌握。如果你想把這條路也走通建議按下面的順序逐步深入先把現(xiàn)狀跑通把現(xiàn)有模型導(dǎo)出成 ONNX用 ONNX Runtime 跑通推理建立可復(fù)現(xiàn)的基準(zhǔn)。再做壓縮嘗試 INT8 量化對(duì)比量化前后的效果和性能差異。再上真機(jī)找一個(gè)端側(cè)引擎MNN、NCNN、TFLite 均可把模型部署到手機(jī)或開(kāi)發(fā)板上做真實(shí)性能測(cè)試。最后做閉環(huán)設(shè)計(jì)數(shù)據(jù)回流機(jī)制和自動(dòng)化評(píng)測(cè)機(jī)制讓模型可以持續(xù)迭代。AI 工程化是一個(gè)基礎(chǔ)設(shè)施型的能力。它不像發(fā)論文那樣有清晰的時(shí)間節(jié)點(diǎn)和產(chǎn)出物但恰恰是這種“看不見(jiàn)的工作量”決定了 AI 技術(shù)到底能走多遠(yuǎn)。對(duì)開(kāi)發(fā)者來(lái)說(shuō)理解這中間的全鏈路比追求單一模型指標(biāo)的提升更有長(zhǎng)期價(jià)值。 AI工程化：從論文到手機(jī)端側(cè)推理的模型壓縮與部署全鏈路
AI圈有個(gè)公開(kāi)的秘密頂會(huì)論文的 demo 視頻有多驚艷落地到真實(shí)用戶手機(jī)里就有多狼狽。一個(gè)在 4 塊 A100 上跑通的超分模型到了普通用戶的驍龍芯片上可能連一幀都推不動(dòng)一個(gè)在 PSNR 指標(biāo)上刷到新高的生成模型放進(jìn)修圖軟件里反而被用戶投訴“越修越假”。論文是學(xué)術(shù)勝利產(chǎn)品才是用戶能感知的勝利而這中間隔著的恰恰是很多團(tuán)隊(duì)不愿意承認(rèn)的那段臟活累活模型壓縮、算子適配、端側(cè)推理、效果調(diào)優(yōu)、數(shù)據(jù)回流。所以當(dāng)看到“美圖影像研究院發(fā)了 11 篇頂會(huì)論文”這個(gè)信息時(shí)我第一反應(yīng)不是羨慕論文數(shù)量而是好奇另外一個(gè)問(wèn)題這些論文里的方法到底有多少真正跑進(jìn)了美圖秀秀、Wink 這類大眾產(chǎn)品里材料里有一句話點(diǎn)出了關(guān)鍵——研究院不只是做研究還想“讓大眾愛(ài)用 AI”。這句話放在技術(shù)語(yǔ)境里翻譯一下就是AI 不能只停留在指標(biāo)好看它必須變成用戶可以感知到的畫(huà)質(zhì)提升、修圖速度變快、視頻處理不卡頓。這篇文章我不想寫(xiě)成美圖的品牌通稿而是想借這個(gè)案例把很多 AI 團(tuán)隊(duì)都會(huì)遇到的一個(gè)核心問(wèn)題拆開(kāi)講清楚**一個(gè)在論文里效果很好的模型要經(jīng)歷哪些步驟才能變成普通用戶愿意每天打開(kāi)的功能**換句話說(shuō)AI 工程化到底在解決什么問(wèn)題模型部署的完整鏈路是什么效果驗(yàn)證怎么做才不算自欺欺人。如果你正在做 AI 應(yīng)用開(kāi)發(fā)、模型部署或者負(fù)責(zé)把實(shí)驗(yàn)室模型推上線這篇文章會(huì)比較適合你。我會(huì)從學(xué)術(shù)與工程之間的落差講起然后依次拆解模型選型、輕量化、端側(cè)適配、推理部署、效果評(píng)測(cè)和持續(xù)迭代這幾個(gè)關(guān)鍵環(huán)節(jié)最后給出一些可以直接參考的代碼和工程建議。1. 這篇文章真正要解決的問(wèn)題先做一個(gè)判斷AI 產(chǎn)品化的瓶頸早已不是算法創(chuàng)新而是工程化能力。過(guò)去幾年視覺(jué)大模型、生成式 AI 的進(jìn)展非?？煺撐睦锏男Ч粋€(gè)比一個(gè)驚艷。但如果你真正做過(guò)落地項(xiàng)目就會(huì)發(fā)現(xiàn)一個(gè)扎心的現(xiàn)實(shí)論文里報(bào)告的是“實(shí)驗(yàn)室效果”而用戶使用的是“真實(shí)環(huán)境效果”。這兩者之間的差距通常不在模型結(jié)構(gòu)設(shè)計(jì)上而在下面的這些環(huán)節(jié)里實(shí)驗(yàn)室用的是 A100/V100用戶手機(jī)里是各種中低端 SoC算力差幾十倍。論文只關(guān)心 PSNR、SSIM、FID 這類指標(biāo)用戶只關(guān)心“看起來(lái)是否自然”“處理一張圖要多久”“會(huì)不會(huì)閃退”。論文數(shù)據(jù)集是經(jīng)過(guò)清洗的用戶輸入是隨手拍的糊圖、老照片、低光照照片、帶水印的表情包。論文推理不在乎顯存占用用戶手機(jī)在乎內(nèi)存、功耗、發(fā)熱、App 體積。所以“讓大眾愛(ài)用 AI”這句話落到工程層面是一個(gè)很具體的挑戰(zhàn)如何在資源受限的設(shè)備上把模型的精度、速度、體量、功耗壓到一個(gè)可接受的范圍同時(shí)保證效果不能翻車。本文重點(diǎn)回答以下四個(gè)問(wèn)題論文模型到產(chǎn)品功能之間差了多少步模型輕量化有哪些主流手段各自取舍是什么端側(cè)推理部署的完整鏈路長(zhǎng)什么樣如何用代碼落地效果驗(yàn)證和持續(xù)迭代怎么做才不會(huì)被指標(biāo)騙了2. 論文到產(chǎn)品之間到底差了哪幾步很多人以為 AI 功能上線的流程是算法同學(xué)訓(xùn)好模型寫(xiě)個(gè)接口前端調(diào)一下完事。真實(shí)流程遠(yuǎn)比這個(gè)復(fù)雜。我們可以把論文模型變成用戶可用功能的過(guò)程拆成 6 個(gè)階段階段核心目標(biāo)典型工作常見(jiàn)坑模型選型確定算法方案比較不同模型結(jié)構(gòu)、訓(xùn)練策略只追求 SOTA忽略參數(shù)量和算力需求訓(xùn)練與調(diào)優(yōu)讓模型在目標(biāo)數(shù)據(jù)上表現(xiàn)穩(wěn)定數(shù)據(jù)清洗、增強(qiáng)、loss 設(shè)計(jì)訓(xùn)練集和真實(shí)用戶數(shù)據(jù)分布不一致模型輕量化降低推理成本蒸餾、剪枝、量化壓縮后效果明顯掉點(diǎn)且沒(méi)有兜底方案推理適配讓模型跑在目標(biāo)硬件上ONNX、TensorRT、MNN/NCNN、Core ML算子不支持、精度異常、動(dòng)態(tài)尺寸問(wèn)題工程集成接入產(chǎn)品業(yè)務(wù)流程前后處理、緩存、并發(fā)控制模型在單測(cè)里正常線上調(diào)用超時(shí)效果監(jiān)測(cè)上線后持續(xù)驗(yàn)證A/B 測(cè)試、線上指標(biāo)、badcase 回流只盯著離線指標(biāo)忽略用戶真實(shí)感受大多數(shù) AI 團(tuán)隊(duì)在這條鏈路上都會(huì)遇到至少一個(gè)“斷點(diǎn)”。有的是沒(méi)有專門(mén)的推理優(yōu)化工程師模型訓(xùn)完就扔給后端結(jié)果單次推理要 2 秒有的是缺乏評(píng)測(cè)體系模型上線后效果好壞全靠用戶投訴才知道有的則是數(shù)據(jù)閉環(huán)斷了模型用舊數(shù)據(jù)訓(xùn)練用戶需求早就變了。美圖影像研究院能被單獨(dú)拿出來(lái)討論核心不在于它發(fā)了多少篇論文而在于它大概率把上面這條鏈路跑通了。從公開(kāi)材料看美圖的影像類產(chǎn)品對(duì)模型推理的要求很明確要快、要穩(wěn)、要適配大量中低端安卓機(jī)。這意味著他們?cè)诙藗?cè)推理、模型壓縮這些工程向的方向上積累可能比很多吹噓“自研大模型”的團(tuán)隊(duì)更扎實(shí)。3. 核心概念模型壓縮與端側(cè)推理為了讓后續(xù)的實(shí)操部分更好理解這里先把幾個(gè)關(guān)鍵概念解釋清楚。這些概念在 AI 工程化中會(huì)反復(fù)出現(xiàn)。3.1 模型壓縮到底是什么模型壓縮的目標(biāo)很簡(jiǎn)單**把模型變小、變快同時(shí)盡量保住效果。**常見(jiàn)的四種手段是剪枝Pruning把模型中不重要的權(quán)重或通道刪掉。結(jié)構(gòu)化剪枝可以直接減少計(jì)算量但效果容易掉點(diǎn)需要微調(diào)恢復(fù)。量化Quantization把 FP32 的權(quán)重和激活值用 INT8、INT16 等低精度表示。INT8 量化可以把模型體積縮小到原來(lái)的 1/4推理速度提升 2 到 3 倍是端側(cè)部署最常用的一招。知識(shí)蒸餾Distillation用一個(gè)大的 Teacher 模型指導(dǎo)小的 Student 模型訓(xùn)練。Student 模型結(jié)構(gòu)更小但可以逼近 Teacher 的性能。低秩分解Low-rank Factorization把權(quán)重矩陣分解成多個(gè)低秩矩陣的乘積減少參數(shù)量。在 Fully Connected 層效果更明顯卷積層上收益較難控制。實(shí)際項(xiàng)目中這些手段通常會(huì)組合使用比如先蒸餾出一個(gè)輕量模型再做 INT8 量化。3.2 端側(cè)推理引擎怎么選模型訓(xùn)練完要跑在目標(biāo)設(shè)備上不能直接用 PyTorch 或者 TensorFlow因?yàn)樘亓恕＿@時(shí)候需要推理引擎。常見(jiàn)的幾個(gè)陣營(yíng)推理引擎適用平臺(tái)特點(diǎn)ONNX Runtime跨平臺(tái)生態(tài)最好算子支持全適合服務(wù)器和部分移動(dòng)端場(chǎng)景TensorRTNVIDIA GPU服務(wù)器端推理首選支持 FP16/INT8 加速M(fèi)NN移動(dòng)端/iOS/Android阿里開(kāi)源移動(dòng)端優(yōu)化深入支持動(dòng)態(tài) shapeNCNN移動(dòng)端騰訊開(kāi)源輕量適配大量手機(jī) SoCTFLite移動(dòng)端/嵌入式Google 生態(tài)對(duì) Android 支持好選擇推理引擎沒(méi)有絕對(duì)標(biāo)準(zhǔn)主要看你的目標(biāo)平臺(tái)、算子需求、動(dòng)態(tài)尺寸要求和團(tuán)隊(duì)的技術(shù)積累。如果團(tuán)隊(duì)剛起步ONNX Runtime 是成本最低的起點(diǎn)因?yàn)閺?PyTorch 導(dǎo)出 ONNX 的鏈路最成熟。3.3 端側(cè)部署的通用鏈路不管用什么引擎端側(cè)部署的流程都類似用 PyTorch/TensorFlow 訓(xùn)練模型。導(dǎo)出為通用中間格式通常是 ONNX。轉(zhuǎn)換為目標(biāo)引擎的模型格式。在目標(biāo)硬件上做精度和性能驗(yàn)證。封裝成 SDK 或服務(wù)接口集成進(jìn) App/服務(wù)端。4. 環(huán)境準(zhǔn)備與前置條件下面開(kāi)始進(jìn)入實(shí)操部分。我會(huì)用一套通用的圖像增強(qiáng)模型部署流程來(lái)做演示。這里的核心思路不綁定具體框架你可以根據(jù)自己的業(yè)務(wù)替換模型和目標(biāo)平臺(tái)。4.1 環(huán)境清單本文的示例代碼基于以下環(huán)境Python 3.9 或以上版本PyTorch 2.x模型訓(xùn)練與導(dǎo)出onnxruntimeONNX 模型推理驗(yàn)證onnxONNX 模型操作numpy、opencv-python圖像處理可選MNN 或 NCNN真實(shí)端側(cè)部署時(shí)使用版本號(hào)不用完全一致本文重點(diǎn)是演示通用流程。如果你當(dāng)前環(huán)境沒(méi)有這些包可以用 pip 安裝pip install torch onnx onnxruntime opencv-python numpy4.2 關(guān)于硬件的說(shuō)明如果要做完整的端側(cè)推理驗(yàn)證建議準(zhǔn)備一臺(tái) Android 手機(jī)或一塊開(kāi)發(fā)板。如果沒(méi)有也可以先在 PC 上用 ONNX Runtime 完成流程驗(yàn)證邏輯是一樣的。材料中沒(méi)有提供美圖影像研究院使用的具體硬件方案所以這里不猜測(cè)只講通用做法。5. 核心流程拆解從 PyTorch 模型到可部署模型下面以“圖像超分辨率”為例——這也是美圖這類影像產(chǎn)品很常見(jiàn)的功能場(chǎng)景——逐步拆解一個(gè)模型從 PyTorch 到可部署格式的完整流程。5.1 Step 1準(zhǔn)備一個(gè)訓(xùn)練好的 PyTorch 模型假設(shè)我們有一個(gè)訓(xùn)練好的超分模型輸入是低分辨率圖像輸出是高分辨率圖像。模型代碼這里不展開(kāi)只要知道它輸入輸出的張量形狀即可。以常見(jiàn)的超分模型為例輸入[1, 3, H, W]RGB 圖像數(shù)值范圍 [0,1]輸出[1, 3, scale*H, scale*W]數(shù)值范圍 [0,1]關(guān)鍵點(diǎn)是模型輸入輸出的約定要非常明確因?yàn)樗苯佑绊懞罄m(xù)導(dǎo)出和推理代碼的編寫(xiě)。5.2 Step 2導(dǎo)出為 ONNX 格式ONNX 相當(dāng)于模型格式的“通用語(yǔ)言”把 PyTorch 模型轉(zhuǎn)成 ONNX 后就能轉(zhuǎn)換到不同的推理引擎。# 文件路徑export_onnx.py import torch # 假設(shè)你的模型類叫 SRModel from model import SRModel model SRModel() checkpoint torch.load(checkpoints/sr_model.pth, map_locationcpu) model.load_state_dict(checkpoint[state_dict]) model.eval() # 構(gòu)造一個(gè)示例輸入導(dǎo)出的模型會(huì)綁定這個(gè)輸入形狀 dummy_input torch.randn(1, 3, 256, 256) torch.onnx.export( model, dummy_input, sr_model.onnx, opset_version11, input_names[input], output_names[output], dynamic_axes{ input: {0: batch, 2: height, 3: width}, output: {0: batch, 2: height, 3: width} } ) print(ONNX 模型導(dǎo)出完成sr_model.onnx)這里有幾個(gè)細(xì)節(jié)要注意opset_version會(huì)影響算子兼容性。太新的版本在老設(shè)備上可能不支持建議根據(jù)目標(biāo)推理引擎的文檔選擇。如果不設(shè)置dynamic_axes導(dǎo)出的模型會(huì)固定為[1, 3, 256, 256]的輸入形狀一旦用戶傳其他尺寸的圖就會(huì)報(bào)錯(cuò)。設(shè)置為動(dòng)態(tài)尺寸更靈活但有些引擎對(duì)動(dòng)態(tài) shape 支持不好需要取舍。導(dǎo)出前一定要調(diào)用model.eval()否則 BN 層和 Dropout 層的行為會(huì)不一致。5.3 Step 3用 ONNX Runtime 驗(yàn)證正確性導(dǎo)出模型后不能直接拿去部署先要做一次推理驗(yàn)證確認(rèn)導(dǎo)出的模型和 PyTorch 原模型的輸出一致。# 文件路徑verify_onnx.py import cv2 import numpy as np import onnxruntime as ort import torch # 讀取測(cè)試圖像并預(yù)處理 image cv2.imread(test.png) image cv2.cvtColor(image, cv2.COLOR_BGR2RGB) image image.astype(np.float32) / 255.0 input_tensor cv2.resize(image, (256, 256)) input_tensor np.transpose(input_tensor, (2, 0, 1))[None, ...] # [1, 3, 256, 256] # 構(gòu)造 ONNX Runtime 推理會(huì)話 sess ort.InferenceSession(sr_model.onnx, providers[CPUExecutionProvider]) input_name sess.get_inputs()[0].name output_name sess.get_outputs()[0].name # 推理 onnx_output sess.run([output_name], {input_name: input_tensor.astype(np.float32)})[0] print(ONNX 輸出形狀, onnx_output.shape)跑完這個(gè)腳本如果能夠正常輸出結(jié)果說(shuō)明 ONNX 模型至少可以完成前向推理。但是否和原模型一致還需要做一次對(duì)比# 在 verify_onnx.py 中追加 import torch # 加載 PyTorch 原模型 from model import SRModel model SRModel() checkpoint torch.load(checkpoints/sr_model.pth, map_locationcpu) model.load_state_dict(checkpoint[state_dict]) model.eval() with torch.no_grad(): torch_output model(torch.from_numpy(input_tensor)) # 對(duì)比輸出誤差 diff np.abs(torch_output.numpy() - onnx_output).max() print(PyTorch 與 ONNX 最大輸出誤差, diff)如果誤差在1e-4量級(jí)以內(nèi)說(shuō)明導(dǎo)出基本沒(méi)問(wèn)題。如果誤差很大常見(jiàn)原因是前處理不一致、Op 精度差異或者 PyTorch 到 ONNX 的算子映射有問(wèn)題。5.4 Step 4轉(zhuǎn)換為端側(cè)推理格式如果你的目標(biāo)是移動(dòng)端需要把 ONNX 進(jìn)一步轉(zhuǎn)換為端側(cè)引擎格式。以阿里開(kāi)源的 MNN 為例可以使用 MNN 提供的轉(zhuǎn)換工具# 安裝 MNN 轉(zhuǎn)換工具 # 具體安裝方式參考 MNN 官方文檔這里只演示轉(zhuǎn)換命令 mnnconvert -f ONNX --modelFile sr_model.onnx --MNNModel sr_model.mnn --bizCode biz這里必須強(qiáng)調(diào)**不同推理引擎對(duì) ONNX 算子的支持程度不同。**轉(zhuǎn)換時(shí)如果遇到不支持的算子通常有三種解決方案在 PyTorch 層面重構(gòu)模型用更基礎(chǔ)的算子如卷積、ReLU替代特殊算子。修改 ONNX 計(jì)算圖把不支持的算子替換為等價(jià)的組合算子。在端側(cè)引擎中注冊(cè)自定義算子。方案 3 實(shí)現(xiàn)成本最高一般放到最后考慮。實(shí)際工程中方案 1 和 2 覆蓋了 90% 以上的情況。5.5 Step 5INT8 量化加速如果模型在端側(cè)推理速度不達(dá)標(biāo)INT8 量化是優(yōu)先級(jí)最高的優(yōu)化手段。量化的核心思想是把浮點(diǎn)計(jì)算轉(zhuǎn)成整數(shù)計(jì)算從而利用硬件對(duì) INT8 的優(yōu)化能力。以 ONNX Runtime 為例可以做動(dòng)態(tài)量化# 文件路徑quantize_onnx.py from onnxruntime.quantization import quantize_dynamic, QuantType # 動(dòng)態(tài)量化不需要校準(zhǔn)數(shù)據(jù)上手最快 quantize_dynamic( sr_model.onnx, sr_model_int8.onnx, weight_typeQuantType.QUInt8 ) print(INT8 量化模型生成完成sr_model_int8.onnx)需要說(shuō)明的是動(dòng)態(tài)量化主要量化權(quán)重激活值還是浮點(diǎn)加速效果有限。如果要追求更高的加速比需要做靜態(tài)量化這一步需要準(zhǔn)備校準(zhǔn)數(shù)據(jù)# 文件路徑quantize_static.py from onnxruntime.quantization import quantize_static, QuantType, CalibrationDataReader # 假設(shè)你已經(jīng)準(zhǔn)備好了一個(gè)校準(zhǔn)數(shù)據(jù)集 CalibDataReader calib_reader CalibrationDataReader() # 這個(gè)類需要自己實(shí)現(xiàn) quantize_static( sr_model.onnx, sr_model_static_int8.onnx, calib_reader, quant_formatQuantType.QOperator, per_channelTrue ) print(靜態(tài)量化模型生成完成sr_model_static_int8.onnx)量化之后必須做兩件事精度驗(yàn)證對(duì)比量化模型和 FP32 模型在同一個(gè)測(cè)試集上的指標(biāo)和視覺(jué)效果。速度驗(yàn)證在真實(shí)設(shè)備上跑測(cè)確認(rèn)推理耗時(shí)的提升。量化掉點(diǎn)是一個(gè)常見(jiàn)問(wèn)題尤其是在 Image-to-Image 任務(wù)上因?yàn)樯深惸Ｐ偷姆植挤秶鼘捔炕`差更容易被放大。如果掉點(diǎn)嚴(yán)重可以考慮量化感知訓(xùn)練QAT在訓(xùn)練階段就模擬量化誤差。6. 完整示例一個(gè)超分模型的部署驗(yàn)證 Demo下面把前面幾個(gè)步驟串起來(lái)做一個(gè)可以直接運(yùn)行的完整 demo。這個(gè) demo 的場(chǎng)景是用 PyTorch 訓(xùn)練好的超分模型導(dǎo)出 ONNX量化然后用 ONNX Runtime 完成推理并保存結(jié)果圖。6.1 目錄結(jié)構(gòu)sr_demo/ ├── model.py # 模型定義 ├── export_onnx.py # PyTorch 轉(zhuǎn) ONNX ├── quantize_onnx.py # 模型量化 ├── infer_onnx.py # ONNX 推理 ├── test.png # 測(cè)試圖像 └── checkpoints/ └── sr_model.pth # 預(yù)訓(xùn)練權(quán)重6.2 模型定義簡(jiǎn)化版# 文件路徑model.py import torch import torch.nn as nn class SRModel(nn.Module): 一個(gè)極簡(jiǎn)超分模型僅用于演示。 def __init__(self, scale2): super().__init__() self.scale scale self.conv1 nn.Conv2d(3, 32, kernel_size3, padding1) self.relu nn.ReLU(inplaceTrue) self.conv2 nn.Conv2d(32, 32, kernel_size3, padding1) self.pixel_shuffle nn.PixelShuffle(scale) self.out_conv nn.Conv2d(32 // (scale * scale), 3, kernel_size3, padding1) def forward(self, x): x self.relu(self.conv1(x)) x self.relu(self.conv2(x)) x self.out_conv(x) x self.pixel_shuffle(x) return x6.3 ONNX 推理腳本# 文件路徑infer_onnx.py import argparse import cv2 import numpy as np import onnxruntime as ort def preprocess(image_path, target_size(256, 256)): image cv2.imread(image_path) image cv2.cvtColor(image, cv2.COLOR_BGR2RGB) image cv2.resize(image, target_size) image image.astype(np.float32) / 255.0 tensor np.transpose(image, (2, 0, 1))[None, ...] return tensor def postprocess(tensor): tensor np.squeeze(tensor, axis0) tensor np.transpose(tensor, (1, 2, 0)) tensor np.clip(tensor, 0.0, 1.0) image (tensor * 255.0).astype(np.uint8) image cv2.cvtColor(image, cv2.COLOR_RGB2BGR) return image def main(): parser argparse.ArgumentParser() parser.add_argument(--model, defaultsr_model.onnx) parser.add_argument(--input, defaulttest.png) parser.add_argument(--output, defaultoutput.png) args parser.parse_args() # 檢查可用 provider providers [CUDAExecutionProvider, CPUExecutionProvider] available ort.get_available_providers() providers [p for p in providers if p in available] sess ort.InferenceSession(args.model, providersproviders) input_name sess.get_inputs()[0].name output_name sess.get_outputs()[0].name input_tensor preprocess(args.input) output_tensor sess.run([output_name], {input_name: input_tensor})[0] output_image postprocess(output_tensor) cv2.imwrite(args.output, output_image) print(f推理完成結(jié)果已保存到: {args.output} 形狀: {output_image.shape}) if __name__ __main__: main()運(yùn)行方式python infer_onnx.py --model sr_model.onnx --input test.png --output result.png如果你已經(jīng)完成了量化也可以直接對(duì)比 FP32 模型和 INT8 模型的輸出差異python infer_onnx.py --model sr_model_int8.onnx --input test.png --output result_int8.png6.4 效果評(píng)估腳本看輸出圖沒(méi)問(wèn)題后還需要量化評(píng)估。對(duì)于超分任務(wù)一般使用 PSNR 和 SSIM 兩個(gè)指標(biāo)。下面是一個(gè)簡(jiǎn)單腳本可以用來(lái)對(duì)比真實(shí)高分辨率圖和模型輸出圖之間的差異# 文件路徑evaluate.py import cv2 import numpy as np from skimage.metrics import peak_signal_noise_ratio, structural_similarity def calc_psnr_ssim(pred_path, gt_path): pred cv2.imread(pred_path) gt cv2.imread(gt_path) pred cv2.resize(pred, (gt.shape[1], gt.shape[0])) psnr peak_signal_noise_ratio(gt, pred) ssim structural_similarity(gt, pred, channel_axis2) return psnr, ssim if __name__ __main__: pred_path result.png gt_path gt.png psnr, ssim calc_psnr_ssim(pred_path, gt_path) print(fPSNR: {psnr:.2f} dB, SSIM: {ssim:.4f})需要scikit-image安裝方式pip install scikit-image7. 運(yùn)行結(jié)果與效果驗(yàn)證方法模型部署完不能只看“能跑就行”。你需要建立一套判斷標(biāo)準(zhǔn)區(qū)分“工程上跑通了”和“產(chǎn)品上能用了”。下面是三層驗(yàn)證思路。7.1 第一層功能驗(yàn)證確認(rèn)模型推理鏈路順暢輸入輸出符合預(yù)期。判斷標(biāo)準(zhǔn)ONNX 模型可以正常加載和推理。輸出圖像尺寸符合放大倍率。輸出圖像不是全黑、全白、純色或嚴(yán)重噪聲。如果這一步不過(guò)大概率是前處理/后處理的問(wèn)題先檢查數(shù)值范圍、通道順序和維度順序。7.2 第二層精度驗(yàn)證把模型輸出和真實(shí)標(biāo)簽對(duì)比計(jì)算 PSNR、SSIM 等指標(biāo)。判斷標(biāo)準(zhǔn)相對(duì)于 PyTorch 原模型ONNX 模型的指標(biāo)劣化在可接受范圍內(nèi)。INT8 量化模型相對(duì)于 FP32 模型PSNR 掉點(diǎn)一般不超過(guò) 0.5 dB具體看任務(wù)。在測(cè)試集上的表現(xiàn)不是單個(gè)樣例的偶然結(jié)果。注意PSNR 是個(gè)偏保守的指標(biāo)它只衡量像素級(jí)誤差不一定能反映人眼感知。在圖像生成類任務(wù)中SSIM、LPIPS 或者其他感知指標(biāo)可能更貼近用戶感受。建議同時(shí)看指標(biāo)和肉眼效果。7.3 第三層性能驗(yàn)證在真實(shí)目標(biāo)設(shè)備上測(cè)試關(guān)注四個(gè)指標(biāo)指標(biāo)說(shuō)明參考方向單幀推理耗時(shí)處理一張圖所需時(shí)間越低越好通常要求低于用戶可感知閾值內(nèi)存占用推理時(shí)新增的內(nèi)存開(kāi)銷需要控制在 App 可用內(nèi)存范圍內(nèi)模型體積打包進(jìn) App 后增加的體積超大模型會(huì)讓用戶放棄更新功耗/發(fā)熱連續(xù)推理時(shí)設(shè)備溫度移動(dòng)端特別關(guān)注性能驗(yàn)證切忌只看 PC 端數(shù)據(jù)。同一個(gè)模型在不同 SoC 上的表現(xiàn)差異可能非常大。如果真實(shí)設(shè)備上速度不達(dá)標(biāo)再回到模型壓縮和算子優(yōu)化環(huán)節(jié)。7.4 如果效果不理想先排查什么按優(yōu)先級(jí)排序先確認(rèn)前處理和后處理是否與原訓(xùn)練流程一致。再確認(rèn) ONNX 算子是否有精度截?cái)鄦?wèn)題。然后看量化是否掉點(diǎn)嚴(yán)重。最后才考慮模型結(jié)構(gòu)本身是否需要調(diào)整。很多人第一步就會(huì)懷疑模型結(jié)構(gòu)實(shí)際上 90% 的問(wèn)題是數(shù)據(jù)流問(wèn)題。8. 常見(jiàn)問(wèn)題與排查思路下表整理了模型部署和落地過(guò)程中最常見(jiàn)的問(wèn)題按出現(xiàn)頻率排序。問(wèn)題現(xiàn)象可能原因排查方式解決方案ONNX 導(dǎo)出時(shí)報(bào)錯(cuò)不支持的算子PyTorch 算子與 ONNX opset 不兼容查看完整導(dǎo)出日志確認(rèn)哪個(gè)算子失敗升級(jí) opset 版本或替換模型中的特殊算子為組合基礎(chǔ)算子導(dǎo)出的 ONNX 推理結(jié)果和 PyTorch 不一致前處理不一致 / 模型包含訓(xùn)練態(tài)算子對(duì)比每個(gè)中間層輸出誤差確認(rèn)model.eval()統(tǒng)一圖像預(yù)處理邏輯檢查 BN 層折疊INT8 量化后 PSNR 驟降量化誤差過(guò)大激活值分布不均勻統(tǒng)計(jì)激活值分布檢查是否有極端值使用靜態(tài)量化 校準(zhǔn)數(shù)據(jù)改用 QAT 量化感知訓(xùn)練只量化部分層端側(cè)推理速度遠(yuǎn)低于預(yù)期算子沒(méi)有完全走 NPU/GPU動(dòng)態(tài) shape 導(dǎo)致額外的內(nèi)存拷貝用 profiling 工具查看算子耗時(shí)分布固定輸入尺寸替換低效算子調(diào)整輸入圖片分辨率上限內(nèi)存占用過(guò)高模型過(guò)大或推理框架緩存未復(fù)用監(jiān)控推理前后內(nèi)存增量模型裁剪分塊推理調(diào)整推理框架的線程和緩存配置高分辨率輸入導(dǎo)致 OOM輸入尺寸過(guò)大中間特征圖爆顯存/內(nèi)存查看內(nèi)存曲線限制輸入最大尺寸使用滑動(dòng)窗口分塊處理后再拼接不同手機(jī)表現(xiàn)差異大不同 SoC 的算子實(shí)現(xiàn)和算力差異在低中高端設(shè)備分別測(cè)試針對(duì)中低端設(shè)備單獨(dú)下發(fā)輕量模型或降級(jí)策略這里想多說(shuō)一句**模型部署的排查不是靠猜而是靠日志和數(shù)據(jù)。**建議在工程鏈路中埋好觀測(cè)點(diǎn)比如記錄每一步輸入的 shape、數(shù)據(jù)范圍、耗時(shí)、內(nèi)存增量。這個(gè)習(xí)慣會(huì)幫你節(jié)省大量時(shí)間。9. 最佳實(shí)踐與工程建議最后把經(jīng)驗(yàn)層面可以復(fù)用的內(nèi)容沉淀下來(lái)。這些建議不一定來(lái)自美圖影像研究院的公開(kāi)材料而是 AI 模型落地項(xiàng)目中比較通用的工程原則。9.1 從一開(kāi)始就為部署設(shè)計(jì)而不是訓(xùn)練完再回頭很多團(tuán)隊(duì)犯的錯(cuò)誤是算法同學(xué)訓(xùn)練模型時(shí)完全不管部署需求選了大模型、用了一堆特殊的算子到最后部署階段才發(fā)現(xiàn)根本無(wú)法在目標(biāo)設(shè)備上跑起來(lái)只能推翻重來(lái)。更穩(wěn)妥的做法是在模型選型階段就明確約束條件目標(biāo)設(shè)備的最低算力是什么最大允許的模型體積是多少單次推理耗時(shí)的上限是多少內(nèi)存增量的上限是多少帶著這些約束去設(shè)計(jì)模型后面會(huì)省掉大量返工。9.2 建立“效果基線 自動(dòng)化評(píng)測(cè)”機(jī)制每次模型迭代后都要自動(dòng)跑一遍評(píng)測(cè)對(duì)比當(dāng)前版本和線上版本的效果。評(píng)測(cè)項(xiàng)包括客觀指標(biāo)PSNR、SSIM、FID、主觀效果人眼打分或 A/B 測(cè)試、性能指標(biāo)耗時(shí)、內(nèi)存、功耗。沒(méi)有評(píng)測(cè)體系的團(tuán)隊(duì)基本靠感覺(jué)辦事很容易出現(xiàn)“模型指標(biāo)更好了用戶卻投訴變差了”的情況。9.3 數(shù)據(jù)閉環(huán)是護(hù)城河論文研究可以用公開(kāi)數(shù)據(jù)集產(chǎn)品落地必須靠真實(shí)數(shù)據(jù)。用戶在 App 里的每一次操作都是一次免費(fèi)的標(biāo)注數(shù)據(jù)來(lái)源用戶修復(fù)了一張舊照片說(shuō)明這個(gè)場(chǎng)景算法覆蓋到了用戶反復(fù)試了三次還不行說(shuō)明這里有 badcase。建議從上線第一天就規(guī)劃數(shù)據(jù)的采集、脫敏、回流和標(biāo)注鏈路。9.4 灰度發(fā)布與快速回滾AI 功能上線最忌一次性全量。建議按用戶比例灰度比如先放 5% 的流量觀察一天確認(rèn)沒(méi)有明顯問(wèn)題再逐步放量。同時(shí)要保留上一版本的模型文件一旦新模型出現(xiàn)效果問(wèn)題可以一鍵回滾。這個(gè)回滾機(jī)制在 AI 工程里經(jīng)常被忽略但它往往是救命的。9.5 關(guān)注用戶可感知的體驗(yàn)最后一點(diǎn)也是最容易被技術(shù)團(tuán)隊(duì)忽視的**用戶不關(guān)心模型用了什么結(jié)構(gòu)只關(guān)心處理完的照片是否更自然、處理速度是否夠快。**在落地過(guò)程中不要為了追求 PSNR 高 0.2 而犧牲推理速度也不要為了省一點(diǎn)內(nèi)存而讓效果肉眼可見(jiàn)地變差。最終要在用戶體驗(yàn)的各個(gè)維度之間找到平衡點(diǎn)。10. 總結(jié)與后續(xù)學(xué)習(xí)方向回到開(kāi)頭那個(gè)問(wèn)題11 篇頂會(huì)論文之外美圖影像研究院真正在做的事情是什么我的判斷是他們?cè)谧鲆粭l很多團(tuán)隊(duì)不愿意承認(rèn)很難的鏈路——**把實(shí)驗(yàn)室里好看的指標(biāo)變成普通用戶愿意每天打開(kāi)的功能。**這件事的技術(shù)含量不在某篇論文的某一個(gè)創(chuàng)新點(diǎn)上而在對(duì)模型壓縮、推理適配、性能優(yōu)化、效果評(píng)測(cè)、數(shù)據(jù)回流全鏈路的深度掌握。如果你想把這條路也走通建議按下面的順序逐步深入先把現(xiàn)狀跑通把現(xiàn)有模型導(dǎo)出成 ONNX用 ONNX Runtime 跑通推理建立可復(fù)現(xiàn)的基準(zhǔn)。再做壓縮嘗試 INT8 量化對(duì)比量化前后的效果和性能差異。再上真機(jī)找一個(gè)端側(cè)引擎MNN、NCNN、TFLite 均可把模型部署到手機(jī)或開(kāi)發(fā)板上做真實(shí)性能測(cè)試。最后做閉環(huán)設(shè)計(jì)數(shù)據(jù)回流機(jī)制和自動(dòng)化評(píng)測(cè)機(jī)制讓模型可以持續(xù)迭代。AI 工程化是一個(gè)基礎(chǔ)設(shè)施型的能力。它不像發(fā)論文那樣有清晰的時(shí)間節(jié)點(diǎn)和產(chǎn)出物但恰恰是這種“看不見(jiàn)的工作量”決定了 AI 技術(shù)到底能走多遠(yuǎn)。對(duì)開(kāi)發(fā)者來(lái)說(shuō)理解這中間的全鏈路比追求單一模型指標(biāo)的提升更有長(zhǎng)期價(jià)值。