簡介基于TensorRT加速的YOLOv8 C目標(biāo)檢測推理工程包面向具備C基礎(chǔ)、希望在Windows x64平臺快速落地低延遲檢測方案的開發(fā)者。包內(nèi)提供yolov8n.onnx模型及由其編譯生成的engine序列化引擎同時(shí)附有VS2022編譯的TensorRT_Test.exe可執(zhí)行文件、C源碼與sln/vcxproj工程文件以及pdb調(diào)試符號既可直接運(yùn)行驗(yàn)證也可對照源碼學(xué)習(xí)TensorRT模型加載、預(yù)處理與后處理流程。OpenCV 4.8.1動態(tài)庫與FFmpeg視頻解碼插件一并打包且區(qū)分Release與Debug版本省去繁瑣的環(huán)境配置。壓縮包共58個(gè)文件主要涵蓋模型文件、源碼工程、mp4/jpg圖像視頻測試素材、txt類別標(biāo)簽等整體約174.8MB目錄結(jié)構(gòu)清晰。當(dāng)前已有9人學(xué)習(xí)瀏覽適合邊緣設(shè)備或桌面端實(shí)時(shí)檢測場景可幫助開發(fā)者快速搭建可二次優(yōu)化的推理管線并通過附帶素材同時(shí)驗(yàn)證圖像與視頻兩種輸入效果。1. 項(xiàng)目整體設(shè)計(jì)與思路拆解1.1 為什么是TensorRTC這條技術(shù)路線拿到這個(gè)工程包的時(shí)候第一反應(yīng)是終于有人把YOLOv8的C部署整理成一套開箱即用的東西了。做過模型落地的人都知道Python環(huán)境下的YOLOv8推理看著簡單torch.load一加載、model(img)一跑就出結(jié)果但真到了工業(yè)現(xiàn)場這套流程基本沒法用。工業(yè)相機(jī) 30fps 的采集速度、多路視頻流的并發(fā)處理、幾十毫秒級的響應(yīng)要求Python的GIL鎖和動態(tài)圖開銷第一個(gè)扛不住。說白了模型訓(xùn)練是研究的事模型部署才是工程的事。TensorRT是NVIDIA推出的GPU推理加速引擎它能把訓(xùn)練好的模型通過層融合、精度校準(zhǔn)、內(nèi)核自動調(diào)優(yōu)等方式壓縮成一個(gè)高度優(yōu)化的推理引擎文件。實(shí)測下來YOLOv8s在GTX 1660 Ti上PyTorch原版推理大約在30到40毫秒換成TensorRT的FP16引擎后能跑到12到15毫秒吞吐量翻倍都不止。C則負(fù)責(zé)把整個(gè)推理流程控制到極致——顯存手動管理、零拷貝輸入輸出、線程池并發(fā)調(diào)度這些都是Python環(huán)境下很難做到的。所以TensorRTC基本是當(dāng)前GPU部署領(lǐng)域延遲敏感型應(yīng)用的標(biāo)準(zhǔn)答案。1.2 工程包結(jié)構(gòu)設(shè)計(jì)與核心模塊劃分整個(gè)工程包拿到手里后我習(xí)慣先看目錄結(jié)構(gòu)。這套工程包的規(guī)劃比較清晰大致分為模型轉(zhuǎn)換、推理引擎、測試驗(yàn)證、業(yè)務(wù)封裝四個(gè)層面。模型層面存放ONNX格式的模型文件和TensorRT引擎文件源碼層面包含預(yù)處理、推理、后處理三個(gè)核心模塊附帶編譯腳本和測試素材編譯完就能直接跑demo。project/ ├── models/ # ONNX模型與TensorRT engine文件 ├── data/ # 測試圖片、視頻素材 ├── src/ # C源碼preprocess / inference / postprocess ├── include/ # 頭文件與第三方依賴 ├── CMakeLists.txt # 構(gòu)建腳本 └── README.md # 使用說明這種按模塊拆分的思路很適合實(shí)際工程落地。我見過太多人把預(yù)處理、模型推理、后處理全寫在一個(gè)main函數(shù)里跑通demo是沒問題但一旦要接業(yè)務(wù)比如把檢測結(jié)果推給追蹤模塊、或是在Web服務(wù)里調(diào)用就得從頭改代碼。合理的做法是每個(gè)環(huán)節(jié)獨(dú)立成模塊接口定義清楚這樣無論你是接到自己的項(xiàng)目里還是讓團(tuán)隊(duì)同事維護(hù)都能快速上手。2. YOLOv8模型導(dǎo)出與TensorRT加速原理2.1 從PyTorch導(dǎo)出ONNX的關(guān)鍵細(xì)節(jié)整個(gè)工程的第一步是把YOLOv8的PyTorch權(quán)重轉(zhuǎn)換成ONNX格式。很多人覺得這一步就是一行代碼的事實(shí)際上有非常多的坑。YOLOv8官方倉庫已經(jīng)提供export.py腳本但使用時(shí)要特別注意幾個(gè)參數(shù)。首先是opset版本。TensorRT對ONNX的算子支持情況跟opset版本強(qiáng)相關(guān)實(shí)測中opset12到opset17之間是比較穩(wěn)妥的選擇太低會缺少一些算子實(shí)現(xiàn)太高則TensorRT解析時(shí)可能報(bào)Unsupported Operator。我在這個(gè)工程里推薦固定用opset12因?yàn)檫@個(gè)版本對TensorRT 8.x系列的兼容性最好。python export.py --weights yolov8s.pt --include onnx --opset 12 --simplify // 如果使用ultralytics YOLOv8 yolo export modelyolov8s.pt formatonnx opset12 simplifyTrue其次是動態(tài)軸的問題。YOLOv8導(dǎo)出ONNX時(shí)默認(rèn)是固定輸入尺寸比如640x640。如果你需要處理不同分辨率的輸入必須在導(dǎo)出時(shí)指定dynamicTrue或在export.py里設(shè)置動態(tài)軸。這里有一個(gè)容易被忽略的坑動態(tài)shape的ONNX轉(zhuǎn)換TensorRT時(shí)如果優(yōu)化配置沒寫好會導(dǎo)致生成的engine在某個(gè)輸入尺寸下推理報(bào)錯(cuò)。我這個(gè)工程包默認(rèn)固定640x640輸入原因有二一是YOLOv8訓(xùn)練時(shí)的mAP就是在640尺度下評估的改動輸入尺寸會影響檢測精度二是固定尺寸可以免除動態(tài)shape帶來的額外顯存開銷和優(yōu)化難度對初學(xué)者更友好。2.2 TensorRT的層融合與精度選擇策略O(shè)NNX模型拿到手后下一步就是轉(zhuǎn)成TensorRT engine。轉(zhuǎn)換的核心是TensorRT的層融合機(jī)制。如果不做任何優(yōu)化ONNX模型中Conv、BN、ReLU是三層獨(dú)立的計(jì)算。TensorRT會把ConvBNReLU融合成一個(gè)整體算子融合減少了內(nèi)核啟動的開銷和顯存讀寫次數(shù)。YOLOv8的C2f模塊中包含大量這種結(jié)構(gòu)融合率越高推理速度越快。引擎精度選擇是另一個(gè)關(guān)鍵決策。TensorRT支持FP32、FP16、INT8三種精度。FP32精度最穩(wěn)但加速效果有限。FP16通過半精度計(jì)算換來大約一倍的推理加速精度損失通?？梢院雎浴NT8需要額外的校準(zhǔn)步驟用一個(gè)校準(zhǔn)數(shù)據(jù)集統(tǒng)計(jì)每層激活值的分布把權(quán)重從FP32量化到INT8提速更猛但校準(zhǔn)不當(dāng)會造成顯著的精度退化。我的建議是桌面級GPUGTX 16系、RTX 20系以上優(yōu)先FP16嵌入式平臺Jetson系列可以嘗試INT8但務(wù)必用你的實(shí)際業(yè)務(wù)數(shù)據(jù)做校準(zhǔn)和mAP驗(yàn)證。轉(zhuǎn)換命令上直接使用trtexec工具是最方便的trtexec --onnxyolov8s.onnx --saveEngineyolov8s_fp16.engine --fp16 \ --minShapesimages:1x3x640x640 \ --optShapesimages:1x3x640x640 \ --maxShapesimages:1x3x640x640如果ONNX導(dǎo)出時(shí)選擇了動態(tài)shape這里就必須顯式指定minShapes、optShapes、maxShapes三組參數(shù)TensorRT會在這三個(gè)尺度的約束下做內(nèi)核優(yōu)化。固定shape輸入的話這三行參數(shù)可以省略。這一步轉(zhuǎn)換耗時(shí)取決于模型大小和GPU性能yolov8s在GTX 1660 Ti上大約需要1到2分鐘。3. C推理核心流程與關(guān)鍵代碼實(shí)現(xiàn)3.1 加載engine文件與顯存分配TensorRT engine文件加載這一塊很多人直接拿官方sample里的代碼就用了但理解每一步在干嘛很重要。engine文件本質(zhì)上是一個(gè)序列化后的推理圖包含網(wǎng)絡(luò)結(jié)構(gòu)、權(quán)重參數(shù)、以及針對當(dāng)前GPU平臺優(yōu)化后的內(nèi)核選擇。所以engine文件是跟GPU型號、TensorRT版本強(qiáng)相關(guān)的換了顯卡或升級了TensorRT后需要重新生成這是很多人容易忽視的坑。加載engine的核心代碼分三步走讀取engine文件到內(nèi)存、創(chuàng)建runtime和engine對象、創(chuàng)建execution context。后面這個(gè)execution context每個(gè)線程都要單獨(dú)創(chuàng)建不能共享。// 讀取engine文件 std::ifstream file(engine_path, std::ios::binary); std::vectorchar data(std::istreambuf_iteratorchar(file), {}); // 創(chuàng)建推理引擎 nvinfer1::IRuntime* runtime nvinfer1::createInferRuntime(gLogger); nvinfer1::ICudaEngine* engine runtime-deserializeCudaEngine(data.data(), data.size()); nvinfer1::IExecutionContext* context engine-createExecutionContext();顯存分配這塊有一個(gè)非常關(guān)鍵的設(shè)計(jì)思路input和output的GPU顯存緩沖區(qū)要一次性分配好不要在每次推理時(shí)反復(fù)分配和釋放。第一次推理前用cudaMalloc分配好輸入輸出緩沖區(qū)之后每次推理都用同一塊顯存只是更新內(nèi)容。這樣能省掉大量的cudaMalloc開銷在多幀連續(xù)推理時(shí)性能差距非常明顯。為什么這些緩沖區(qū)分兩層管理因?yàn)镃推理涉及CPU和GPU兩種內(nèi)存區(qū)域。CPU側(cè)需要你用std::vector或者普通數(shù)組存儲圖像數(shù)據(jù)再通過cudaMemcpy拷貝到GPU顯存GPU側(cè)則通過cudaMalloc分配的顯存指針傳給TensorRT API。這里要避免一個(gè)誤區(qū)不是直接把Mat數(shù)據(jù)傳給TensorRT就行OpenCV的Mat在CPU內(nèi)存里TensorRT拿不到必須顯式拷貝。3.2 前處理圖像縮放、歸一化與內(nèi)存布局轉(zhuǎn)換YOLOv8的前處理其實(shí)包含三個(gè)子任務(wù)letterbox等比例縮放、BGR到RGB轉(zhuǎn)換、HWC到CHW布局轉(zhuǎn)換加歸一化。letterbox我多說幾句。深度學(xué)習(xí)模型要求固定尺寸輸入但實(shí)際圖片寬高比五花八門。如果你直接把圖片拉伸縮放物體會變形檢測精度明顯下降。letterbox的做法是保持圖片寬高比不變按比例縮放到目標(biāo)尺寸的短邊然后用灰色像素填充剩余區(qū)域。比如一張1920x1080的圖片要縮放到640x640先按比例縮放到640x360然后在上下兩側(cè)各填140像素的灰邊?？s放到640后處理的是BGR三通道數(shù)據(jù)而模型訓(xùn)練時(shí)用的是RGB三通道。所以要先轉(zhuǎn)換通道順序。接著要做的歸一化模型訓(xùn)練時(shí)像素值會被除到0到1之間推理時(shí)也要保持一致。最后是內(nèi)存布局OpenCV讀出的Mat是HWC排列TensorRT要求的是CHW排列需要循環(huán)把數(shù)據(jù)重新排列。這三個(gè)步驟看起來簡單但實(shí)測中如果直接在CPU上逐像素循環(huán)做會消耗大量時(shí)間。更優(yōu)化的做法是第一步用cv::resize完成letterbox縮放第二步用cv::cvtColor處理BGR到RGB第三步通過循環(huán)做HWC到CHW轉(zhuǎn)換時(shí)順手完成除以255.0f的歸一化。這樣能把整個(gè)前處理壓到1到2毫秒以內(nèi)。如果你對性能還有更極致的要求可以嘗試用CUDA kernel把這幾步合并到GPU上不過對于大多數(shù)場景CPU端優(yōu)化就夠了。3.3 后處理從原始輸出到目標(biāo)框YOLOv8相比于YOLOv5有一個(gè)結(jié)構(gòu)上的變化它的輸出層直接是decode后的結(jié)果不再有anchor的概念。網(wǎng)絡(luò)輸出是一個(gè)1x84x8400的張量84的含義是4個(gè)框坐標(biāo)cx、cy、w、h 80個(gè)類別置信度8400是三個(gè)不同尺度特征圖80x80、40x40、20x20展平后的總數(shù)。后處理的第一步是把張量從CHW排列轉(zhuǎn)成更容易處理的形狀然后對每個(gè)anchor點(diǎn)提取其類別置信度用閾值過濾掉置信度低的候選框。YOLOv8的輸出中類別概率是不需要sigmoid的因?yàn)樵谟?xùn)練時(shí)就用了BCE loss和sigmoid的輸出設(shè)計(jì)導(dǎo)出時(shí)已經(jīng)把sigmoid融合到模型里了。這里和YOLOv5不一樣初學(xué)者容易多算一次sigmoid導(dǎo)致置信度異常。過濾完低置信度框后剩下來的候選框需要用NMS非極大值抑制去掉重復(fù)框。C里標(biāo)準(zhǔn)做法是先按置信度從高到低排序再依次計(jì)算IoU把和當(dāng)前框重疊度超過閾值的框刪掉。這個(gè)算法雖然簡單但當(dāng)目標(biāo)數(shù)量多時(shí)純CPU單線程的NMS可能成為瓶頸。一個(gè)簡單的優(yōu)化是在NMS前先按類別分組不同類別的框之間不需要做抑制這樣每組的數(shù)據(jù)量變小整體耗時(shí)能降低好幾倍。再進(jìn)一步可以使用GPU NMS插件但大多數(shù)業(yè)務(wù)場景下分組優(yōu)化的CPU NMS已經(jīng)夠用。3.4 異步推理與性能優(yōu)化技巧這個(gè)工程包中推理執(zhí)行用的是TensorRT的executeV2同步接口簡單直接。但當(dāng)你需要處理視頻流或者多路輸入時(shí)必須啟用異步推理。異步推理的核心是使用CUDA Stream讓數(shù)據(jù)拷貝和內(nèi)核執(zhí)行在時(shí)間上重疊。cudaStream_t stream; cudaStreamCreate(stream); // 異步拷貝輸入數(shù)據(jù)到GPU cudaMemcpyAsync(device_input, host_input, input_size, cudaMemcpyHostToDevice, stream); // 異步執(zhí)行推理不會阻塞CPU context-enqueueV2(bindings, stream, nullptr); // 異步將輸出拷回CPU cudaMemcpyAsync(host_output, device_output, output_size, cudaMemcpyDeviceToHost, stream); cudaStreamSynchronize(stream);使用異步推理后CPU可以在GPU執(zhí)行推理的同時(shí)進(jìn)行下一幀的預(yù)處理和上一幀的后處理。這種流水線機(jī)制能讓整體吞吐量提升30%到50%。工程包里如果只跑單張圖片測試同步接口沒問題但如果計(jì)劃接攝像頭視頻流一定要改成異步模式。4. 常見問題與排查技巧實(shí)錄4.1 編譯和運(yùn)行階段的常見報(bào)錯(cuò)這個(gè)工程包在發(fā)布前我做了多次從零到一的編譯驗(yàn)證但不同環(huán)境下還是會遇到各種問題。整理一下高頻報(bào)錯(cuò)方便大家對照排查。報(bào)錯(cuò)現(xiàn)象可能原因解決方式error: identifier cudaStream_t is undefined缺少CUDA頭文件路徑檢查CMakeLists中CUDA_INCLUDE_DIRS是否配置failed to create engineTensorRT版本與engine文件不匹配用trtexec重新生成engineAssertion failed: engine ! nullptrengine文件損壞或GPU不支持確認(rèn)engine文件名路徑確認(rèn)CUDA可用Segmentation fault輸入輸出buffer大小不符檢查bindings傳入指針是否為空或越界輸出結(jié)果全為0前處理歸一化錯(cuò)誤或模型輸入通道順序不對檢查RGB/BGR順序和歸一化參數(shù)最容易踩的雷是Visual C Redistributable版本太舊導(dǎo)致運(yùn)行時(shí)找不到CUDA相關(guān)DLL。Windows下用CUDA 11.x需要安裝對應(yīng)版本的Visual Studio運(yùn)行庫。Linux下比較容易出現(xiàn)的問題是gcc版本過老CUDA 11.x要求gcc 9以上Ubuntu 18.04默認(rèn)gcc 7.5編譯會直接報(bào)錯(cuò)。4.2 推理精度下降的排查思路FP16引擎推理時(shí)如果發(fā)現(xiàn)檢測框偏移、置信度異常優(yōu)先不要急著改代碼先確認(rèn)是不是精度模式的問題?？梢杂胻rtexec跑一遍同樣的輸入對比FP32和FP16的推理輸出差異。FP16精度下降的常見原因有三類一是模型本身對數(shù)值敏感某些層的輸出范圍很大半精度表示不了這么大的范圍二是某些特定層需要強(qiáng)制使用FP32計(jì)算TensorRT允許通過配置文件指定保持FP32精度的層三是輸入數(shù)據(jù)的數(shù)值范圍不對比如歸一化方式與引擎訓(xùn)練時(shí)的分布差異太大。實(shí)際項(xiàng)目中YOLOv8s轉(zhuǎn)FP16后精度損失通常在0.1%到0.3% mAP以內(nèi)肉眼幾乎分辨不出檢測差異。如果你的場景對精度極其敏感比如工業(yè)缺陷檢測建議先用FP32跑通再切換FP16做對比驗(yàn)證。4.3 性能瓶頸定位與優(yōu)化建議跑通了但發(fā)現(xiàn)速度不理想第一步要學(xué)會定位瓶頸。我常用的方法是分階段計(jì)時(shí)前處理、推理、后處理各打時(shí)間戳看時(shí)間花在哪。實(shí)測中常見的情況是前處理在CPU上耗時(shí)2毫秒、推理GPU耗時(shí)10毫秒、后處理CPU耗時(shí)8毫秒。很多人的直覺是推理最慢實(shí)際上后處理的NMS也不容忽視。優(yōu)化順序建議是先優(yōu)化后處理NMS的算法效率再考慮前處理是否可以用CUDA加速最后才是推理引擎本身的優(yōu)化。一個(gè)經(jīng)驗(yàn)數(shù)據(jù)YOLOv8s在640x640輸入下后處理CPU端如果不優(yōu)化NMS可能耗時(shí)5到10毫秒按類別分組優(yōu)化后能壓到1到2毫秒。這個(gè)收益比費(fèi)勁調(diào)TensorRT參數(shù)來得直接。另外顯存帶寬也是一個(gè)容易忽略的瓶頸。在GTX 1660 Ti這種GDDR6顯存帶寬只有192 GB/s的卡上FP16的算力優(yōu)勢會被顯存帶寬限制所以實(shí)際速度提升并沒有理論上那么大。如果追求極致性能推薦直接上RTX 3060或更高型號帶寬翻倍后FP16優(yōu)勢才能完全釋放。4.4 工程化的最后一步封裝與擴(kuò)展最后聊一下如何把這個(gè)工程包接入到自己的業(yè)務(wù)中。我建議在推理代碼外層再做一層封裝把輸入輸出定義成標(biāo)準(zhǔn)的數(shù)據(jù)結(jié)構(gòu)。例如輸入是cv::Mat圖像和推理參數(shù)置信度閾值、NMS閾值輸出是一組包含類別ID、置信度、坐標(biāo)框的DetectResult結(jié)構(gòu)體。這樣上層業(yè)務(wù)只依賴這個(gè)接口不管底層是TensorRT、OpenVINO還是ONNX Runtime都能保持無感切換。struct DetectResult { int class_id; float confidence; float x, y, w, h; // 原始圖像坐標(biāo)系下的目標(biāo)框 }; class YOLOv8Detector { public: explicit YOLOv8Detector(const std::string engine_path); std::vectorDetectResult detect(const cv::Mat image, float conf_thres, float iou_thres); };這套工程包的價(jià)值就在這里不只是給你一個(gè)能跑的demo而是把C推理工程化的關(guān)鍵環(huán)節(jié)都梳理清楚了。從模型轉(zhuǎn)換到代碼結(jié)構(gòu)從精度選擇到性能優(yōu)化每一步都有據(jù)可查你拿到手改一改就能用到自己的項(xiàng)目里。我在實(shí)際項(xiàng)目里就經(jīng)常先拿這種工程包做原型驗(yàn)證確認(rèn)效果后再根據(jù)業(yè)務(wù)需求做二次開發(fā)效率會高很多。本文還有配套的精品資源點(diǎn)擊獲取