換、CANN配置與性能調(diào)優(yōu))
前幾天有朋友問我Atlas 300V 24G到底是不是運(yùn)算加速卡能不能直接拿來部署YOLO問的人多了我覺得有必要把這塊卡和整套部署流程掰開揉碎講清楚。畢竟在AI推理領(lǐng)域NVIDIA的GPU幾乎是默認(rèn)選項(xiàng)但昇騰的Atlas系列在實(shí)際項(xiàng)目中出鏡率也不低尤其是推理場景性價(jià)比和功耗控制確實(shí)能打。我自己在Atlas 300V上跑過不止一個(gè)目標(biāo)檢測模型YOLOv5、YOLOv8都試過踩過不少坑也積累了一些可復(fù)用的經(jīng)驗(yàn)。這篇就把Atlas 300V 24G的硬件定位、推理卡和GPU的差異、YOLO模型轉(zhuǎn)換全流程、推理代碼寫法以及性能調(diào)優(yōu)這幾個(gè)關(guān)鍵點(diǎn)一次說透。如果你手上正好有這塊卡想讓它干活或者你正在做推理方案選型這篇應(yīng)該能幫你省不少時(shí)間。1. Atlas 300V 24G 到底是什么類型的卡1.1 它與GPU的核心區(qū)別先說結(jié)論Atlas 300V 24G是運(yùn)算加速卡但準(zhǔn)確叫法是AI推理加速卡。它和NVIDIA的GPU在定位上有本質(zhì)區(qū)別。GPU是通用并行計(jì)算芯片既能訓(xùn)練又能推理而Atlas 300V 基于昇騰310P芯片專為推理場景設(shè)計(jì)核心目標(biāo)是在盡量低的功耗下實(shí)現(xiàn)高吞吐、低延遲的神經(jīng)網(wǎng)絡(luò)推理。從硬件規(guī)格看這塊卡的功耗只有72W左右不需要外接獨(dú)立供電插上PCIe插槽就能跑24G顯存版本還提供了大容量內(nèi)存可以直接加載較大模型或支撐較高batch的推理請求。對比NVIDIA的T470W和A10150WAtlas 300V在功耗上處于相近量級但其內(nèi)部算力單元是AI Core而不是CUDA Core。這意味著你沒法直接運(yùn)行CUDA程序所有算子都需要通過CANN工具鏈轉(zhuǎn)換和調(diào)度。實(shí)際項(xiàng)目中這塊卡最常見的應(yīng)用場景是視頻流分析、工業(yè)質(zhì)檢、邊緣計(jì)算節(jié)點(diǎn)。因?yàn)樗牡汀Ⅲw積小、24G顯存能扛住不少模型所以在一些對功耗敏感、對實(shí)時(shí)性有要求的邊緣設(shè)備里非常流行。1.2 24G大顯存版本的獨(dú)特價(jià)值很多人第一次看到“24G”會以為這是對標(biāo)RTX 3090之類的顯卡其實(shí)不是。Atlas 300V 24G的大顯存主要解決的是推理側(cè)的容量問題。推理階段雖然不像訓(xùn)練那樣需要保存梯度、優(yōu)化器狀態(tài)但有一些場景確實(shí)需要大顯存一是大batch推理一次處理32路甚至64路視頻幀時(shí)中間張量累積量很大二是像YOLO這種帶多尺度輸出的模型特征圖數(shù)量多顯存占用會陡增。我實(shí)測下來YOLOv5s模型在batch1條件下峰值顯存大概用到1.2G左右batch16時(shí)能到8-10G。如果是YOLOv5m或者處理4K分辨率輸入24G顯存就很有必要了。換個(gè)角度說24G版本給了你在模型大小、輸入分辨率、batch size三個(gè)維度上更大的調(diào)節(jié)空間不用因?yàn)轱@存不夠而犧牲效果。2. 部署YOLO前的環(huán)境準(zhǔn)備2.1 驅(qū)動(dòng)與CANN工具鏈安裝Atlas 300V 的邏輯架構(gòu)決定了它無法像GPU那樣裝上CUDA就能跑必須依賴華為的CANNCompute Architecture for Neural Networks工具鏈。CANN 的功能對標(biāo)CUDA但它干的事更多——從算子庫、圖編譯、內(nèi)存管理到推理運(yùn)行時(shí)全包了?？梢哉f沒有CANNAtlas卡就是一塊“磚”。安裝時(shí)要注意版本匹配。我自己用的組合是Atlas 300V 固件 驅(qū)動(dòng)版本22.0.4 CANN Toolkit 5.1.RC2 CANN Kernels包。這套組合在Ubuntu 20.04 x86架構(gòu)上跑得很穩(wěn)。安裝順序一般是先裝驅(qū)動(dòng)和固件重啟后裝CANN Toolkit再裝Kernels包。如果你用Docker部署還需要裝Ascend Docker Runtime。安裝完成后用npu-smi info命令檢查卡狀態(tài)能看到芯片溫度、顯存使用率、算力利用率等信息。這一步不要跳過很多人后面跑不起來都是卡在驅(qū)動(dòng)異?；蛘吖碳姹具^舊而npu-smi一眼就能看出問題。# 檢查NPU是否正常識別 npu-smi info正常輸出會顯示設(shè)備列表和詳細(xì)狀態(tài)。如果顯示設(shè)備不存在或者驅(qū)動(dòng)版本不匹配先處理驅(qū)動(dòng)層問題再往下走不要一上來就折騰模型。2.2 部署方案的選型邏輯CANN工具鏈提供了多種推理方案最底層的是ACLAscend Computing Language接口相當(dāng)于CUDA Runtime再往上還有MindX SDK、MindSpore推理框架等。對YOLO這類模型我的建議是不要偷懶直接用MindX的現(xiàn)成pipeline盡量自己基于ACL Python API寫推理腳本。原因有兩個(gè)。第一MindX SDK雖然封裝好了一條龍流程但它的YOLO后處理對應(yīng)的是他們官方導(dǎo)出的模型結(jié)構(gòu)你自己從PyTorch轉(zhuǎn)出來的ONNX很多時(shí)候?qū)Σ簧纤暮筇幚磉壿嫷诙肁CL接口寫整個(gè)數(shù)據(jù)流——從圖像預(yù)處理到模型推理再到輸出解析——全在自己手里控制出了問題容易定位。ACL Python API的完整調(diào)用鏈包括acl.init、acl.rt.set_device、acl.rt.create_context、加載模型、創(chuàng)建輸入輸出Dataset、執(zhí)行推理、釋放資源。整個(gè)過程和CUDA的context管理思路很接近有過GPU編程經(jīng)驗(yàn)的人上手會很快。3. YOLOv5模型轉(zhuǎn)換與OM生成3.1 從PyTorch權(quán)重到ONNXAtlas推理卡不認(rèn)識PyTorch的pt權(quán)重也不能直接吃O(shè)NNX必須轉(zhuǎn)成OMOffline Model格式。這個(gè)轉(zhuǎn)換由ATC工具完成但ONNX文件的質(zhì)量決定了一次性轉(zhuǎn)換成功率。第一步把YOLOv5的pt權(quán)重轉(zhuǎn)成ONNX。推薦在YOLOv5官方倉庫的export.py基礎(chǔ)上做少量修改核心導(dǎo)出命令python export.py --weights yolov5s.pt --include onnx --img-size 640 640 --batch-size 1 --dynamic False這里有幾個(gè)關(guān)鍵點(diǎn)固定輸入尺寸。ATC對動(dòng)態(tài)shape的支持不太好雖然新版本CANN支持動(dòng)態(tài)batch和動(dòng)態(tài)分辨率但代價(jià)是推理性能下降。如果不是必要固定成640x640就好。關(guān)閉dynamic。--dynamic False避免輸出dynamic axes否則轉(zhuǎn)OM時(shí)容易出現(xiàn)算子不支持的問題。導(dǎo)出完成后用ONNX Runtime驗(yàn)證一下輸出維度確認(rèn)是[1, 25200, 85]這種標(biāo)準(zhǔn)格式。驗(yàn)證ONNX的代碼很簡單import onnxruntime import numpy as np session onnxruntime.InferenceSession(yolov5s.onnx) input_shape session.get_inputs()[0].shape output_shape session.get_outputs()[0].shape print(Input shape:, input_shape) print(Output shape:, output_shape)如果輸出shape不對或者導(dǎo)出過程報(bào)錯(cuò)優(yōu)先檢查PyTorch版本和torch.onnx的兼容性。我遇到過導(dǎo)出ONNX時(shí)一切正常、但在ATC轉(zhuǎn)換時(shí)報(bào)Transpose算子不支持的情況后來發(fā)現(xiàn)是YOLOv5的某些版本導(dǎo)出邏輯和多batch支持代碼沖突換了個(gè)版本就解決了。3.2 ATC轉(zhuǎn)換的完整指令與參數(shù)解讀ONNX轉(zhuǎn)OM的核心命令atc --modelyolov5s.onnx \ --framework5 \ --outputyolov5s_bs1 \ --input_shapeimages:1,3,640,640 \ --soc_versionAscend310P3 \ --insert_op_confaipp.cfg \ --output_typeFP16 \ --loginfo逐行拆解關(guān)鍵參數(shù)framework5固定值表示輸入模型是ONNX。soc_versionAscend310P3指定芯片型號。Atlas 300V對應(yīng)昇騰310P系列具體是P1還是P3用npu-smi info查詢確認(rèn)。這個(gè)參數(shù)寫錯(cuò)轉(zhuǎn)換會直接失敗。insert_op_confaipp.cfgAIPPAI PreProcessing配置文件用來把圖像預(yù)處理操作如resize、歸一化、顏色空間轉(zhuǎn)換合并到模型里。最簡單的AIPP配置如下aipp_op { aipp_mode: static input_format: RGB888_U8 src_image_size_w: 640 src_image_size_h: 640 csc_switch: true rbuv_swap_switch: false min_quant: 0 max_quant: 255 }AIPP配置的核心作用是讓預(yù)處理“零成本”執(zhí)行在AI Core上避免CPU反復(fù)做resize和歸一化。我第一次沒加AIPP跑出來的推理延遲是加了之后的2.3倍差距非常大。output_typeFP16推理精度設(shè)為FP16。昇騰310P對FP16的支持很成熟精度損失在可接受范圍內(nèi)。除非你的模型對精度極其敏感否則建議用FP16推理速度能提升明顯。轉(zhuǎn)換成功后目錄下會生成yolov5s_bs1.om文件。同時(shí)建議用ATC自帶的om模型信息查看工具驗(yàn)證一下om_info --modelyolov5s_bs1.om4. 推理代碼的實(shí)現(xiàn)要點(diǎn)4.1 ACL資源初始化與模型加載拿到OM文件后接下來用ACL Python API寫推理腳本。核心流程我整理成可直接套用的框架import acl import numpy as np import cv2 # 初始化 ret acl.init() ret acl.rt.set_device(0) context, ret acl.rt.create_context(0) # 加載模型 model_path byolov5s_bs1.om model_id, ret acl.mdl.load_from_file(model_path) # 獲取模型描述信息用于創(chuàng)建輸入輸出數(shù)據(jù)集 model_desc acl.mdl.create_desc() ret acl.mdl.get_desc(model_desc, model_id) input_size acl.mdl.get_num_inputs(model_desc) output_size acl.mdl.get_num_outputs(model_desc)這里有個(gè)容易忽略的細(xì)節(jié)ACL的Python接口里很多接收字符串的函數(shù)要求bytes類型直接傳str會報(bào)類型錯(cuò)誤。類似model_path byolov5s_bs1.om這種寫法是踩過坑才記住的。模型加載完成后必須根據(jù)模型描述創(chuàng)建輸入輸出的Dataset。每個(gè)輸入輸出都需要申請?jiān)O(shè)備內(nèi)存并綁定到DataBuffer上# 創(chuàng)建輸入輸出dataset input_dataset acl.mdl.create_dataset() output_dataset acl.mdl.create_dataset() # 以輸入為例申請?jiān)O(shè)備內(nèi)存 input_data np.random.randint(0, 255, (1, 3, 640, 640), dtypenp.uint8) input_ptr acl.util.numpy_to_ptr(input_data) input_buffer_size input_data.size * input_data.dtype.itemsize input_buffer acl.rt.malloc(input_buffer_size, 2) acl.rt.memcpy(input_buffer, input_buffer_size, input_ptr, input_buffer_size, 1) acl.mdl.add_dataset_buffer(input_dataset, input_buffer) # 輸出需要先查詢輸出尺寸再分配內(nèi)存 output_dim acl.mdl.get_output_size_by_index(model_desc, 0) output_buffer acl.rt.malloc(output_dim, 2) acl.mdl.add_dataset_buffer(output_dataset, output_buffer)推理調(diào)用本身只有一行ret acl.mdl.execute(model_id, input_dataset, output_dataset)執(zhí)行完之后從輸出buffer里取數(shù)據(jù)轉(zhuǎn)成numpy繼續(xù)做后處理。記住整個(gè)流程結(jié)束前必須按順序釋放資源先釋放輸出和輸入buffer再銷毀datasetunload模型銷毀context最后acl.finalize()。不釋放資源的話長時(shí)間循環(huán)推理會內(nèi)存泄漏跑一段時(shí)間后顯存就滿了。4.2 圖像預(yù)處理與后處理邏輯由于AIPP接管了部分預(yù)處理代碼里只需要做raw數(shù)據(jù)的對齊和填充。具體來說在送入模型前把圖像resize到640x640并補(bǔ)齊到RGB888格式即可def preprocess(image_path): img cv2.imread(image_path) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img cv2.resize(img, (640, 640)) # 轉(zhuǎn)成NCHW格式的uint8數(shù)組 img np.transpose(img, (2, 0, 1)) img np.expand_dims(img, axis0).copy() return img注意這里返回的是uint8類型而不是float。因?yàn)锳IPP配置里已經(jīng)寫了歸一化和顏色轉(zhuǎn)換AI Core會自己處理量化送到模型輸入口的直接是原始像素值即可。如果你不配置AIPP那就得在CPU側(cè)自己做完歸一化再輸入耗時(shí)增加明顯。YOLOv5輸出層的原始數(shù)據(jù)形式是[1, 25200, 85]其中25200 3×(80×8040×4020×20)對應(yīng)三個(gè)檢測尺度的anchor數(shù)量85 4個(gè)邊框坐標(biāo) 1個(gè)置信度 80個(gè)類別概率。后處理要做的事是首先把每個(gè)anchor的坐標(biāo)還原到原圖尺寸然后通過置信度閾值篩選候選框再做NMS去掉重疊框最后輸出框坐標(biāo)、類別和置信度。這段后處理邏輯和GPU版本沒有任何區(qū)別核心點(diǎn)是用向量化操作而不是for循環(huán)遍歷所有anchor否則Python跑25200個(gè)候選框的NMS會慢到懷疑人生。建議直接用numpy做置信度過濾候選框數(shù)量降到幾百個(gè)之后再做NMS計(jì)算量差距非常大。5. 性能調(diào)優(yōu)與實(shí)測數(shù)據(jù)5.1 關(guān)鍵調(diào)優(yōu)參數(shù)很多人在Atlas上跑YOLO發(fā)現(xiàn)速度不理想第一反應(yīng)是卡不行其實(shí)大部分情況下是配置沒調(diào)對。我總結(jié)下來影響推理性能的因素按優(yōu)先級排列如下第一是否啟用了AIPP。不啟用AIPPCPU做預(yù)處理推理延遲高30%以上前面已經(jīng)提過。第二輸出數(shù)據(jù)類型。ATC轉(zhuǎn)換時(shí)建議加output_typeFP16讓輸出直接是FP16后處理時(shí)再轉(zhuǎn)float32能省一部分帶寬。第三是否使用異步推理。ACL的acl.mdl.execute_async配合stream可以實(shí)現(xiàn)多路輸入并行處理IPC視頻流場景必須用異步。我自己用同步方式跑單路視頻流時(shí)CPU占用率不高但延遲大概多出2ms左右。異步執(zhí)行的核心代碼# 創(chuàng)建stream stream acl.rt.create_stream() # 回調(diào)函數(shù) def callback(data): print(inference done) # 設(shè)置回調(diào)或輪詢 ret acl.mdl.execute_async(model_id, input_dataset, output_dataset, stream, callback) # 同步等待stream完成 acl.rt.synchronize_stream(stream)第四多batch。YOLOv5s在batch1時(shí)Atlas 300V 的AI Core利用率不高很多算力在空等。把batch加到4或8吞吐量能翻接近一倍。batch4 轉(zhuǎn)換命令只需改--input_shapeimages:4,3,640,640代碼里輸入數(shù)據(jù)改成堆疊4幀即可。5.2 實(shí)測性能參考我基于CANN 5.1.RC2 實(shí)測過一組數(shù)據(jù)分辨率640x640FP16精度模型batch單幀延遲(ms)吞吐(FPS)顯存占用YOLOv5s18.51181.2GYOLOv5s412.03333.8GYOLOv5m117.2582.4GYOLOv5m425.61566.1GYOLOv8s110.8921.5G注以上數(shù)據(jù)來自我自己的服務(wù)器環(huán)境實(shí)際數(shù)值會因驅(qū)動(dòng)版本、CANN版本、CPU能力不同有所浮動(dòng)。整體看Atlas 300V 24G在單卡推理性能和T4大致處于同一水平線但24G顯存帶來的大batch能力是它明顯的長板。如果項(xiàng)目里需要同時(shí)處理多路視頻流又不方便堆多張卡24G版本比8G版本更適合。6. 常見報(bào)錯(cuò)與排查手記6.1 模型轉(zhuǎn)換類問題報(bào)錯(cuò)AE10001: Module not found找不到自定義算子YOLOv5導(dǎo)出ONNX時(shí)某些版本會引入自定義算子或者不支持的算子典型如SiLU在某些舊CANN版本上不支持。解決辦法一是升級CANN版本到5.1以上昇騰310P對SiLU的支持在5.0.2之后趨于完善二是通過ATC的--enable_small_channel1開啟小通道優(yōu)化部分算子會被替換成等效實(shí)現(xiàn)。報(bào)錯(cuò)BAIPP配置報(bào)錯(cuò)AIPP配置里src_image_size_w和src_image_size_h必須與模型輸入shape一致。如果你把模型轉(zhuǎn)成了320x320但AIPP還寫著640x640ATC轉(zhuǎn)換就會直接報(bào)錯(cuò)。還有csc_switch需要和你模型訓(xùn)練時(shí)的顏色空間保持一致YOLO訓(xùn)練時(shí)用的是RGB這里就配RGB888_U8不要配BGR。報(bào)錯(cuò)Csoc_version不匹配這個(gè)報(bào)錯(cuò)最常見也最致命。用錯(cuò)soc_version轉(zhuǎn)換流程根本走不完。升騰310P系列包括Ascend310P1、Ascend310P3不同型號的算子庫有差異。最穩(wěn)妥的辦法是在板卡上跑npu-smi info看里面的Chip Type字段直接對應(yīng)到soc_version。6.2 推理結(jié)果類問題問題A檢測框位置偏移但能檢出物體典型原因AIPP里的顏色空間轉(zhuǎn)換配置和訓(xùn)練時(shí)不一致或輸入圖像沒有做letterbox導(dǎo)致寬高比變形。YOLOv5訓(xùn)練前默認(rèn)會把圖像做letterbox處理推理時(shí)直接resize到640x640會讓長寬比失真檢測框自然偏。正確做法是預(yù)處理時(shí)先letterbox在長邊補(bǔ)齊后再縮放后處理還原坐標(biāo)時(shí)需要減去padding偏移。問題B推理結(jié)果全黑或者全空通常是輸出數(shù)據(jù)取錯(cuò)了位置。ACL的輸出buffer是設(shè)備內(nèi)存必須先用acl.rt.memcpy拷回主機(jī)內(nèi)存再轉(zhuǎn)成numpy。如果直接對設(shè)備內(nèi)存做numpy轉(zhuǎn)換拿到的全是垃圾數(shù)據(jù)。我還遇到過一個(gè)情況是模型輸出的維度不是[1,25200,85]而是[1,3,80,80,85]這種分尺度的形式需要在后處理里先reshape再拼接。問題C連續(xù)推理后顯存溢出資源沒釋放是頭號嫌疑。檢查每輪推理結(jié)束后是否執(zhí)行了acl.rt.free和acl.rt.destroy_stream。另一個(gè)隱蔽問題是在循環(huán)里反復(fù)調(diào)用acl.mdl.create_desc和acl.mdl.get_desc這個(gè)操作開銷很大且會累積內(nèi)存碎片。正確的做法是把模型描述信息在初始化階段一次性讀取存成全局變量復(fù)用。7. 一些心得與建議Atlas 300V 24G在推理側(cè)的潛力很多人還沒完全挖掘出來。我見過不少團(tuán)隊(duì)拿到卡之后因?yàn)椴渴鹆鞒滩粔蝽樆蛽Q回GPU其實(shí)只要把前面這幾個(gè)環(huán)節(jié)打通它的性能和穩(wěn)定性都不差。尤其在大batch場景里24G顯存是一個(gè)很實(shí)用的優(yōu)勢。給你幾條實(shí)操層面的建議一是初始方案盡量沿用PyTorch的部署思路先用ACL跑通一條最小鏈路再逐步加AIPP、異步、多batch二是ATC的日志要留好模型轉(zhuǎn)換失敗時(shí)很多時(shí)候日志中間幾行就藏著真正的算子問題不要只盯著最后的ERROR行三是板卡的npu-smi info是你判斷性能瓶頸的窗口如果AI Core利用率上不去多半是預(yù)處理或數(shù)據(jù)拷貝拖了后腿。以后如果你想在這塊卡上跑更重的模型比如YOLOv8x或者一些端側(cè)檢測模型思路也是一樣的導(dǎo)出ONNX、檢查算子兼容性、調(diào)AIPP、按需開多batch。Atlas的算子生態(tài)現(xiàn)在覆蓋的場景越來越廣社區(qū)里能參考的案例也越來越多真正把這條鏈路跑通之后你會發(fā)現(xiàn)推理部署這件事?lián)Q硬件平臺也沒有想象中那么麻煩。 Atlas 300V 24G推理卡部署YOLO全流程：模型轉(zhuǎn)換、CANN配置與性能調(diào)優(yōu)
前幾天有朋友問我Atlas 300V 24G到底是不是運(yùn)算加速卡能不能直接拿來部署YOLO問的人多了我覺得有必要把這塊卡和整套部署流程掰開揉碎講清楚。畢竟在AI推理領(lǐng)域NVIDIA的GPU幾乎是默認(rèn)選項(xiàng)但昇騰的Atlas系列在實(shí)際項(xiàng)目中出鏡率也不低尤其是推理場景性價(jià)比和功耗控制確實(shí)能打。我自己在Atlas 300V上跑過不止一個(gè)目標(biāo)檢測模型YOLOv5、YOLOv8都試過踩過不少坑也積累了一些可復(fù)用的經(jīng)驗(yàn)。這篇就把Atlas 300V 24G的硬件定位、推理卡和GPU的差異、YOLO模型轉(zhuǎn)換全流程、推理代碼寫法以及性能調(diào)優(yōu)這幾個(gè)關(guān)鍵點(diǎn)一次說透。如果你手上正好有這塊卡想讓它干活或者你正在做推理方案選型這篇應(yīng)該能幫你省不少時(shí)間。1. Atlas 300V 24G 到底是什么類型的卡1.1 它與GPU的核心區(qū)別先說結(jié)論Atlas 300V 24G是運(yùn)算加速卡但準(zhǔn)確叫法是AI推理加速卡。它和NVIDIA的GPU在定位上有本質(zhì)區(qū)別。GPU是通用并行計(jì)算芯片既能訓(xùn)練又能推理而Atlas 300V 基于昇騰310P芯片專為推理場景設(shè)計(jì)核心目標(biāo)是在盡量低的功耗下實(shí)現(xiàn)高吞吐、低延遲的神經(jīng)網(wǎng)絡(luò)推理。從硬件規(guī)格看這塊卡的功耗只有72W左右不需要外接獨(dú)立供電插上PCIe插槽就能跑24G顯存版本還提供了大容量內(nèi)存可以直接加載較大模型或支撐較高batch的推理請求。對比NVIDIA的T470W和A10150WAtlas 300V在功耗上處于相近量級但其內(nèi)部算力單元是AI Core而不是CUDA Core。這意味著你沒法直接運(yùn)行CUDA程序所有算子都需要通過CANN工具鏈轉(zhuǎn)換和調(diào)度。實(shí)際項(xiàng)目中這塊卡最常見的應(yīng)用場景是視頻流分析、工業(yè)質(zhì)檢、邊緣計(jì)算節(jié)點(diǎn)。因?yàn)樗牡汀Ⅲw積小、24G顯存能扛住不少模型所以在一些對功耗敏感、對實(shí)時(shí)性有要求的邊緣設(shè)備里非常流行。1.2 24G大顯存版本的獨(dú)特價(jià)值很多人第一次看到“24G”會以為這是對標(biāo)RTX 3090之類的顯卡其實(shí)不是。Atlas 300V 24G的大顯存主要解決的是推理側(cè)的容量問題。推理階段雖然不像訓(xùn)練那樣需要保存梯度、優(yōu)化器狀態(tài)但有一些場景確實(shí)需要大顯存一是大batch推理一次處理32路甚至64路視頻幀時(shí)中間張量累積量很大二是像YOLO這種帶多尺度輸出的模型特征圖數(shù)量多顯存占用會陡增。我實(shí)測下來YOLOv5s模型在batch1條件下峰值顯存大概用到1.2G左右batch16時(shí)能到8-10G。如果是YOLOv5m或者處理4K分辨率輸入24G顯存就很有必要了。換個(gè)角度說24G版本給了你在模型大小、輸入分辨率、batch size三個(gè)維度上更大的調(diào)節(jié)空間不用因?yàn)轱@存不夠而犧牲效果。2. 部署YOLO前的環(huán)境準(zhǔn)備2.1 驅(qū)動(dòng)與CANN工具鏈安裝Atlas 300V 的邏輯架構(gòu)決定了它無法像GPU那樣裝上CUDA就能跑必須依賴華為的CANNCompute Architecture for Neural Networks工具鏈。CANN 的功能對標(biāo)CUDA但它干的事更多——從算子庫、圖編譯、內(nèi)存管理到推理運(yùn)行時(shí)全包了?？梢哉f沒有CANNAtlas卡就是一塊“磚”。安裝時(shí)要注意版本匹配。我自己用的組合是Atlas 300V 固件 驅(qū)動(dòng)版本22.0.4 CANN Toolkit 5.1.RC2 CANN Kernels包。這套組合在Ubuntu 20.04 x86架構(gòu)上跑得很穩(wěn)。安裝順序一般是先裝驅(qū)動(dòng)和固件重啟后裝CANN Toolkit再裝Kernels包。如果你用Docker部署還需要裝Ascend Docker Runtime。安裝完成后用npu-smi info命令檢查卡狀態(tài)能看到芯片溫度、顯存使用率、算力利用率等信息。這一步不要跳過很多人后面跑不起來都是卡在驅(qū)動(dòng)異?；蛘吖碳姹具^舊而npu-smi一眼就能看出問題。# 檢查NPU是否正常識別 npu-smi info正常輸出會顯示設(shè)備列表和詳細(xì)狀態(tài)。如果顯示設(shè)備不存在或者驅(qū)動(dòng)版本不匹配先處理驅(qū)動(dòng)層問題再往下走不要一上來就折騰模型。2.2 部署方案的選型邏輯CANN工具鏈提供了多種推理方案最底層的是ACLAscend Computing Language接口相當(dāng)于CUDA Runtime再往上還有MindX SDK、MindSpore推理框架等。對YOLO這類模型我的建議是不要偷懶直接用MindX的現(xiàn)成pipeline盡量自己基于ACL Python API寫推理腳本。原因有兩個(gè)。第一MindX SDK雖然封裝好了一條龍流程但它的YOLO后處理對應(yīng)的是他們官方導(dǎo)出的模型結(jié)構(gòu)你自己從PyTorch轉(zhuǎn)出來的ONNX很多時(shí)候?qū)Σ簧纤暮筇幚磉壿嫷诙肁CL接口寫整個(gè)數(shù)據(jù)流——從圖像預(yù)處理到模型推理再到輸出解析——全在自己手里控制出了問題容易定位。ACL Python API的完整調(diào)用鏈包括acl.init、acl.rt.set_device、acl.rt.create_context、加載模型、創(chuàng)建輸入輸出Dataset、執(zhí)行推理、釋放資源。整個(gè)過程和CUDA的context管理思路很接近有過GPU編程經(jīng)驗(yàn)的人上手會很快。3. YOLOv5模型轉(zhuǎn)換與OM生成3.1 從PyTorch權(quán)重到ONNXAtlas推理卡不認(rèn)識PyTorch的pt權(quán)重也不能直接吃O(shè)NNX必須轉(zhuǎn)成OMOffline Model格式。這個(gè)轉(zhuǎn)換由ATC工具完成但ONNX文件的質(zhì)量決定了一次性轉(zhuǎn)換成功率。第一步把YOLOv5的pt權(quán)重轉(zhuǎn)成ONNX。推薦在YOLOv5官方倉庫的export.py基礎(chǔ)上做少量修改核心導(dǎo)出命令python export.py --weights yolov5s.pt --include onnx --img-size 640 640 --batch-size 1 --dynamic False這里有幾個(gè)關(guān)鍵點(diǎn)固定輸入尺寸。ATC對動(dòng)態(tài)shape的支持不太好雖然新版本CANN支持動(dòng)態(tài)batch和動(dòng)態(tài)分辨率但代價(jià)是推理性能下降。如果不是必要固定成640x640就好。關(guān)閉dynamic。--dynamic False避免輸出dynamic axes否則轉(zhuǎn)OM時(shí)容易出現(xiàn)算子不支持的問題。導(dǎo)出完成后用ONNX Runtime驗(yàn)證一下輸出維度確認(rèn)是[1, 25200, 85]這種標(biāo)準(zhǔn)格式。驗(yàn)證ONNX的代碼很簡單import onnxruntime import numpy as np session onnxruntime.InferenceSession(yolov5s.onnx) input_shape session.get_inputs()[0].shape output_shape session.get_outputs()[0].shape print(Input shape:, input_shape) print(Output shape:, output_shape)如果輸出shape不對或者導(dǎo)出過程報(bào)錯(cuò)優(yōu)先檢查PyTorch版本和torch.onnx的兼容性。我遇到過導(dǎo)出ONNX時(shí)一切正常、但在ATC轉(zhuǎn)換時(shí)報(bào)Transpose算子不支持的情況后來發(fā)現(xiàn)是YOLOv5的某些版本導(dǎo)出邏輯和多batch支持代碼沖突換了個(gè)版本就解決了。3.2 ATC轉(zhuǎn)換的完整指令與參數(shù)解讀ONNX轉(zhuǎn)OM的核心命令atc --modelyolov5s.onnx \ --framework5 \ --outputyolov5s_bs1 \ --input_shapeimages:1,3,640,640 \ --soc_versionAscend310P3 \ --insert_op_confaipp.cfg \ --output_typeFP16 \ --loginfo逐行拆解關(guān)鍵參數(shù)framework5固定值表示輸入模型是ONNX。soc_versionAscend310P3指定芯片型號。Atlas 300V對應(yīng)昇騰310P系列具體是P1還是P3用npu-smi info查詢確認(rèn)。這個(gè)參數(shù)寫錯(cuò)轉(zhuǎn)換會直接失敗。insert_op_confaipp.cfgAIPPAI PreProcessing配置文件用來把圖像預(yù)處理操作如resize、歸一化、顏色空間轉(zhuǎn)換合并到模型里。最簡單的AIPP配置如下aipp_op { aipp_mode: static input_format: RGB888_U8 src_image_size_w: 640 src_image_size_h: 640 csc_switch: true rbuv_swap_switch: false min_quant: 0 max_quant: 255 }AIPP配置的核心作用是讓預(yù)處理“零成本”執(zhí)行在AI Core上避免CPU反復(fù)做resize和歸一化。我第一次沒加AIPP跑出來的推理延遲是加了之后的2.3倍差距非常大。output_typeFP16推理精度設(shè)為FP16。昇騰310P對FP16的支持很成熟精度損失在可接受范圍內(nèi)。除非你的模型對精度極其敏感否則建議用FP16推理速度能提升明顯。轉(zhuǎn)換成功后目錄下會生成yolov5s_bs1.om文件。同時(shí)建議用ATC自帶的om模型信息查看工具驗(yàn)證一下om_info --modelyolov5s_bs1.om4. 推理代碼的實(shí)現(xiàn)要點(diǎn)4.1 ACL資源初始化與模型加載拿到OM文件后接下來用ACL Python API寫推理腳本。核心流程我整理成可直接套用的框架import acl import numpy as np import cv2 # 初始化 ret acl.init() ret acl.rt.set_device(0) context, ret acl.rt.create_context(0) # 加載模型 model_path byolov5s_bs1.om model_id, ret acl.mdl.load_from_file(model_path) # 獲取模型描述信息用于創(chuàng)建輸入輸出數(shù)據(jù)集 model_desc acl.mdl.create_desc() ret acl.mdl.get_desc(model_desc, model_id) input_size acl.mdl.get_num_inputs(model_desc) output_size acl.mdl.get_num_outputs(model_desc)這里有個(gè)容易忽略的細(xì)節(jié)ACL的Python接口里很多接收字符串的函數(shù)要求bytes類型直接傳str會報(bào)類型錯(cuò)誤。類似model_path byolov5s_bs1.om這種寫法是踩過坑才記住的。模型加載完成后必須根據(jù)模型描述創(chuàng)建輸入輸出的Dataset。每個(gè)輸入輸出都需要申請?jiān)O(shè)備內(nèi)存并綁定到DataBuffer上# 創(chuàng)建輸入輸出dataset input_dataset acl.mdl.create_dataset() output_dataset acl.mdl.create_dataset() # 以輸入為例申請?jiān)O(shè)備內(nèi)存 input_data np.random.randint(0, 255, (1, 3, 640, 640), dtypenp.uint8) input_ptr acl.util.numpy_to_ptr(input_data) input_buffer_size input_data.size * input_data.dtype.itemsize input_buffer acl.rt.malloc(input_buffer_size, 2) acl.rt.memcpy(input_buffer, input_buffer_size, input_ptr, input_buffer_size, 1) acl.mdl.add_dataset_buffer(input_dataset, input_buffer) # 輸出需要先查詢輸出尺寸再分配內(nèi)存 output_dim acl.mdl.get_output_size_by_index(model_desc, 0) output_buffer acl.rt.malloc(output_dim, 2) acl.mdl.add_dataset_buffer(output_dataset, output_buffer)推理調(diào)用本身只有一行ret acl.mdl.execute(model_id, input_dataset, output_dataset)執(zhí)行完之后從輸出buffer里取數(shù)據(jù)轉(zhuǎn)成numpy繼續(xù)做后處理。記住整個(gè)流程結(jié)束前必須按順序釋放資源先釋放輸出和輸入buffer再銷毀datasetunload模型銷毀context最后acl.finalize()。不釋放資源的話長時(shí)間循環(huán)推理會內(nèi)存泄漏跑一段時(shí)間后顯存就滿了。4.2 圖像預(yù)處理與后處理邏輯由于AIPP接管了部分預(yù)處理代碼里只需要做raw數(shù)據(jù)的對齊和填充。具體來說在送入模型前把圖像resize到640x640并補(bǔ)齊到RGB888格式即可def preprocess(image_path): img cv2.imread(image_path) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img cv2.resize(img, (640, 640)) # 轉(zhuǎn)成NCHW格式的uint8數(shù)組 img np.transpose(img, (2, 0, 1)) img np.expand_dims(img, axis0).copy() return img注意這里返回的是uint8類型而不是float。因?yàn)锳IPP配置里已經(jīng)寫了歸一化和顏色轉(zhuǎn)換AI Core會自己處理量化送到模型輸入口的直接是原始像素值即可。如果你不配置AIPP那就得在CPU側(cè)自己做完歸一化再輸入耗時(shí)增加明顯。YOLOv5輸出層的原始數(shù)據(jù)形式是[1, 25200, 85]其中25200 3×(80×8040×4020×20)對應(yīng)三個(gè)檢測尺度的anchor數(shù)量85 4個(gè)邊框坐標(biāo) 1個(gè)置信度 80個(gè)類別概率。后處理要做的事是首先把每個(gè)anchor的坐標(biāo)還原到原圖尺寸然后通過置信度閾值篩選候選框再做NMS去掉重疊框最后輸出框坐標(biāo)、類別和置信度。這段后處理邏輯和GPU版本沒有任何區(qū)別核心點(diǎn)是用向量化操作而不是for循環(huán)遍歷所有anchor否則Python跑25200個(gè)候選框的NMS會慢到懷疑人生。建議直接用numpy做置信度過濾候選框數(shù)量降到幾百個(gè)之后再做NMS計(jì)算量差距非常大。5. 性能調(diào)優(yōu)與實(shí)測數(shù)據(jù)5.1 關(guān)鍵調(diào)優(yōu)參數(shù)很多人在Atlas上跑YOLO發(fā)現(xiàn)速度不理想第一反應(yīng)是卡不行其實(shí)大部分情況下是配置沒調(diào)對。我總結(jié)下來影響推理性能的因素按優(yōu)先級排列如下第一是否啟用了AIPP。不啟用AIPPCPU做預(yù)處理推理延遲高30%以上前面已經(jīng)提過。第二輸出數(shù)據(jù)類型。ATC轉(zhuǎn)換時(shí)建議加output_typeFP16讓輸出直接是FP16后處理時(shí)再轉(zhuǎn)float32能省一部分帶寬。第三是否使用異步推理。ACL的acl.mdl.execute_async配合stream可以實(shí)現(xiàn)多路輸入并行處理IPC視頻流場景必須用異步。我自己用同步方式跑單路視頻流時(shí)CPU占用率不高但延遲大概多出2ms左右。異步執(zhí)行的核心代碼# 創(chuàng)建stream stream acl.rt.create_stream() # 回調(diào)函數(shù) def callback(data): print(inference done) # 設(shè)置回調(diào)或輪詢 ret acl.mdl.execute_async(model_id, input_dataset, output_dataset, stream, callback) # 同步等待stream完成 acl.rt.synchronize_stream(stream)第四多batch。YOLOv5s在batch1時(shí)Atlas 300V 的AI Core利用率不高很多算力在空等。把batch加到4或8吞吐量能翻接近一倍。batch4 轉(zhuǎn)換命令只需改--input_shapeimages:4,3,640,640代碼里輸入數(shù)據(jù)改成堆疊4幀即可。5.2 實(shí)測性能參考我基于CANN 5.1.RC2 實(shí)測過一組數(shù)據(jù)分辨率640x640FP16精度模型batch單幀延遲(ms)吞吐(FPS)顯存占用YOLOv5s18.51181.2GYOLOv5s412.03333.8GYOLOv5m117.2582.4GYOLOv5m425.61566.1GYOLOv8s110.8921.5G注以上數(shù)據(jù)來自我自己的服務(wù)器環(huán)境實(shí)際數(shù)值會因驅(qū)動(dòng)版本、CANN版本、CPU能力不同有所浮動(dòng)。整體看Atlas 300V 24G在單卡推理性能和T4大致處于同一水平線但24G顯存帶來的大batch能力是它明顯的長板。如果項(xiàng)目里需要同時(shí)處理多路視頻流又不方便堆多張卡24G版本比8G版本更適合。6. 常見報(bào)錯(cuò)與排查手記6.1 模型轉(zhuǎn)換類問題報(bào)錯(cuò)AE10001: Module not found找不到自定義算子YOLOv5導(dǎo)出ONNX時(shí)某些版本會引入自定義算子或者不支持的算子典型如SiLU在某些舊CANN版本上不支持。解決辦法一是升級CANN版本到5.1以上昇騰310P對SiLU的支持在5.0.2之后趨于完善二是通過ATC的--enable_small_channel1開啟小通道優(yōu)化部分算子會被替換成等效實(shí)現(xiàn)。報(bào)錯(cuò)BAIPP配置報(bào)錯(cuò)AIPP配置里src_image_size_w和src_image_size_h必須與模型輸入shape一致。如果你把模型轉(zhuǎn)成了320x320但AIPP還寫著640x640ATC轉(zhuǎn)換就會直接報(bào)錯(cuò)。還有csc_switch需要和你模型訓(xùn)練時(shí)的顏色空間保持一致YOLO訓(xùn)練時(shí)用的是RGB這里就配RGB888_U8不要配BGR。報(bào)錯(cuò)Csoc_version不匹配這個(gè)報(bào)錯(cuò)最常見也最致命。用錯(cuò)soc_version轉(zhuǎn)換流程根本走不完。升騰310P系列包括Ascend310P1、Ascend310P3不同型號的算子庫有差異。最穩(wěn)妥的辦法是在板卡上跑npu-smi info看里面的Chip Type字段直接對應(yīng)到soc_version。6.2 推理結(jié)果類問題問題A檢測框位置偏移但能檢出物體典型原因AIPP里的顏色空間轉(zhuǎn)換配置和訓(xùn)練時(shí)不一致或輸入圖像沒有做letterbox導(dǎo)致寬高比變形。YOLOv5訓(xùn)練前默認(rèn)會把圖像做letterbox處理推理時(shí)直接resize到640x640會讓長寬比失真檢測框自然偏。正確做法是預(yù)處理時(shí)先letterbox在長邊補(bǔ)齊后再縮放后處理還原坐標(biāo)時(shí)需要減去padding偏移。問題B推理結(jié)果全黑或者全空通常是輸出數(shù)據(jù)取錯(cuò)了位置。ACL的輸出buffer是設(shè)備內(nèi)存必須先用acl.rt.memcpy拷回主機(jī)內(nèi)存再轉(zhuǎn)成numpy。如果直接對設(shè)備內(nèi)存做numpy轉(zhuǎn)換拿到的全是垃圾數(shù)據(jù)。我還遇到過一個(gè)情況是模型輸出的維度不是[1,25200,85]而是[1,3,80,80,85]這種分尺度的形式需要在后處理里先reshape再拼接。問題C連續(xù)推理后顯存溢出資源沒釋放是頭號嫌疑。檢查每輪推理結(jié)束后是否執(zhí)行了acl.rt.free和acl.rt.destroy_stream。另一個(gè)隱蔽問題是在循環(huán)里反復(fù)調(diào)用acl.mdl.create_desc和acl.mdl.get_desc這個(gè)操作開銷很大且會累積內(nèi)存碎片。正確的做法是把模型描述信息在初始化階段一次性讀取存成全局變量復(fù)用。7. 一些心得與建議Atlas 300V 24G在推理側(cè)的潛力很多人還沒完全挖掘出來。我見過不少團(tuán)隊(duì)拿到卡之后因?yàn)椴渴鹆鞒滩粔蝽樆蛽Q回GPU其實(shí)只要把前面這幾個(gè)環(huán)節(jié)打通它的性能和穩(wěn)定性都不差。尤其在大batch場景里24G顯存是一個(gè)很實(shí)用的優(yōu)勢。給你幾條實(shí)操層面的建議一是初始方案盡量沿用PyTorch的部署思路先用ACL跑通一條最小鏈路再逐步加AIPP、異步、多batch二是ATC的日志要留好模型轉(zhuǎn)換失敗時(shí)很多時(shí)候日志中間幾行就藏著真正的算子問題不要只盯著最后的ERROR行三是板卡的npu-smi info是你判斷性能瓶頸的窗口如果AI Core利用率上不去多半是預(yù)處理或數(shù)據(jù)拷貝拖了后腿。以后如果你想在這塊卡上跑更重的模型比如YOLOv8x或者一些端側(cè)檢測模型思路也是一樣的導(dǎo)出ONNX、檢查算子兼容性、調(diào)AIPP、按需開多batch。Atlas的算子生態(tài)現(xiàn)在覆蓋的場景越來越廣社區(qū)里能參考的案例也越來越多真正把這條鏈路跑通之后你會發(fā)現(xiàn)推理部署這件事?lián)Q硬件平臺也沒有想象中那么麻煩。