簡(jiǎn)介海康威視相機(jī)Python SDK資源包面向需要在安防監(jiān)控、工業(yè)檢測(cè)、交通管理等場(chǎng)景中調(diào)用?？迪鄼C(jī)的Python開(kāi)發(fā)者提供圖像采集、參數(shù)配置、事件回調(diào)、遠(yuǎn)程控制、PTZ與熱成像等功能的開(kāi)發(fā)接口并配有示例代碼和文檔說(shuō)明能顯著降低二次開(kāi)發(fā)門(mén)檻。RAR包共135個(gè)文件體積24.33MB主體為23個(gè)py模塊、13個(gè)sample示例、7個(gè)xml配置另外包含pt模型、ui界面、bmp圖片與gitignore等工程配套文件目錄結(jié)構(gòu)清楚便于按模塊查找。資源覆蓋相機(jī)初始化、抓圖、錄像、參數(shù)調(diào)整、事件處理等常用操作支持直接在Python環(huán)境中調(diào)用接口完成遠(yuǎn)程控制與圖像后處理適合已有Python基礎(chǔ)、希望快速接入?？翟O(shè)備的開(kāi)發(fā)者。目前已有1337人學(xué)習(xí)下載包內(nèi)腳本和示例可復(fù)用或改寫(xiě)有助于理解SDK調(diào)用流程與接口組合方式節(jié)省自主摸索時(shí)間。 在機(jī)器視覺(jué)項(xiàng)目里用Python調(diào)?？迪鄼C(jī)的SDK是一個(gè)繞不開(kāi)但又讓人有點(diǎn)頭疼的需求。說(shuō)繞不開(kāi)是因?yàn)楹？倒I(yè)相機(jī)在視覺(jué)項(xiàng)目中的占比確實(shí)高說(shuō)頭疼是因?yàn)楣俜絊DK的主戰(zhàn)場(chǎng)是C和C#Python相關(guān)的資料散落在各個(gè)技術(shù)社區(qū)的角落很多剛接觸的人連MvImport這個(gè)包怎么導(dǎo)入都要折騰半天。這篇文章不打算重復(fù)官方的API文檔而是把從安裝部署、相機(jī)連接、參數(shù)配置到取流成圖這條鏈路上真正花時(shí)間去趟出來(lái)的東西整理一遍包括那些文檔里不會(huì)寫(xiě)、但實(shí)際開(kāi)發(fā)百分之百會(huì)遇到的問(wèn)題。適用人群很明確手里有一臺(tái)?？倒I(yè)相機(jī)想在Python環(huán)境下快速跑通圖像采集和圖像處理的工程師或算法同學(xué)。1. 先搞清楚SDK的運(yùn)行鏈路從MVS到Python之間到底隔了什么很多人在環(huán)境搭建卡住多半是因?yàn)椴焕斫膺@條鏈路。海康工業(yè)相機(jī)的控制本質(zhì)上不是Python直接跟USB3.0接口或千兆網(wǎng)卡打交道而是經(jīng)過(guò)MVS運(yùn)行時(shí)這一層。MVS全稱(chēng)Machine Vision Software是?？禉C(jī)器視覺(jué)的官方軟件平臺(tái)里面既包含相機(jī)驅(qū)動(dòng)、圖像采集卡驅(qū)動(dòng)也包含SDK的動(dòng)態(tài)鏈接庫(kù)和應(yīng)用層調(diào)試工具。1.1 MVS不只是一個(gè)軟件它是整套相機(jī)生態(tài)的入口如果只把MVS當(dāng)成一個(gè)“裝完就不管”的軟件后面會(huì)遇到一堆莫名其妙的問(wèn)題。MVS安裝之后系統(tǒng)里會(huì)多出幾樣關(guān)鍵東西相機(jī)驅(qū)動(dòng)USB3 Vision、GigE Vision等傳輸協(xié)議的底層驅(qū)動(dòng)。運(yùn)行庫(kù)RuntimeMvCameraControl.dllWindows或libMVCameraControl.soLinux這是SDK所有接口的真正實(shí)現(xiàn)。設(shè)備調(diào)試工具M(jìn)VS Viewer用于查看相機(jī)狀態(tài)、手動(dòng)調(diào)參、測(cè)試出圖。開(kāi)發(fā)示例Development目錄下會(huì)有C、C#、Python等語(yǔ)言的示例代碼。所以MVS是整個(gè)相機(jī)生態(tài)的中心。Python代碼調(diào)用MvCameraControl.dll這套動(dòng)態(tài)庫(kù)封裝了設(shè)備枚舉、連接、取流、參數(shù)讀寫(xiě)等全套能力。你在Python里看到的MvCamera類(lèi)其實(shí)是在C接口外面包了一層供Python直接調(diào)用的接口。所以SDK官方文檔里標(biāo)注“支持C/C#”不代表Python用不了只是Python的綁定層需要自己在MVS安裝目錄下的Samples里找。1.2 Python綁定庫(kù)的定位包裝動(dòng)態(tài)庫(kù)而不是重新實(shí)現(xiàn)這里有個(gè)常見(jiàn)誤解有人以為?？倒俜?jīng)]有提供Python SDK就去找第三方封裝。其實(shí)官方在MVS的安裝目錄里就帶了Python示例代碼。路徑大概是這樣C:\Program Files (x86)\MVS\Development\Samples\Python\里面是一個(gè)叫MvImport的文件夾里面包含MvCameraControl_class.py、MvCameraControl_header.py等文件。這個(gè)MvImport本質(zhì)上是把C的接口用ctypes包裝成了Python類(lèi)底層直接加載MvCameraControl.dll。所以你會(huì)發(fā)現(xiàn)Python接口的調(diào)用方式和C接口幾乎一一對(duì)應(yīng)比如MV_CC_EnumDevices對(duì)應(yīng)EnumDevices方法MV_CC_GetImageBuffer對(duì)應(yīng)GetImageBuffer方法。理解這條鏈路之后排錯(cuò)思路就清晰了如果Python報(bào)找不到dll那問(wèn)題一定出在運(yùn)行時(shí)環(huán)境而不是代碼本身。如果Python能導(dǎo)入MvImport但枚舉不到相機(jī)那就回到MVS Viewer里看相機(jī)是否能被識(shí)別優(yōu)先排查硬件鏈路。我個(gè)人的建議是先把MVS完整版裝好然后用MVS Viewer確認(rèn)相機(jī)能被識(shí)別、能正常出圖這時(shí)候再碰Python代碼。這個(gè)前置步驟很多人會(huì)跳過(guò)去結(jié)果到了Python里怎么都連不上相機(jī)回頭一看其實(shí)是網(wǎng)線沒(méi)通或者相機(jī)驅(qū)動(dòng)沒(méi)裝好。2. 環(huán)境搭建中最容易翻車(chē)的三個(gè)地方MVS安裝、Python路徑、動(dòng)態(tài)庫(kù)加載環(huán)境搭建這部分按理說(shuō)是最沒(méi)技術(shù)含量的但實(shí)際出問(wèn)題最多的恰恰就是這里。我見(jiàn)過(guò)太多人把時(shí)間浪費(fèi)在“Python導(dǎo)入模塊報(bào)錯(cuò)”上所以單獨(dú)把三個(gè)高頻翻車(chē)點(diǎn)拎出來(lái)講。2.1 MVS版本和操作系統(tǒng)位的匹配MVS可以從?？禉C(jī)器人官網(wǎng)下載安裝時(shí)要注意操作系統(tǒng)架構(gòu)。Windows下裝完后默認(rèn)路徑一般是C:\Program Files (x86)\MVS注意這個(gè)“x86”不代表軟件是32位的64位系統(tǒng)安裝時(shí)也會(huì)裝到這個(gè)目錄。但有個(gè)比較隱蔽的問(wèn)題如果電腦里已經(jīng)有其他視覺(jué)軟件使用了不同版本的運(yùn)行時(shí)組件比如VisionMaster、Halcon等可能會(huì)出現(xiàn)dll沖突。輕則是MVS Viewer打開(kāi)閃退重則Python加載動(dòng)態(tài)庫(kù)時(shí)直接崩潰。這種情況沒(méi)有太通用的解決辦法建議是在干凈的機(jī)器上先把MVS裝好、跑通一遍再裝其他視覺(jué)軟件減少排查干擾。2.2 動(dòng)態(tài)庫(kù)加載失敗不要手動(dòng)去拷貝dll有人圖省事想直接找到MvCameraControl.dll然后復(fù)制到Python項(xiàng)目的site-packages目錄里。這個(gè)做法強(qiáng)烈不推薦因?yàn)镸vCameraControl.dll運(yùn)行時(shí)會(huì)依賴(lài)MVS安裝目錄下的Runtime組件光拷一個(gè)dll過(guò)去會(huì)報(bào)各種奇怪的加載錯(cuò)誤比如“DLL load failed while importing MvCameraControl_class: 找不到指定的模塊”。正確的做法是讓Python能找到完整的運(yùn)行時(shí)環(huán)境兩種方式任選其一把MVS安裝目錄下的Runtime\Win64添加到系統(tǒng)環(huán)境變量PATH。直接把MVS\Development\Samples\Python\目錄下的MvImport文件夾復(fù)制到你的項(xiàng)目里然后在代碼開(kāi)頭執(zhí)行sys.path.append到該目錄。為什么建議第二種因?yàn)镸vImport里的Python文件在import時(shí)會(huì)自動(dòng)加載相關(guān)運(yùn)行庫(kù)你把它放到項(xiàng)目里只要系統(tǒng)環(huán)境變量沒(méi)問(wèn)題就不用擔(dān)心找不到庫(kù)。如果你裝了多版本Python或者使用虛擬環(huán)境項(xiàng)目目錄級(jí)別引用比全局環(huán)境變量更可控。2.3 Linux下別忘了LD_LIBRARY_PATHLinux環(huán)境下的坑和Windows不太一樣。MVS安裝到Linux后路徑一般是/opt/MVS動(dòng)態(tài)庫(kù)在/opt/MVS/lib/目錄下。直接跑Python示例大概率會(huì)報(bào)ImportError: libMVCameraControl.so: cannot open shared object file: No such file or directory解決方式是在運(yùn)行Python前設(shè)置LD_LIBRARY_PATHexport LD_LIBRARY_PATH/opt/MVS/lib:$LD_LIBRARY_PATH如果你用的是ROS或者系統(tǒng)服務(wù)方式啟動(dòng)還需要把這一行寫(xiě)入啟動(dòng)腳本否則每次新終端都要手動(dòng)export。另外Linux下MVS需要針對(duì)不同發(fā)行版安裝對(duì)應(yīng)的依賴(lài)庫(kù)安裝包內(nèi)一般有個(gè)install.sh或readme說(shuō)明建議先看一下依賴(lài)列表比如libusb、libavcodec等。在環(huán)境配置這一步我實(shí)測(cè)下來(lái)最穩(wěn)的流程是安裝MVS → 用MVS Viewer驗(yàn)證出圖 → 復(fù)制MvImport到項(xiàng)目 → 寫(xiě)一個(gè)三行的測(cè)試腳本打印相機(jī)型號(hào) → 成功后再向下走。每一步卡住就先解決當(dāng)前步驟不要帶著環(huán)境問(wèn)題硬往代碼里鉆。3. 相機(jī)連接與參數(shù)設(shè)置的完整代碼骨架從枚舉設(shè)備到首幀圖像環(huán)境跑通后進(jìn)入核心代碼環(huán)節(jié)。海康Python SDK的調(diào)用方式和C高度一致整體流程是枚舉設(shè)備 → 創(chuàng)建句柄 → 打開(kāi)設(shè)備 → 設(shè)置參數(shù) → 開(kāi)始取流 → 取圖 → 停止取流 → 關(guān)閉設(shè)備。下面這段代碼是經(jīng)過(guò)實(shí)際項(xiàng)目驗(yàn)證的骨架兼容GigE和USB3.0相機(jī)。3.1 設(shè)備枚舉與句柄創(chuàng)建import sys sys.path.append(rC:\Program Files (x86)\MVS\Development\Samples\Python) from MvCameraControl_class import * def list_devices(): device_list MV_CC_DEVICE_INFO_LIST() tlayer_type MV_GIGE_DEVICE | MV_USB_DEVICE ret MvCamera.MV_CC_EnumDevices(tlayer_type, device_list) if ret ! 0: print(枚舉失敗錯(cuò)誤碼, ret) return None print(發(fā)現(xiàn)設(shè)備數(shù)量, device_list.nDeviceNum) return device_list枚舉時(shí)有一個(gè)容易忽略的問(wèn)題MV_GIGE_DEVICE和MV_USB_DEVICE必須用位或運(yùn)算同時(shí)指定否則會(huì)漏掉其中一種類(lèi)型的相機(jī)。如果你用的相機(jī)是Camera Link接口或CoaXPress接口需要額外加上MV_CAMERA_LINK_DEVICE和MV_COAX_PRESS_DEVICE。枚舉成功后從device_list.pDeviceInfo[0]取出設(shè)備信息然后創(chuàng)建句柄并打開(kāi)設(shè)備cam MvCamera() # 創(chuàng)建句柄 ret cam.MV_CC_CreateHandle(device_list.pDeviceInfo[0]) if ret ! 0: print(創(chuàng)建句柄失敗) sys.exit(1) # 打開(kāi)設(shè)備獨(dú)占模式 ret cam.MV_CC_OpenDevice(MV_ACCESS_Exclusive, 0) if ret ! 0: print(打開(kāi)設(shè)備失敗) sys.exit(1)MV_ACCESS_Exclusive表示獨(dú)占模式即這臺(tái)相機(jī)只能被當(dāng)前進(jìn)程訪問(wèn)。如果有多個(gè)程序同時(shí)打開(kāi)同一臺(tái)相機(jī)或者M(jìn)VS Viewer還連著相機(jī)沒(méi)斷開(kāi)會(huì)報(bào)“資源被占用”類(lèi)的錯(cuò)誤碼。實(shí)際開(kāi)發(fā)中如果遇到打開(kāi)失敗第一反應(yīng)應(yīng)該是去檢查MVS Viewer是否已經(jīng)關(guān)閉了連接而不是懷疑代碼寫(xiě)錯(cuò)。3.2 參數(shù)設(shè)置的正確順序開(kāi)設(shè)備之后就該設(shè)置各類(lèi)參數(shù)了。海康SDK里參數(shù)接口可以分三類(lèi)枚舉型參數(shù)MV_CC_SetEnumValue比如TriggerMode、TriggerSource、PixelFormat。數(shù)值型參數(shù)MV_CC_SetFloatValue比如曝光時(shí)間、增益。命令型參數(shù)MV_CC_SetCommandValue比如軟觸發(fā)命令。一個(gè)非常重要的經(jīng)驗(yàn)參數(shù)的設(shè)置順序是有講究的。分辨率、像素格式這類(lèi)影響圖像大小的參數(shù)必須在StartGrabbing之前設(shè)置曝光、增益這類(lèi)參數(shù)雖然也建議在采集前設(shè)置但運(yùn)行中修改通常也生效只是部分相機(jī)需要先停止采集后才能寫(xiě)入。舉個(gè)典型情況如果先設(shè)了曝光時(shí)間再修改分辨率某些型號(hào)的相機(jī)內(nèi)部會(huì)自動(dòng)重置一部分參數(shù)導(dǎo)致曝光設(shè)置丟失。所以最穩(wěn)妥的做法是分辨率 → 像素格式 → 曝光 → 增益 → 幀率 → 觸發(fā)模式按照這個(gè)順序一次性配好再開(kāi)始取流。下面是參數(shù)設(shè)置的關(guān)鍵代碼# 設(shè)置觸發(fā)模式為關(guān)閉即連續(xù)采集 cam.MV_CC_SetEnumValue(TriggerMode, MV_TRIGGER_MODE_OFF) # 設(shè)置像素格式為Mono8黑白相機(jī) cam.MV_CC_SetEnumValue(PixelFormat, PixelType_Gvsp_Mono8) # 設(shè)置曝光時(shí)間單位是微秒 cam.MV_CC_SetFloatValue(ExposureTime, 5000.0) # 設(shè)置增益 cam.MV_CC_SetFloatValue(Gain, 10.0)這里有個(gè)坑不同相機(jī)的像素格式枚舉值在不同協(xié)議下會(huì)不一樣。GigE相機(jī)和USB3.0相機(jī)某些枚舉值不完全相同尤其涉及Bayer格式時(shí)BayerRG8和BayerGB8的配對(duì)順序不能搞反否則彩色圖像紅藍(lán)通道會(huì)顛倒。最簡(jiǎn)單的判斷方式是先在MVS Viewer里看一下當(dāng)前相機(jī)默認(rèn)的像素格式按那個(gè)值來(lái)配置。3.3 拉流、取圖、存圖的完整閉環(huán)參數(shù)配置完畢開(kāi)始采集并取圖。這里要特別注意GetImageBuffer的用法取到的buffer是numpy數(shù)組可以直接用OpenCV處理。官方接口還要求每次取圖完畢后調(diào)用FreeImageBuffer釋放否則緩沖區(qū)會(huì)一直被占用最后相機(jī)不出圖。import cv2 import numpy as np # 開(kāi)始取流 cam.MV_CC_StartGrabbing() st_frame_info MV_FRAME_OUT_INFO_EX() memset ctypes.memset # 超時(shí)時(shí)間1000毫秒 ret, data cam.MV_CC_GetImageBuffer(st_frame_info, 1000) if ret 0 and data is not None: # data就是numpy數(shù)組尺寸由幀信息給出 n_size st_frame_info.nWidth * st_frame_info.nHeight img data.reshape(st_frame_info.nHeight, st_frame_info.nWidth) # 保存圖像 cv2.imwrite(capture.png, img) print(圖像尺寸, st_frame_info.nWidth, x, st_frame_info.nHeight) # 釋放緩沖區(qū)這一步一定不能漏 cam.MV_CC_FreeImageBuffer(st_frame_info) else: print(獲取圖像失敗錯(cuò)誤碼, ret) cam.MV_CC_StopGrabbing() cam.MV_CC_CloseDevice() cam.MV_CC_DestroyHandle()這里有一個(gè)很現(xiàn)實(shí)的問(wèn)題GetImageBuffer拿到的原始數(shù)據(jù)如果是彩色相機(jī)且像素格式是BayerRG8就不能直接reshape成三通道圖必須先做拜耳解碼轉(zhuǎn)換成RGB。我后面專(zhuān)門(mén)講這塊先記住一個(gè)原則拿到圖像后先判斷像素格式再?zèng)Q定是否轉(zhuǎn)換不要想當(dāng)然當(dāng)成RGB處理。4. 取流方式選擇的現(xiàn)實(shí)考量主動(dòng)拉流和回調(diào)模式分別適合什么場(chǎng)景?？礢DK提供了兩種取流方式主動(dòng)拉流GetImageBuffer和回調(diào)模式RegisterImageCallBack。很多初學(xué)者不清楚這兩者的區(qū)別只會(huì)在網(wǎng)上找到一段用GetImageBuffer的示例代碼就一直用下去。但到實(shí)際項(xiàng)目中取流方式選錯(cuò)輕則CPU占用率高重則掉幀、圖像延遲。4.1 主動(dòng)拉流模式邏輯簡(jiǎn)單適合低幀率拍照類(lèi)應(yīng)用主動(dòng)拉流的特點(diǎn)就是“你問(wèn)相機(jī)要一幀它給你一幀”代碼寫(xiě)起來(lái)直接適合幀率要求不高的場(chǎng)景。比如靜態(tài)工件拍照檢測(cè)一秒鐘拍一兩張用GetImageBuffer完全夠用。這個(gè)模式下如果不斷輪詢GetImageBufferCPU會(huì)白白浪費(fèi)在等待上而且取流線程和圖像處理邏輯耦合在一起處理耗時(shí)稍長(zhǎng)下一幀就錯(cuò)過(guò)了。優(yōu)化小技巧主動(dòng)拉流模式不要做跟業(yè)務(wù)無(wú)關(guān)的sleep更不要在處理圖像前先去打印一堆日志。打印日志是串行IO操作在高幀率下會(huì)讓取流節(jié)奏徹底亂掉。把取圖和處理放同一個(gè)循環(huán)沒(méi)問(wèn)題但循環(huán)內(nèi)部的邏輯要精簡(jiǎn)。4.2 回調(diào)模式高幀率場(chǎng)景的正確選擇回調(diào)模式是?？礢DK更推薦的方式本質(zhì)上是SDK內(nèi)部開(kāi)啟了一個(gè)取流線程當(dāng)有圖像幀到達(dá)時(shí)自動(dòng)調(diào)度注冊(cè)的回調(diào)函數(shù)。這樣你的主線程可以去做其他事情不用頻繁等待數(shù)據(jù)。def frame_callback(p_data, p_frame_info, p_user): # 這里的p_data是圖像的原始數(shù)據(jù)指針 if p_data is None: return st_info p_frame_info.contents n_width st_info.nWidth n_height st_info.nHeight # 將指針數(shù)據(jù)轉(zhuǎn)換成numpy數(shù)組 frame_data ctypes.string_at(p_data, n_width * n_height) img np.frombuffer(frame_data, dtypenp.uint8).reshape(n_height, n_width) # 在這里做圖像處理或者存圖 # 注意回調(diào)函數(shù)里不要做耗時(shí)太長(zhǎng)的操作 cam MvCamera() # 注冊(cè)回調(diào)p_user可以傳入自定義的上下文對(duì)象 cam.MV_CC_RegisterImageCallBack(frame_callback, None) cam.MV_CC_StartGrabbing()回調(diào)函數(shù)里有一個(gè)非常重要的原則回調(diào)函數(shù)不要做耗時(shí)操作。因?yàn)榛卣{(diào)是運(yùn)行在SDK內(nèi)部的取流線程里如果你在回調(diào)里做OpenCV的復(fù)雜算法、或者寫(xiě)文件、甚至打印都會(huì)拖慢取流線程直接導(dǎo)致buffer堆積和丟幀。正確的做法是在回調(diào)里把圖像數(shù)據(jù)拷貝出來(lái)記住是拷貝不是引用因?yàn)檫@塊內(nèi)存在回調(diào)結(jié)束后會(huì)被SDK回收然后扔給另一個(gè)工作線程去處理?？梢杂肞ython的queue.Queue或者multiprocessing完成數(shù)據(jù)傳遞。4.3 觸發(fā)模式的選擇軟觸發(fā)與硬觸發(fā)取流方式之外觸發(fā)模式也是視覺(jué)項(xiàng)目里必須明確的決策點(diǎn)。連續(xù)采集適合運(yùn)動(dòng)過(guò)程中不斷抓取圖像但對(duì)準(zhǔn)靜止工件拍照一般用觸發(fā)模式更合適。?？礢DK里觸發(fā)模式分為軟觸發(fā)和硬觸發(fā)。軟觸發(fā)適合“程序里決定什么時(shí)候拍”的場(chǎng)景典型應(yīng)用是機(jī)器人到位后上位機(jī)軟件主動(dòng)拍一張# 打開(kāi)觸發(fā)模式 cam.MV_CC_SetEnumValue(TriggerMode, MV_TRIGGER_MODE_ON) # 觸發(fā)源設(shè)為軟觸發(fā) cam.MV_CC_SetEnumValue(TriggerSource, MV_TRIGGER_SOURCE_SOFTWARE) # 需要拍照時(shí)執(zhí)行一次軟觸命令 cam.MV_CC_SetCommandValue(TriggerSoftware) # 然后調(diào)用GetImageBuffer去取這一幀 ret, data cam.MV_CC_GetImageBuffer(st_frame_info, 1000)硬觸發(fā)則通過(guò)相機(jī)的Line0或者光耦輸入IO口接收外部信號(hào)適合和PLC或傳感器聯(lián)動(dòng)。設(shè)置方式就是把TriggerSource改為對(duì)應(yīng)的觸發(fā)源比如MV_TRIGGER_SOURCE_LINE0。硬觸發(fā)模式下相機(jī)自己不產(chǎn)生幀完全靠外部脈沖開(kāi)始曝光。這里有個(gè)很容易搞反的點(diǎn)外部信號(hào)是一個(gè)電平信號(hào)還是一條邊沿脈沖在相機(jī)參數(shù)里可能還需要單獨(dú)設(shè)置觸發(fā)電平極性設(shè)置不對(duì)就會(huì)出現(xiàn)“外部觸發(fā)了但相機(jī)不拍照”的現(xiàn)象。關(guān)于回調(diào)、觸發(fā)和取流的選擇我的個(gè)人經(jīng)驗(yàn)是第一優(yōu)先級(jí)由應(yīng)用場(chǎng)景決定第二優(yōu)先級(jí)才由緩存和性能決定。項(xiàng)目初期直接套用連續(xù)采集主動(dòng)拉流的寫(xiě)法先把圖像算法跑起來(lái)然后根據(jù)實(shí)際幀率要求再切換到回調(diào)模式這個(gè)順序比較符合正常開(kāi)發(fā)節(jié)奏。5. 我在這套SDK上踩過(guò)的坑版本對(duì)應(yīng)、虛擬相機(jī)、性能瓶頸與那些搜不到的小細(xì)節(jié)最后這部分是真正讓文章變得值錢(qián)的地方。?？礟ython SDK使用過(guò)程中我積累了不少排查經(jīng)驗(yàn)列出來(lái)供大家參考尤其適合已經(jīng)跑通Demo、準(zhǔn)備把代碼落地到實(shí)際項(xiàng)目中的人。5.1 版本對(duì)應(yīng)問(wèn)題MVS、相機(jī)固件、Python包三者的匹配熱詞里有人問(wèn)“?？低暪I(yè)相機(jī)和視覺(jué)軟件的版本號(hào)要對(duì)應(yīng)嗎”答案是必須對(duì)應(yīng)。海康相機(jī)的固件和MVS軟件之間存在版本匹配關(guān)系。如果你有一個(gè)新型號(hào)相機(jī)固件版本比較新但電腦上裝的是老版本的MVS會(huì)出現(xiàn)以下幾種典型現(xiàn)象相機(jī)在MVS Viewer里顯示為未知設(shè)備無(wú)法出圖。相機(jī)能被識(shí)別但某些新參數(shù)讀不到。打開(kāi)設(shè)備報(bào)錯(cuò)錯(cuò)誤碼指向驅(qū)動(dòng)的底層通信問(wèn)題。解決辦法不是去降級(jí)相機(jī)固件而是把MVS升級(jí)到最新版本然后在MVS Viewer的“設(shè)備固件升級(jí)”功能里把相機(jī)固件升級(jí)到與當(dāng)前MVS匹配的版本。這一步一定要謹(jǐn)慎升級(jí)固件期間不能斷電否則相機(jī)直接變磚。Python代碼這邊只要MVS版本對(duì)了MvImport文件夾里封裝的接口通常不會(huì)被打破因?yàn)镻ython包裝層和動(dòng)態(tài)庫(kù)是配套發(fā)布的。5.2 沒(méi)有相機(jī)的日子怎么調(diào)試用MVS的虛擬相機(jī)“?？礛VS虛擬相機(jī)”是調(diào)試階段的救命工具。在MVS Viewer的相機(jī)列表區(qū)域可以創(chuàng)建虛擬相機(jī)SDK會(huì)虛擬出一臺(tái)相機(jī)設(shè)備通過(guò)圖像格式發(fā)生器輸出測(cè)試圖案。設(shè)備枚舉時(shí)虛擬相機(jī)也會(huì)被枚舉到類(lèi)型同樣屬于GigE或USB設(shè)備。我實(shí)際用下來(lái)虛擬相機(jī)對(duì)算法開(kāi)發(fā)的幫助極大。你可以先在虛擬相機(jī)上把圖像采集、參數(shù)設(shè)置、觸發(fā)模式、回調(diào)模式整個(gè)流程完全跑通等真機(jī)到位后只需要把IP地址或者設(shè)備索引改一下代碼不用動(dòng)。唯一的局限是虛擬相機(jī)的曝光、增益等參數(shù)并不真實(shí)反映相機(jī)的物理特性它們只是模擬值所以如果需要做光學(xué)相關(guān)的標(biāo)定或圖像質(zhì)量評(píng)估還是得上真機(jī)。5.3 幀率上不去的幾個(gè)關(guān)鍵瓶頸排除了代碼問(wèn)題后幀率依然達(dá)不到標(biāo)稱(chēng)值多半出在傳輸鏈路。幾個(gè)我實(shí)際遇到過(guò)的坑網(wǎng)口相機(jī)設(shè)置了巨型幀Jumbo Frame但網(wǎng)卡和交換機(jī)沒(méi)有統(tǒng)一開(kāi)啟導(dǎo)致大包被丟棄出現(xiàn)花屏或幀率驟降。USB3.0相機(jī)插在了USB2.0口上系統(tǒng)也能識(shí)別但幀率和帶寬直接減半而且延時(shí)明顯變大。網(wǎng)卡IP和相機(jī)IP不在同一網(wǎng)段相機(jī)雖然能看到但取流時(shí)斷斷續(xù)續(xù)。顯卡或CPU負(fù)載太高解碼和拷貝圖像的速度跟不上緩沖區(qū)溢出。性能問(wèn)題的排查邏輯是先用MVS Viewer看官方調(diào)試工具的幀率表現(xiàn)如果Viewer能跑滿說(shuō)明硬件鏈路沒(méi)問(wèn)題問(wèn)題在Python代碼如果Viewer也跑不滿說(shuō)明傳輸鏈路有瓶頸得從網(wǎng)卡、線纜、交換機(jī)的配置入手。5.4 圖像格式轉(zhuǎn)換和鏡頭調(diào)節(jié)這些得單獨(dú)拎出來(lái)的細(xì)節(jié)彩色相機(jī)的像素格式默認(rèn)通常是BayerRG8或BayerGB8直接reshape成三通道圖像會(huì)花。最簡(jiǎn)單的方式是用OpenCV做拜耳轉(zhuǎn)換# 假設(shè)原始數(shù)據(jù)是BayerRG8 bayer_img data.reshape(height, width) rgb_img cv2.cvtColor(bayer_img, cv2.COLOR_BayerRG2RGB)拜耳排列的RG和GB不能猜最靠譜的方法是在MVS Viewer里查看相機(jī)的像素格式說(shuō)明或者拍一張白色畫(huà)面看轉(zhuǎn)換后是否出現(xiàn)網(wǎng)格狀偽彩。如果出現(xiàn)紅藍(lán)色互換把BayerRG2BG2RGB換成COLOR_BayerGB2RGB再試。至于鏡頭上的三個(gè)調(diào)節(jié)環(huán)很多新手拿到工業(yè)鏡頭會(huì)一臉懵。三個(gè)環(huán)分別是光圈、對(duì)焦、變焦或?qū)规i定。拍照調(diào)參的正確順序是先調(diào)光圈確定進(jìn)光量和景深再調(diào)對(duì)焦保證成像清晰最后調(diào)整相機(jī)軟件里的曝光時(shí)間和增益來(lái)匹配亮度。千萬(wàn)不要裝好鏡頭直接就在軟件里狂調(diào)增益和曝光鏡頭光學(xué)本身就不對(duì)后面軟件怎么調(diào)都救不回來(lái)。最后還想提醒一件事如果你是第一次用Python接海康相機(jī)不要什么都想著造輪子。把MVS安裝目錄里Python示例的文件夾完整看一遍里面其實(shí)已經(jīng)把枚舉設(shè)備、取流保存、回調(diào)模式、像素格式轉(zhuǎn)換這些常見(jiàn)場(chǎng)景都覆蓋了。在這個(gè)基礎(chǔ)上去加自己的業(yè)務(wù)邏輯會(huì)比從零自己摸索快很多。本文還有配套的精品資源點(diǎn)擊獲取