簡介本資源是一個面向Python初學(xué)者與工業(yè)視覺入門者的紡織布匹表面缺陷檢測實(shí)踐項目聚焦于計算機(jī)視覺在制造業(yè)質(zhì)檢場景中的落地應(yīng)用。系統(tǒng)基于OpenCV、Pillow及Tkinter等主流庫構(gòu)建涵蓋圖像預(yù)處理、瑕疵識別、GUI交互與SQLite本地數(shù)據(jù)庫管理全流程適合課程設(shè)計、畢業(yè)設(shè)計或中小企業(yè)輕量級質(zhì)檢工具開發(fā)參考。壓縮包共117個文件3.04MB包含27個核心Python源碼如MainWindow.py、Database.py、app.py、9個UI界面文件、7個測試圖像、4個SQLite數(shù)據(jù)庫文件及多個配置與啟動腳本如setup-cpu.bat、布匹瑕疵檢測.bat結(jié)構(gòu)清晰模塊職責(zé)分明。目前已有32人學(xué)習(xí)下載資源附帶說明.txt文檔與完整可運(yùn)行環(huán)境配置方案提供從部署到檢測的端到端實(shí)操路徑并含.zbak備份文件便于版本回溯與代碼對比學(xué)習(xí)。1. 項目緣起從“人眼”到“算法眼”的工業(yè)質(zhì)檢革命在紡織行業(yè)干了十幾年最頭疼的環(huán)節(jié)之一就是布匹的質(zhì)檢。早些年全靠老師傅的火眼金睛在驗(yàn)布機(jī)前一坐就是一天盯著高速移動的布面尋找那些細(xì)如發(fā)絲的斷經(jīng)、斷緯、破洞、污漬。效率低、標(biāo)準(zhǔn)不一、人眼疲勞導(dǎo)致的漏檢和誤判是每個廠長心里的痛。后來機(jī)器視覺技術(shù)開始普及但很多方案要么是昂貴的進(jìn)口“黑箱”設(shè)備一套下來上百萬要么是集成商提供的封閉系統(tǒng)算法不透明出了問題只能干等售后想根據(jù)自家布料的特性調(diào)整一下檢測靈敏度難上加難。所以當(dāng)看到“基于Python的紡織布匹表面缺陷檢測系統(tǒng)源碼”這個標(biāo)題時我第一反應(yīng)是這玩意兒太實(shí)用了。它戳中的正是行業(yè)里“想要自主可控、靈活可調(diào)、成本可控的智能質(zhì)檢方案”這個剛需。Python作為當(dāng)下最火的膠水語言生態(tài)豐富從圖像處理OpenCV, scikit-image到深度學(xué)習(xí)PyTorch, TensorFlow一應(yīng)俱全給了我們這些一線工程師自己動手搭建系統(tǒng)的可能。拿到源碼意味著你拿到了理解整個檢測流程的鑰匙而不僅僅是擰螺絲的扳手。你可以知道算法為什么在這里設(shè)置閾值模型是怎么做出判斷的數(shù)據(jù)需要怎么預(yù)處理效果最好。這對于工藝優(yōu)化、質(zhì)量追溯、甚至訓(xùn)練針對特殊面料比如提花、蕾絲的專用模型價值巨大。今天我就結(jié)合自己過去在類似項目上的踩坑經(jīng)驗(yàn)把這個“源碼級”系統(tǒng)的核心骨架、關(guān)鍵模塊、以及那些文檔里不會寫的實(shí)操細(xì)節(jié)給你徹底拆解明白。無論你是工廠的技術(shù)員想搞自動化升級還是算法工程師想切入工業(yè)視覺領(lǐng)域抑或是學(xué)生想做一個有工業(yè)價值的畢業(yè)設(shè)計這篇內(nèi)容都能給你提供一個從零到一的、可落地的參考框架。2. 系統(tǒng)核心架構(gòu)一個工業(yè)級檢測系統(tǒng)的五臟六腑一套能上生產(chǎn)線的布匹缺陷檢測系統(tǒng)絕不是幾個Python腳本的簡單堆砌。它需要穩(wěn)定、高效、可擴(kuò)展并能與生產(chǎn)線其他設(shè)備如PLC、MES聯(lián)動?；诔Ｒ姷墓I(yè)實(shí)踐我們可以將其架構(gòu)分為五層從下到上環(huán)環(huán)相扣。2.1 硬件感知與圖像采集層這是系統(tǒng)的“眼睛”。布匹在驗(yàn)布機(jī)上高速運(yùn)動速度可達(dá)每分鐘上百米我們需要穩(wěn)定、清晰地“抓住”每一幀圖像。工業(yè)相機(jī)與鏡頭選型這是第一個坑。千萬別用普通的USB攝像頭。必須選擇千兆網(wǎng)口GigE或Camera Link接口的工業(yè)面陣或線陣相機(jī)。面陣相機(jī)適用于間歇式拍攝或低速場景對于連續(xù)高速運(yùn)動的布匹線陣相機(jī)是更專業(yè)的選擇。它像掃描儀一樣一次拍攝一條線通過布匹的運(yùn)動合成完整圖像能有效避免運(yùn)動模糊。鏡頭要根據(jù)布匹的寬度視場和缺陷的最小尺寸分辨率來計算。一個簡單公式傳感器尺寸 / 視場 像元尺寸 / 分辨率。比如你要檢測最小0.5mm的破洞那么你的像元分辨率至少要能達(dá)到0.1mm/pixel以下。光源與打光方案“檢測成敗一半在光”。布匹表面有紋理如何讓缺陷如斷經(jīng)、油污與背景紋理形成高對比度常用的有同軸光用于檢測表面凹凸、背光用于檢測孔洞、稀密路、低角度環(huán)形光用于突出劃痕、毛羽。對于紡織布匹低角度漫射光結(jié)合偏振鏡往往是好選擇它能有效抑制布面纖維的反光讓結(jié)構(gòu)性的缺陷更明顯。觸發(fā)與同步相機(jī)不能亂拍必須由編碼器或光電傳感器在布匹運(yùn)動到固定位置時觸發(fā)確保每幀圖像對應(yīng)布匹的實(shí)際物理長度這是后續(xù)缺陷定位和計長的基礎(chǔ)。硬件觸發(fā)信號的穩(wěn)定性直接決定了系統(tǒng)能否長時間無故障運(yùn)行。2.2 數(shù)據(jù)預(yù)處理與增強(qiáng)管道原始圖像不能直接喂給算法。這一層是“化妝師”負(fù)責(zé)把圖像處理成算法喜歡的樣子。ROI感興趣區(qū)域提取布匹在傳送帶上可能有輕微抖動或偏移我們需要先通過圖像處理如邊緣檢測、模板匹配找到布匹的精確邊界裁掉無用的背景。這能大幅減少后續(xù)計算量。圖像標(biāo)準(zhǔn)化光照不均校正即使打光再好圖像邊緣也可能偏暗。常用方法是先對圖像進(jìn)行高斯模糊得到一個“光照背景圖”然后用原圖除以這個背景圖實(shí)現(xiàn)平場校正。色彩空間轉(zhuǎn)換對于彩色布匹缺陷可能體現(xiàn)在顏色差異上。通常將RGB圖像轉(zhuǎn)換到HSV或Lab色彩空間分離亮度L/V和顏色信息ab針對不同缺陷使用不同通道。噪聲濾波使用中值濾波、高斯濾波去除椒鹽噪聲和高斯噪聲但要注意力度避免模糊了細(xì)小的缺陷邊緣。數(shù)據(jù)增強(qiáng)針對深度學(xué)習(xí)如果采用深度學(xué)習(xí)模型訓(xùn)練數(shù)據(jù)的多樣性至關(guān)重要。除了常規(guī)的旋轉(zhuǎn)、翻轉(zhuǎn)、縮放對于布匹缺陷更需要模擬工業(yè)現(xiàn)場的特有情況運(yùn)動模糊模擬布匹高速運(yùn)動。亮度抖動模擬光源老化或電壓波動。添加隨機(jī)紋理噪聲模擬不同批次布料的底紋差異。彈性形變模擬布匹的輕微褶皺。2.3 核心檢測算法層這是系統(tǒng)的“大腦”分為傳統(tǒng)算法和深度學(xué)習(xí)算法兩條技術(shù)路線。一個成熟的系統(tǒng)往往兩者結(jié)合。2.3.1 傳統(tǒng)圖像處理算法快、準(zhǔn)、解釋性強(qiáng)適用于規(guī)則、對比度明顯的缺陷。其核心思想是“找不同”。閾值分割最簡單有效的方法。通過全局閾值、自適應(yīng)閾值如OTSU或局部閾值將圖像二值化缺陷區(qū)域變?yōu)榘咨熬啊ｊP(guān)鍵技巧預(yù)處理后的圖像質(zhì)量直接影響閾值效果?？梢韵茸鲆淮雾斆弊儞QTop-hat來增強(qiáng)暗背景上的亮缺陷或底帽變換Bottom-hat增強(qiáng)亮背景上的暗缺陷。Blob分析連通域分析對二值圖像進(jìn)行用于找出獨(dú)立的缺陷區(qū)域并計算其特征如面積、周長、圓形度、位置等。通過設(shè)定這些特征的閾值如面積10像素圓形度0.7來過濾噪聲確認(rèn)真正的缺陷。紋理分析對于底紋復(fù)雜的布匹如牛仔布、格子布缺陷可能表現(xiàn)為紋理的斷裂或紊亂。常用方法有灰度共生矩陣GLCM計算圖像的對比度、相關(guān)性、能量、同質(zhì)性等紋理特征在缺陷區(qū)域這些特征值會發(fā)生突變。Gabor濾波器一種方向性和尺度可調(diào)的邊緣檢測器能有效捕捉特定方向和頻率的紋理異常。模板匹配與差分法適用于周期性紋理如梭織布。先獲取一小塊無缺陷的“黃金模板”然后用當(dāng)前圖像與模板進(jìn)行逐像素差分或歸一化互相關(guān)匹配差異大的區(qū)域即為缺陷。這種方法對光照變化非常敏感必須配合嚴(yán)格的光照標(biāo)準(zhǔn)化。2.3.2 深度學(xué)習(xí)算法復(fù)雜、泛化能力強(qiáng)適用于缺陷種類多、形態(tài)不規(guī)則、與背景對比度低的場景。目標(biāo)檢測模型如YOLO系列、Faster R-CNN直接輸出缺陷的類別和位置框。這是目前的主流方向。在布匹檢測中的特殊考量輸入分辨率布匹缺陷通常很小需要高分辨率輸入。但高分辨率會極大增加計算量。一個折中方案是先用一個輕量級網(wǎng)絡(luò)或傳統(tǒng)方法做疑似區(qū)域推薦Region Proposal再對候選區(qū)域進(jìn)行高分辨率裁剪并送入檢測網(wǎng)絡(luò)。錨框Anchor設(shè)計布匹缺陷多為細(xì)長型斷經(jīng)、斷緯或小圓點(diǎn)破洞、結(jié)頭需要自定義更貼合這些形狀的錨框尺寸和比例而不是用COCO數(shù)據(jù)集的通用錨框。數(shù)據(jù)不平衡無缺陷的“好布”圖片遠(yuǎn)多于有缺陷的圖片。需要采用過采樣、Focal Loss等策略緩解類別不平衡問題。語義分割模型如U-Net, DeepLab輸出每個像素的類別能精確勾勒出缺陷的輪廓。這對于需要量化缺陷面積如污漬大小的場景非常有用。U-Net的編碼器-解碼器結(jié)構(gòu)特別適合這種像素級任務(wù)。一個實(shí)用的混合策略在實(shí)際系統(tǒng)中我推薦“傳統(tǒng)算法初篩 深度學(xué)習(xí)精判”的級聯(lián)架構(gòu)。先用速度快、計算量小的傳統(tǒng)方法如閾值Blob分析過濾掉絕大部分正常區(qū)域只把可疑區(qū)域可能只占全圖的1%送入深度學(xué)習(xí)模型進(jìn)行精細(xì)分類和定位。這樣既能保證實(shí)時性50fps又能保證復(fù)雜缺陷的檢出率。2.4 業(yè)務(wù)邏輯與決策層算法給出了“有什么”和“在哪里”這一層要決定“怎么辦”。缺陷分類與評級根據(jù)算法輸出的類別和特征面積、長度、對比度結(jié)合國標(biāo)如GB/T或廠標(biāo)對缺陷進(jìn)行嚴(yán)重程度分級。例如破洞面積大于4mm2為致命缺陷A類1-4mm2為嚴(yán)重缺陷B類。位置映射與標(biāo)記將圖像中的像素坐標(biāo)通過相機(jī)標(biāo)定和編碼器信息映射到布匹的實(shí)際物理位置如第150米左起20cm處。驅(qū)動打標(biāo)器噴墨、貼標(biāo)在布匹邊緣進(jìn)行標(biāo)記方便后道工序處理。統(tǒng)計與報表生成實(shí)時統(tǒng)計各類缺陷的數(shù)量、頻率、分布位置生成批次質(zhì)量報告。更高級的系統(tǒng)能進(jìn)行SPC統(tǒng)計過程控制繪制缺陷率的控制圖當(dāng)缺陷率異常升高時預(yù)警可能意味著前道紡紗或織布工序出現(xiàn)了問題。聯(lián)動控制與PLC通信在檢測到致命缺陷時輸出信號控制驗(yàn)布機(jī)自動停機(jī)或降速。2.5 系統(tǒng)服務(wù)與人機(jī)交互層這是系統(tǒng)的“臉面”和“神經(jīng)系統(tǒng)”保證穩(wěn)定運(yùn)行和易于操作。服務(wù)化與進(jìn)程管理圖像采集、處理、通信等模塊應(yīng)作為獨(dú)立的服務(wù)如使用Python的multiprocessing或celery通過消息隊列如RabbitMQ, Redis進(jìn)行通信。這樣單個模塊崩潰不會導(dǎo)致整個系統(tǒng)宕機(jī)也便于分布式部署。配置化管理所有參數(shù)相機(jī)參數(shù)、算法閾值、分類規(guī)則必須通過配置文件如YAML或數(shù)據(jù)庫管理提供友好的GUI界面供工藝員調(diào)整而無需修改代碼。日志與監(jiān)控詳細(xì)的運(yùn)行日志Logging模塊至關(guān)重要用于故障回溯。系統(tǒng)健康看板實(shí)時顯示CPU/內(nèi)存占用、處理幀率、檢測統(tǒng)計等。數(shù)據(jù)管理建立缺陷樣本庫自動保存每一處缺陷的原圖、處理過程圖和特征數(shù)據(jù)。這是后續(xù)優(yōu)化算法、訓(xùn)練模型最寶貴的資產(chǎn)。3. 源碼核心模塊拆解與關(guān)鍵代碼實(shí)現(xiàn)光講架構(gòu)是紙上談兵我們直接切入代碼看看各個核心模塊具體怎么實(shí)現(xiàn)。這里我會用Python和OpenCV、PyTorch等庫來演示關(guān)鍵片段并解釋為什么這么寫。3.1 圖像采集與預(yù)處理模塊假設(shè)我們使用opencv-python和pypylon用于Basler等工業(yè)相機(jī)進(jìn)行采集。import cv2 import numpy as np from pypylon import pylon class ImageAcquisition: def __init__(self, camera_config): # 初始化相機(jī)例如Basler GigE相機(jī) self.camera pylon.InstantCamera(pylon.TlFactory.GetInstance().CreateFirstDevice()) self.camera.Open() # 配置參數(shù)曝光時間、增益、觸發(fā)模式等 self.camera.ExposureTime.SetValue(camera_config[exposure_time]) self.camera.AcquisitionMode.SetValue(Continuous) # 配置硬件觸發(fā) if camera_config[trigger] hardware: self.camera.TriggerMode.SetValue(On) self.camera.TriggerSource.SetValue(Line1) self.converter pylon.ImageFormatConverter() self.converter.OutputPixelFormat pylon.PixelType_BGR8packed self.converter.OutputBitAlignment pylon.OutputBitAlignment_MsbAligned def grab_image(self): 采集一幀圖像 grab_result self.camera.RetrieveResult(5000, pylon.TimeoutHandling_ThrowException) if grab_result.GrabSucceeded(): image self.converter.Convert(grab_result) img_array image.GetArray() # 得到numpy數(shù)組 grab_result.Release() return cv2.cvtColor(img_array, cv2.COLOR_BGR2GRAY) # 轉(zhuǎn)為灰度圖處理 return None def release(self): self.camera.Close() class ImagePreprocessor: staticmethod def flat_field_correction(img, blur_kernel_size51): 平場校正消除光照不均 # 使用大核高斯模糊估計背景光照 background cv2.GaussianBlur(img, (blur_kernel_size, blur_kernel_size), 0) # 防止除零并歸一化 corrected img.astype(np.float32) / (background.astype(np.float32) 1e-7) corrected np.clip(corrected * 128, 0, 255).astype(np.uint8) # 調(diào)整到合適亮度范圍 return corrected staticmethod def enhance_defect(img, methodtophat, kernel_size5): 增強(qiáng)缺陷對比度 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (kernel_size, kernel_size)) if method tophat: # 頂帽變換突出比背景亮的細(xì)小區(qū)域如白點(diǎn)、亮線 return cv2.morphologyEx(img, cv2.MORPH_TOPHAT, kernel) elif method blackhat: # 底帽變換突出比背景暗的細(xì)小區(qū)域如黑點(diǎn)、暗線 return cv2.morphologyEx(img, cv2.MORPH_BLACKHAT, kernel) return img關(guān)鍵點(diǎn)解析硬件觸發(fā)在__init__中配置觸發(fā)模式這是實(shí)現(xiàn)圖像與布匹位置同步的關(guān)鍵。Line1通常對應(yīng)相機(jī)物理接口的觸發(fā)信號線。平場校正flat_field_correction函數(shù)是預(yù)處理的核心。用大核模糊模擬光照背景原圖除以背景后光照均勻的區(qū)域值接近1暗區(qū)變亮亮區(qū)變暗整體亮度趨于一致。1e-7是為了防止背景圖某像素為零導(dǎo)致除零錯誤。形態(tài)學(xué)增強(qiáng)enhance_defect函數(shù)使用形態(tài)學(xué)操作。頂帽變換原圖 - 開運(yùn)算能提取比背景亮的小物體非常適合檢測白斑、亮絲底帽變換閉運(yùn)算 - 原圖則用于檢測黑點(diǎn)、暗痕。這是增強(qiáng)低對比度缺陷的經(jīng)典手法。3.2 傳統(tǒng)算法檢測模塊我們實(shí)現(xiàn)一個結(jié)合閾值和Blob分析的檢測器。class TraditionalDefectDetector: def __init__(self, threshold_typeadaptive, min_area10, max_area1000): self.threshold_type threshold_type self.min_area min_area self.max_area max_area def detect(self, img): 返回缺陷列表每個缺陷是一個字典包含輪廓、外接矩形、面積等。 # 1. 圖像增強(qiáng) (可選) enhanced ImagePreprocessor.enhance_defect(img, methodtophat) # 2. 閾值分割 if self.threshold_type global: _, binary cv2.threshold(enhanced, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU) elif self.threshold_type adaptive: # 自適應(yīng)閾值對光照不均更魯棒 binary cv2.adaptiveThreshold(enhanced, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 11, 2) # 3. 噪聲去除形態(tài)學(xué)開運(yùn)算 kernel np.ones((3,3), np.uint8) binary cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel, iterations1) # 4. 查找輪廓 (Blob分析) contours, _ cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) defects [] for cnt in contours: area cv2.contourArea(cnt) # 5. 面積過濾 if self.min_area area self.max_area: x, y, w, h cv2.boundingRect(cnt) # 可以計算更多特征周長、圓形度、長寬比等用于后續(xù)分類 perimeter cv2.arcLength(cnt, True) circularity 4 * np.pi * area / (perimeter ** 2) if perimeter 0 else 0 defect_info { contour: cnt, bbox: (x, y, w, h), # 外接矩形 area: area, circularity: circularity, centroid: (int(xw/2), int(yh/2)) # 中心點(diǎn) } defects.append(defect_info) return defects, binary關(guān)鍵點(diǎn)解析閾值選擇提供了全局閾值OTSU和自適應(yīng)閾值兩種方式。OTSU適用于雙峰直方圖自適應(yīng)閾值A(chǔ)DAPTIVE_THRESH_GAUSSIAN_C在光照不均時表現(xiàn)更好它計算像素鄰域的高斯加權(quán)均值作為閾值。形態(tài)學(xué)開運(yùn)算cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel)。先腐蝕后膨脹能有效去除二值圖像中的小白點(diǎn)噪聲而不影響大的缺陷區(qū)域。輪廓分析與特征提取cv2.findContours找到所有連通域。然后通過面積過濾掉太小的噪聲和太大的非缺陷區(qū)域可能是陰影或圖像邊緣。提取的特征如圓形度是后續(xù)區(qū)分破洞圓形度高和劃痕圓形度低的關(guān)鍵。3.3 深度學(xué)習(xí)模型集成模塊這里以集成一個PyTorch訓(xùn)練的YOLOv5模型為例。import torch import numpy as np class DeepLearningDetector: def __init__(self, model_path, devicecuda:0 if torch.cuda.is_available() else cpu): self.device torch.device(device) # 加載自定義訓(xùn)練的YOLOv5模型 self.model torch.hub.load(ultralytics/yolov5, custom, pathmodel_path, force_reloadFalse) self.model.to(self.device).eval() # 設(shè)置為評估模式 # 設(shè)置推理參數(shù) self.model.conf 0.25 # 置信度閾值 self.model.iou 0.45 # NMS的IoU閾值 def detect(self, img_bgr): img_bgr: BGR格式的numpy圖像 返回: results.pandas().xyxy[0] DataFrame包含bbox和置信度等信息 # YOLOv5期望RGB圖像 img_rgb cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB) # 進(jìn)行推理 with torch.no_grad(): # 禁用梯度計算節(jié)省內(nèi)存和計算 results self.model(img_rgb, size640) # 可以調(diào)整size平衡速度和精度 # 解析結(jié)果 detections results.pandas().xyxy[0] # DataFrame: xmin, ymin, xmax, ymax, confidence, class, name return detections def filter_and_map(self, detections, roi_maskNone): 對檢測結(jié)果進(jìn)行過濾和坐標(biāo)映射。 roi_mask: 可選一個二值掩碼只保留在掩碼內(nèi)的檢測框。 filtered [] for idx, det in detections.iterrows(): x1, y1, x2, y2, conf, cls_id, cls_name det # 1. 置信度過濾 (已在模型中設(shè)置這里可做二次過濾) if conf 0.5: # 比模型conf更嚴(yán)格的閾值 continue # 2. ROI區(qū)域過濾 if roi_mask is not None: # 計算檢測框中心點(diǎn) cx, cy int((x1x2)/2), int((y1y2)/2) if roi_mask[cy, cx] 0: # 中心點(diǎn)不在ROI內(nèi) continue # 3. 可以添加其他過濾規(guī)則如最小面積等 bbox_area (x2 - x1) * (y2 - y1) if bbox_area 20: continue filtered.append({ bbox: (int(x1), int(y1), int(x2), int(y2)), confidence: conf, class_name: cls_name, class_id: int(cls_id) }) return filtered關(guān)鍵點(diǎn)解析模型加載與配置使用torch.hub方便地加載YOLOv5。model.to(device).eval()是關(guān)鍵將模型移到GPU并設(shè)置為評估模式關(guān)閉Dropout等訓(xùn)練層。model.conf和model.iou是控制檢測靈敏度和重疊框合并的重要參數(shù)。推理與后處理with torch.no_grad()上下文管理器在推理時必不可少能顯著減少內(nèi)存占用。results.pandas().xyxy[0]是YOLOv5提供的便捷方法直接將結(jié)果轉(zhuǎn)為Pandas DataFrame包含邊界框、置信度和類別。結(jié)果過濾filter_and_map函數(shù)展示了如何對原始檢測結(jié)果進(jìn)行二次加工。除了置信度過濾ROI過濾非常實(shí)用可以確保只檢測布匹區(qū)域內(nèi)的目標(biāo)忽略傳送帶邊緣等干擾。計算框中心點(diǎn)是否在ROI內(nèi)是一個高效的方法。3.4 主控與業(yè)務(wù)邏輯模塊這是將各個模塊串聯(lián)起來的“調(diào)度中心”。import time import json from dataclasses import dataclass, asdict from typing import List, Optional dataclass class DefectRecord: 缺陷記錄數(shù)據(jù)類 defect_id: int frame_id: int timestamp: float bbox: tuple # (x, y, w, h) 或 (x1, y1, x2, y2) defect_type: str confidence: float physical_position_m: float # 物理位置單位米 image_patch: Optional[np.ndarray] None # 可選的缺陷小圖 class InspectionSystem: def __init__(self, config_pathconfig.yaml): self.load_config(config_path) self.cam ImageAcquisition(self.config[camera]) self.preprocessor ImagePreprocessor() # 可以選擇性初始化傳統(tǒng)和深度學(xué)習(xí)檢測器 self.trad_detector TraditionalDefectDetector(**self.config[traditional]) if self.config[deep_learning][enable]: self.dl_detector DeepLearningDetector(**self.config[deep_learning]) self.defect_records: List[DefectRecord] [] self.frame_counter 0 self.total_length_m 0.0 # 假設(shè)編碼器每幀脈沖對應(yīng)布匹運(yùn)動距離米 self.meter_per_pulse self.config[encoder][meter_per_pulse] def run_inspection_cycle(self): 主檢測循環(huán) try: while True: start_time time.time() # 1. 采集 raw_img self.cam.grab_image() if raw_img is None: time.sleep(0.001) continue self.frame_counter 1 # 更新布匹累計長度 (簡化模型實(shí)際應(yīng)根據(jù)編碼器脈沖) self.total_length_m self.meter_per_pulse # 2. 預(yù)處理 corrected_img self.preprocessor.flat_field_correction(raw_img) roi_img self._extract_roi(corrected_img) # 3. 檢測 (混合策略) all_defects [] # 3.1 傳統(tǒng)算法快速初篩 trad_defects, binary_mask self.trad_detector.detect(roi_img) for d in trad_defects: # 將傳統(tǒng)檢測結(jié)果轉(zhuǎn)換為統(tǒng)一格式 x,y,w,h d[bbox] all_defects.append({ bbox: (x,y,w,h), type: self._classify_by_features(d), # 根據(jù)特征簡單分類 confidence: 0.9, # 傳統(tǒng)算法給一個固定高置信度 source: traditional }) # 3.2 深度學(xué)習(xí)精判 (只在傳統(tǒng)算法發(fā)現(xiàn)可疑區(qū)域或定時觸發(fā)) if self.config[deep_learning][enable] and (len(trad_defects) 0 or self.frame_counter % 10 0): # 將ROI圖像轉(zhuǎn)為BGR供YOLO使用 roi_img_bgr cv2.cvtColor(roi_img, cv2.COLOR_GRAY2BGR) dl_detections self.dl_detector.detect(roi_img_bgr) filtered_dl self.dl_detector.filter_and_map(dl_detections) for d in filtered_dl: all_defects.append({ bbox: d[bbox], type: d[class_name], confidence: d[confidence], source: deep_learning }) # 4. 去重與融合 (避免傳統(tǒng)和深度學(xué)習(xí)重復(fù)報告同一缺陷) fused_defects self._fuse_detections(all_defects) # 5. 業(yè)務(wù)處理 for defect in fused_defects: record DefectRecord( defect_idlen(self.defect_records)1, frame_idself.frame_counter, timestamptime.time(), bboxdefect[bbox], defect_typedefect[type], confidencedefect[confidence], physical_position_mself.total_length_m, # 簡化計算 ) self.defect_records.append(record) self._trigger_action(record) # 觸發(fā)打標(biāo)、報警等 # 6. 性能監(jiān)控與日志 cycle_time (time.time() - start_time) * 1000 # 毫秒 fps 1.0 / (cycle_time / 1000) if cycle_time 0 else 0 if self.frame_counter % 100 0: print(fFrame: {self.frame_counter}, FPS: {fps:.1f}, Defects found: {len(fused_defects)}) # 控制循環(huán)頻率模擬實(shí)時性 time.sleep(max(0, 1/self.config[target_fps] - (time.time()-start_time))) except KeyboardInterrupt: print(Inspection stopped by user.) finally: self.cam.release() self._generate_report() def _fuse_detections(self, detections, iou_threshold0.5): 使用NMS融合重疊的檢測框 if not detections: return [] # 簡化的基于IoU的融合 boxes [d[bbox] for d in detections] scores [d[confidence] for d in detections] # 這里可以使用標(biāo)準(zhǔn)的NMS算法如torchvision.ops.nms # 為簡化假設(shè)我們只保留每個重疊群中置信度最高的那個 fused [] # ... (實(shí)現(xiàn)NMS邏輯) return fused def _trigger_action(self, record): 根據(jù)缺陷記錄觸發(fā)相應(yīng)動作 if record.confidence 0.7 and record.defect_type in [hole, oil_stain]: # A類缺陷 # 發(fā)送信號給PLC控制打標(biāo)或停機(jī) # 例如通過socket或modbus TCP print(f[ALARM] A類缺陷于位置 {record.physical_position_m:.2f}m: {record.defect_type}) # 保存缺陷小圖到數(shù)據(jù)庫或文件系統(tǒng) if self.config[save_defect_patch]: self._save_defect_image(record) def _generate_report(self): 生成檢測報告 report { total_length_m: self.total_length_m, total_frames: self.frame_counter, total_defects: len(self.defect_records), defects_by_type: {}, defect_positions: [asdict(r) for r in self.defect_records] } for r in self.defect_records: report[defects_by_type][r.defect_type] report[defects_by_type].get(r.defect_type, 0) 1 with open(finspection_report_{int(time.time())}.json, w) as f: json.dump(report, f, indent2) print(f報告已生成。)關(guān)鍵點(diǎn)解析數(shù)據(jù)流封裝使用DefectRecord這個數(shù)據(jù)類來統(tǒng)一管理缺陷信息包括物理位置這為后續(xù)的質(zhì)量追溯和報表生成提供了結(jié)構(gòu)化數(shù)據(jù)。混合檢測策略在run_inspection_cycle中先運(yùn)行快速的傳統(tǒng)檢測只有當(dāng)發(fā)現(xiàn)可疑目標(biāo)或每隔N幀self.frame_counter % 10 0時才調(diào)用計算量大的深度學(xué)習(xí)模型。這是平衡速度和精度的經(jīng)典模式。結(jié)果融合_fuse_detections函數(shù)至關(guān)重要。傳統(tǒng)算法和深度學(xué)習(xí)模型可能對同一個缺陷都做出報告需要通過NMS非極大值抑制基于IoU交并比進(jìn)行去重只保留置信度最高的一個。業(yè)務(wù)聯(lián)動_trigger_action函數(shù)將檢測結(jié)果轉(zhuǎn)化為實(shí)際的生產(chǎn)動作如報警、打標(biāo)。這里需要與硬件PLC進(jìn)行通信通常使用Socket、Modbus TCP/IP或OPC UA等工業(yè)協(xié)議。性能與日志循環(huán)中計算并打印FPS是監(jiān)控系統(tǒng)實(shí)時性的重要手段。定期生成結(jié)構(gòu)化的JSON報告便于集成到MES系統(tǒng)。4. 從實(shí)驗(yàn)室到產(chǎn)線部署、優(yōu)化與避坑指南有了源碼和核心模塊只是萬里長征第一步。讓系統(tǒng)在嘈雜、震動的工業(yè)現(xiàn)場穩(wěn)定運(yùn)行才是真正的挑戰(zhàn)。這部分分享的都是真金白銀換來的經(jīng)驗(yàn)。4.1 部署架構(gòu)與性能優(yōu)化邊緣計算與工控機(jī)選型不建議用普通的辦公電腦。選擇工業(yè)級工控機(jī)具備堅固、防塵、寬溫特性。CPU至少i7以上GPU根據(jù)深度學(xué)習(xí)模型需求選擇如NVIDIA RTX A2000, A4000等專業(yè)卡。如果產(chǎn)線有多臺驗(yàn)布機(jī)可以考慮“邊緣工控機(jī)中心服務(wù)器”的模式。邊緣機(jī)負(fù)責(zé)實(shí)時采集和輕量級處理將可疑圖像和結(jié)果上傳至中心服務(wù)器進(jìn)行深度學(xué)習(xí)分析和數(shù)據(jù)存儲。軟件環(huán)境固化使用Docker容器化部署是絕佳選擇。將Python環(huán)境、依賴庫、模型文件全部打包進(jìn)一個鏡像。這保證了開發(fā)、測試、生產(chǎn)環(huán)境的一致性避免了“在我機(jī)器上好好的”這類問題。配合docker-compose可以輕松管理多個服務(wù)。實(shí)時性保障Python GIL問題Python的全局解釋器鎖GIL會影響多線程性能。對于計算密集型的圖像處理使用multiprocessing創(chuàng)建多個進(jìn)程或者將核心算法用C編寫如使用OpenCV的C接口通過ctypes或pybind11供Python調(diào)用。推理加速對于PyTorch模型使用TorchScript或ONNX格式導(dǎo)出并利用TensorRT或OpenVINO進(jìn)行推理優(yōu)化能獲得數(shù)倍的性能提升。對于Intel平臺OpenVINO對OpenCV操作也有很好的加速效果。流水線并行將采集、預(yù)處理、檢測、后處理等步驟設(shè)計成生產(chǎn)者-消費(fèi)者模式用隊列queue.Queue連接實(shí)現(xiàn)流水線并行充分利用多核CPU。4.2 數(shù)據(jù)模型效果的基石模型的上限由數(shù)據(jù)決定算法的價值在于逼近這個上限。數(shù)據(jù)采集的“臟”與“凈”一定要在真實(shí)的產(chǎn)線環(huán)境下采集數(shù)據(jù)包含各種光照條件、布料顏色、機(jī)器振動狀態(tài)下的圖像。干凈的實(shí)驗(yàn)室數(shù)據(jù)訓(xùn)練出的模型一到產(chǎn)線就“瞎了”。缺陷樣本的稀缺性與合成A類致命缺陷可能萬米布匹才出現(xiàn)一次。怎么辦主動制造缺陷在征得同意后在布匹上人工制造一些典型的缺陷如用針戳小洞、滴一滴油進(jìn)行采集。這是獲取真實(shí)形態(tài)缺陷最快的方法。數(shù)據(jù)合成Data Augmentation不僅僅是旋轉(zhuǎn)翻轉(zhuǎn)。使用Copy-Paste技術(shù)從已有的缺陷圖片中摳出缺陷區(qū)域隨機(jī)粘貼到正常布匹圖像上并施加光照、模糊等變換能極大地擴(kuò)充數(shù)據(jù)集。生成對抗網(wǎng)絡(luò)GAN訓(xùn)練一個GAN來生成各種逼真的缺陷圖像。但這需要較強(qiáng)的算法功底和計算資源。標(biāo)注工具與規(guī)范推薦使用LabelImg,CVAT,Roboflow等工具。標(biāo)注時要制定嚴(yán)格的規(guī)范對于破洞是標(biāo)整個不規(guī)則區(qū)域還是外接矩形對于細(xì)長的斷經(jīng)是標(biāo)成線條還是標(biāo)出其最小外接矩形統(tǒng)一的標(biāo)注規(guī)范是模型訓(xùn)練一致性的前提。4.3 模型訓(xùn)練與調(diào)參實(shí)戰(zhàn)從預(yù)訓(xùn)練模型開始千萬不要從零開始訓(xùn)練。使用在ImageNet或COCO上預(yù)訓(xùn)練的模型如YOLOv5的yolov5s.pt進(jìn)行遷移學(xué)習(xí)。這能極大加快收斂速度提升小數(shù)據(jù)集上的表現(xiàn)。損失函數(shù)的選擇對于布匹缺陷檢測正負(fù)樣本極不平衡。使用Focal Loss可以自動降低容易分類樣本的權(quán)重讓模型更關(guān)注難例那些不明顯的小缺陷。學(xué)習(xí)率與優(yōu)化器使用AdamW優(yōu)化器并配合CosineAnnealingLR或OneCycleLR等學(xué)習(xí)率調(diào)度策略。初始學(xué)習(xí)率可以設(shè)得小一些如1e-4避免“沖過頭”。驗(yàn)證與早停將數(shù)據(jù)分為訓(xùn)練集、驗(yàn)證集、測試集。驗(yàn)證集用于訓(xùn)練過程中的模型選擇和調(diào)參測試集只在最后評估一次模擬真實(shí)場景。監(jiān)控驗(yàn)證集損失當(dāng)其連續(xù)多個epoch不下降時啟動早停Early Stopping防止過擬合。模型輕量化如果部署在算力有限的邊緣設(shè)備考慮使用輕量級模型如YOLOv5的yolov5nnano版本或MobileNet、ShuffleNet作為Backbone的檢測網(wǎng)絡(luò)。也可以使用模型剪枝、量化等技術(shù)來壓縮模型。4.4 現(xiàn)場調(diào)試與持續(xù)維護(hù)參數(shù)的可視化調(diào)整開發(fā)一個簡單的GUI工具能實(shí)時調(diào)整預(yù)處理參數(shù)如高斯模糊核大小、閾值、檢測參數(shù)置信度閾值、NMS閾值并實(shí)時看到處理效果和檢測結(jié)果。這能極大提高工藝員調(diào)試的效率。誤報與漏報分析建立一個“問題樣本庫”專門存放系統(tǒng)誤報好布報缺陷和漏報有缺陷沒檢出的圖片。定期分析這些樣本找出原因是光照變化是新型缺陷還是模型能力不足針對性地補(bǔ)充數(shù)據(jù)、調(diào)整參數(shù)或重新訓(xùn)練模型。模型的在線學(xué)習(xí)與迭代系統(tǒng)運(yùn)行一段時間后會積累大量新的、標(biāo)注好的數(shù)據(jù)包括誤報漏報樣本?？梢远ㄆ谌缑恐苡眯聰?shù)據(jù)對模型進(jìn)行增量訓(xùn)練Fine-tuning讓模型持續(xù)進(jìn)化適應(yīng)布料品種、季節(jié)變化帶來的影響。穩(wěn)定性監(jiān)控除了監(jiān)控系統(tǒng)本身的CPU/內(nèi)存還要監(jiān)控業(yè)務(wù)指標(biāo)如“每百米缺陷數(shù)”的波動是否在正常范圍內(nèi)如果突然飆升可能是傳感器臟了、光源老化也可能是前道工序真的出了問題。將檢測系統(tǒng)作為生產(chǎn)質(zhì)量監(jiān)控的“哨兵”。從一行行代碼到一個在產(chǎn)線上穩(wěn)定運(yùn)行的“AI質(zhì)檢員”中間充滿了工程細(xì)節(jié)的魔鬼。但正是對這些細(xì)節(jié)的掌控區(qū)分了一個玩具Demo和一個工業(yè)級的產(chǎn)品。希望這份超詳細(xì)的拆解能為你打開一扇門不僅僅是獲得一套源碼更是理解如何打造一個真正可用的工業(yè)視覺系統(tǒng)。剩下的就是結(jié)合你自己的具體場景去調(diào)試、去優(yōu)化、去踩坑然后收獲那份讓機(jī)器代替人眼穩(wěn)定工作的成就感。本文還有配套的精品資源點(diǎn)擊獲取