1. 項(xiàng)目概述從“摳圖”到“分割”圖像處理的兩大基石在圖像處理與計(jì)算機(jī)視覺的日常工作中無論是做產(chǎn)品宣傳圖、影視后期還是開發(fā)一個(gè)智能相冊應(yīng)用我們常常會(huì)遇到一個(gè)核心需求如何把圖片里的某個(gè)主體比如一個(gè)人、一輛車、一只貓精準(zhǔn)地“拿”出來。這個(gè)“拿”出來的過程背后主要依賴兩大技術(shù)Matting摳圖和Segmentation分割。乍一看它們的目標(biāo)似乎都是把主體從背景中分離但內(nèi)里的技術(shù)邏輯、應(yīng)用場景和實(shí)現(xiàn)難度卻天差地別。我從業(yè)十多年處理過無數(shù)相關(guān)的項(xiàng)目也踩過不少坑今天就來和大家深入聊聊這兩個(gè)概念以及如何為你的項(xiàng)目選擇合適的數(shù)據(jù)集。簡單來說分割更像是一個(gè)“硬切”的過程。它把圖像劃分成若干個(gè)互不重疊的區(qū)域每個(gè)像素都被明確地分配到一個(gè)類別標(biāo)簽比如“人”、“天空”、“草地”。它的輸出通常是一個(gè)掩碼Mask像素值為0背景或1前景邊界分明。而摳圖則是一個(gè)“軟處理”的藝術(shù)。它專注于處理前景與背景交界處的半透明、毛發(fā)、玻璃、煙霧等復(fù)雜區(qū)域其核心輸出是一個(gè)透明度通道即Alpha Matte。這個(gè)Alpha值在0到1之間連續(xù)變化0代表完全透明背景1代表完全不透明前景而0.5則代表半透明。因此摳圖能實(shí)現(xiàn)極其自然、平滑的融合效果是高質(zhì)量合成不可或缺的一環(huán)。理解這兩者的區(qū)別是選擇正確工具和數(shù)據(jù)集的第一步。如果你只是需要大致區(qū)分物體比如在自動(dòng)駕駛中識別道路和車輛分割就足夠了。但如果你需要把人物的發(fā)絲、寵物的絨毛完美地?fù)赋鰜頁Q到一個(gè)新背景里且毫無違和感那就必須用到摳圖技術(shù)。接下來我將拆解這兩個(gè)領(lǐng)域并分享如何構(gòu)建和使用相關(guān)數(shù)據(jù)集的核心經(jīng)驗(yàn)。2. 核心概念深度解析Matting與Segmentation的本質(zhì)區(qū)別2.1 任務(wù)定義與輸出形式圖像分割的任務(wù)本質(zhì)是像素級分類。給定一張圖像分割模型的目標(biāo)是為每一個(gè)像素分配一個(gè)離散的類別標(biāo)簽。常見的任務(wù)類型包括語義分割只區(qū)分類別不區(qū)分個(gè)體。例如圖片中所有的“人”都屬于同一個(gè)標(biāo)簽不關(guān)心是張三還是李四。實(shí)例分割在語義分割的基礎(chǔ)上進(jìn)一步區(qū)分同一類別的不同個(gè)體。例如能標(biāo)出圖片中“人A”、“人B”、“車1”、“車2”。全景分割語義分割和實(shí)例分割的結(jié)合旨在為圖像中的每個(gè)像素分配一個(gè)唯一的實(shí)例ID 類別ID對是當(dāng)前最全面的分割任務(wù)。分割的輸出是一個(gè)與輸入圖像同尺寸的掩碼圖通常用不同的顏色或整數(shù)索引來表示不同類別或?qū)嵗?。它的邊界是“硬”的?即1。圖像摳圖的任務(wù)本質(zhì)是像素級透明度估計(jì)。它的輸入通常是一張圖像和一個(gè)大致的前景區(qū)域提示如Trimap或涂鴉。Trimap是一張三值圖將圖像區(qū)域明確分為三部分確定前景白色 Alpha1、確定背景黑色 Alpha0和未知區(qū)域灰色 Alpha待估計(jì)。模型的核心工作就是精準(zhǔn)地估計(jì)未知區(qū)域內(nèi)每個(gè)像素的Alpha值。摳圖的輸出是一個(gè)與輸入圖像同尺寸的灰度圖Alpha Matte每個(gè)像素的灰度值0-255對應(yīng)其透明度0-1。正是這種連續(xù)的透明度信息使得前景物體尤其是邊緣能與新背景實(shí)現(xiàn)無縫、自然的融合。2.2 技術(shù)難點(diǎn)與應(yīng)用場景對比兩者的技術(shù)挑戰(zhàn)截然不同分割的難點(diǎn)在于類間相似性和小目標(biāo)識別。例如區(qū)分遠(yuǎn)處的摩托車和自行車或者精確分割出圖像中細(xì)小的交通標(biāo)志。它追求的是類別判斷的準(zhǔn)確性。摳圖的難點(diǎn)在于復(fù)雜邊緣的透明度估計(jì)。這是計(jì)算機(jī)視覺中最具挑戰(zhàn)性的問題之一。難點(diǎn)集中在半透明物體如玻璃杯、薄紗、水花其本身就有透光性。高頻細(xì)節(jié)邊緣最典型的就是人的頭發(fā)絲、動(dòng)物的毛發(fā)、樹葉的邊緣。這些區(qū)域顏色和結(jié)構(gòu)極其復(fù)雜前景和背景信息高度交織。前景與背景顏色相似例如一個(gè)穿白衣服的人站在白墻前顏色線索幾乎失效必須依賴更高級的紋理和結(jié)構(gòu)理解。正因?yàn)殡y點(diǎn)不同它們的應(yīng)用場景也涇渭分明分割的典型場景自動(dòng)駕駛道路、車輛、行人感知、醫(yī)學(xué)影像分析腫瘤區(qū)域劃分、遙感圖像解譯土地利用分類、手機(jī)人像模式粗略背景虛化。摳圖的典型場景影視特效與后期制作綠幕摳像、角色合成、專業(yè)攝影與平面設(shè)計(jì)商品精修、人像藝術(shù)照、視頻會(huì)議與直播虛擬背景替換、手機(jī)App中的高級人像摳圖發(fā)絲級精度。注意不要混淆“人像分割”和“人像摳圖”。手機(jī)自帶的人像模式大多用的是分割虛化邊緣生硬而專業(yè)攝影軟件或某些App的“發(fā)絲摳圖”功能使用的才是摳圖技術(shù)。3. 數(shù)據(jù)集構(gòu)建的核心要素與實(shí)戰(zhàn)要點(diǎn)無論是研究還是產(chǎn)品開發(fā)數(shù)據(jù)集的質(zhì)量直接決定了模型性能的天花板。下面我結(jié)合實(shí)戰(zhàn)經(jīng)驗(yàn)分別闡述構(gòu)建和選擇Matting與Segmentation數(shù)據(jù)集時(shí)需要關(guān)注的核心要素。3.1 Matting數(shù)據(jù)集的構(gòu)建精度至上一個(gè)高質(zhì)量的摳圖數(shù)據(jù)集其價(jià)值在于提供了精確到像素級的Alpha真值。構(gòu)建過程極其耗時(shí)耗力通常有以下幾種方式專業(yè)軟件手工標(biāo)注這是黃金標(biāo)準(zhǔn)。使用如Adobe Photoshop等專業(yè)工具由經(jīng)驗(yàn)豐富的設(shè)計(jì)師利用通道、鋼筆工具、邊緣調(diào)整等花費(fèi)數(shù)小時(shí)甚至更長時(shí)間為一張圖像制作完美的Alpha蒙版。這類數(shù)據(jù)精度最高但成本也極高。代表數(shù)據(jù)集Adobe Image Matting數(shù)據(jù)集它包含了269張訓(xùn)練圖和10張測試圖如著名的“Troll”、“Net”等已成為學(xué)術(shù)界的基準(zhǔn)測試集。合成數(shù)據(jù)這是目前獲取大量訓(xùn)練數(shù)據(jù)的主流方法。流程是收集高質(zhì)量的前景圖帶純凈背景如綠幕拍攝的素材及其對應(yīng)的精準(zhǔn)Alpha圖。收集多樣化的背景圖庫。使用合成算法如泊松融合等將前景與背景結(jié)合同時(shí)可以模擬運(yùn)動(dòng)模糊、顏色偏移等真實(shí)噪聲。優(yōu)勢是數(shù)據(jù)量可以無限擴(kuò)充且擁有絕對準(zhǔn)確的Ground Truth。Distinction-646和AM-2k等大型數(shù)據(jù)集都采用了合成策略。真實(shí)世界采集與半自動(dòng)標(biāo)注綠幕拍攝在可控環(huán)境下拍攝通過色度鍵控初步得到Alpha圖再人工精修。這是影視行業(yè)的常規(guī)做法。多設(shè)備采集例如同時(shí)使用RGB相機(jī)和深度傳感器深度信息有助于區(qū)分前景背景邊界。交互式標(biāo)注工具設(shè)計(jì)智能標(biāo)注工具標(biāo)注員只需簡單勾勒前景背景算法實(shí)時(shí)預(yù)覽摳圖結(jié)果并迭代修正能大幅提升標(biāo)注效率。構(gòu)建Matting數(shù)據(jù)集的關(guān)鍵注意事項(xiàng)Trimap的生成很多模型需要Trimap作為輸入。通常通過對Alpha真值進(jìn)行形態(tài)學(xué)膨脹和腐蝕操作來生成未知區(qū)域。未知區(qū)域的寬度是一個(gè)重要超參數(shù)太窄則挑戰(zhàn)性不足太寬則可能包含過多干擾信息。背景的多樣性對于合成數(shù)據(jù)背景庫必須足夠豐富涵蓋不同顏色、紋理、光照和復(fù)雜度的場景以避免模型過擬合到簡單的背景模式上。邊緣樣本的覆蓋必須包含大量頭發(fā)、絨毛、透明物體等困難樣本這些才是檢驗(yàn)摳圖算法實(shí)力的關(guān)鍵。3.2 Segmentation數(shù)據(jù)集的構(gòu)建規(guī)模與多樣性并重分割數(shù)據(jù)集的構(gòu)建更側(cè)重于類別體系的完整性和標(biāo)注的規(guī)模。標(biāo)注范式多邊形標(biāo)注標(biāo)注員用多邊形點(diǎn)序列勾勒出物體輪廓。這是最常用、最靈活的方式精度高適用于不規(guī)則物體。工具如LabelMe、CVAT。像素級涂鴉類似“油漆桶”工具直接對同一語義區(qū)域進(jìn)行填充。適合大面積、紋理均勻的區(qū)域如天空、道路。交互式分割基于點(diǎn)擊正負(fù)點(diǎn)或涂鴉的智能標(biāo)注由算法如Segment Anything Model初步生成掩碼人工進(jìn)行微調(diào)。這是目前效率最高的前沿方式。類別體系設(shè)計(jì)這是語義分割數(shù)據(jù)集的核心。需要根據(jù)應(yīng)用領(lǐng)域精心設(shè)計(jì)一個(gè)層次化、互斥且完備的類別列表。例如Cityscapes數(shù)據(jù)集專注于城市場景定義了19個(gè)類如道路、人行道、建筑、車輛等。設(shè)計(jì)時(shí)要考慮類別的實(shí)用性和標(biāo)注的可區(qū)分性。數(shù)據(jù)平衡自然圖像中類別分布通常是不平衡的如“天空”像素遠(yuǎn)多于“交通標(biāo)志”。在構(gòu)建數(shù)據(jù)集時(shí)需要有意識地對稀少類別進(jìn)行過采樣或在損失函數(shù)設(shè)計(jì)時(shí)引入類別權(quán)重防止模型忽略小目標(biāo)。構(gòu)建Segmentation數(shù)據(jù)集的關(guān)鍵注意事項(xiàng)標(biāo)注一致性管理當(dāng)有多人參與標(biāo)注時(shí)必須制定詳細(xì)的標(biāo)注規(guī)范并對邊界案例如“騎自行車的人”應(yīng)該標(biāo)為“人”還是“自行車人”進(jìn)行明確定義。定期進(jìn)行交叉審核和一致性檢查至關(guān)重要。邊緣處理物體邊緣像素的類別歸屬往往是模糊的。規(guī)范中需明確邊緣像素的處理方式如統(tǒng)一歸為物體內(nèi)部以減少噪聲。利用預(yù)標(biāo)注模型在項(xiàng)目初期可以先用一個(gè)在通用數(shù)據(jù)集如COCO上預(yù)訓(xùn)練的模型對自有圖片進(jìn)行推理得到初步掩碼再由標(biāo)注員修正。這可以節(jié)省大量初始標(biāo)注時(shí)間。4. 主流數(shù)據(jù)集評析與選型指南了解核心要素后我們來看看市面上有哪些“明星”數(shù)據(jù)集以及如何根據(jù)你的項(xiàng)目進(jìn)行選擇。4.1 經(jīng)典與前沿Matting數(shù)據(jù)集數(shù)據(jù)集名稱數(shù)據(jù)量特點(diǎn)與內(nèi)容適用場景注意事項(xiàng)Adobe Composition-1k前景431類 背景100源自Adobe官方包含高質(zhì)量前景和多樣背景用于合成訓(xùn)練數(shù)據(jù)。是學(xué)術(shù)研究的事實(shí)基準(zhǔn)。通用摳圖算法研究與評測測試集Adobe-1k的評估結(jié)果直接影響論文排名。需嚴(yán)格遵循其合成協(xié)議進(jìn)行比較。Distinction-646646張獨(dú)特前景前景物體類別豐富人、動(dòng)物、物品等提供精細(xì)Alpha和Trimap。挑戰(zhàn)性高于Adobe-1k。評估算法在多樣物體上的泛化能力包含許多困難樣本細(xì)密毛發(fā)、透明物能更好檢驗(yàn)?zāi)Ｐ汪敯粜?。AM-2k2000張動(dòng)物前景專注于動(dòng)物摳圖涵蓋多種毛發(fā)類型長毛、短毛、絨毛。動(dòng)物摳圖專項(xiàng)研究與應(yīng)用對于開發(fā)寵物照片處理、野生動(dòng)物分析應(yīng)用極具價(jià)值。PhotoMatte8585張人像專業(yè)級高分辨率人像摳圖數(shù)據(jù)集包含極度復(fù)雜的發(fā)型、配飾面紗。高端人像摳圖與商業(yè)應(yīng)用數(shù)據(jù)量小但質(zhì)量極高可用于模型微調(diào)以提升人像摳圖的極致效果。背景虛化數(shù)據(jù)集大量雙攝圖片對由手機(jī)雙攝系統(tǒng)采集提供帶背景虛化效果圖與原圖。人像模式算法研究更貼近移動(dòng)端實(shí)際應(yīng)用場景但真值虛化圖本身是由算法生成的并非完美Ground Truth。選型建議學(xué)術(shù)研究與基準(zhǔn)測試首選Adobe Composition-1k。任何新算法都應(yīng)在此數(shù)據(jù)集上進(jìn)行量化對比常用指標(biāo)SAD, MSE, Gradient, Connectivity。追求強(qiáng)泛化性的產(chǎn)品建議使用Distinction-646或類似大型合成數(shù)據(jù)集進(jìn)行訓(xùn)練并在多個(gè)專項(xiàng)數(shù)據(jù)集如AM-2k, PhotoMatte85上驗(yàn)證。垂直領(lǐng)域應(yīng)用直接尋找或構(gòu)建領(lǐng)域?qū)Ｓ脭?shù)據(jù)集。例如做影視摳像可以收集綠幕素材做商品摳圖可以搭建靜物攝影棚采集數(shù)據(jù)。4.2 經(jīng)典與前沿Segmentation數(shù)據(jù)集數(shù)據(jù)集名稱數(shù)據(jù)量類別數(shù)特點(diǎn)與場景適用階段COCO33萬圖像 200萬實(shí)例80物體類別通用物體識別與分割的標(biāo)桿。類別日常標(biāo)注質(zhì)量高包含實(shí)例分割標(biāo)注。通用模型預(yù)訓(xùn)練、遷移學(xué)習(xí)的起點(diǎn)。Cityscapes5000張精細(xì)標(biāo)注 20000張粗標(biāo)注19城市場景語義專注于自動(dòng)駕駛城市場景街拍圖像標(biāo)注極其精細(xì)。自動(dòng)駕駛、街景理解相關(guān)研究與應(yīng)用。PASCAL VOC約1.1萬張20歷史悠久是早期分割研究的基準(zhǔn)。規(guī)模現(xiàn)已偏小。學(xué)習(xí)、教學(xué)或輕量級模型快速驗(yàn)證。ADE20K2.5萬圖像150場景語義覆蓋室內(nèi)外多樣場景類別非常豐富包含場景解析。場景理解、語義分割研究需要模型有較強(qiáng)的分類能力。LVIS16.4萬圖像1200長尾分布大規(guī)模詞匯表實(shí)例分割類別呈長尾分布很多類別樣本極少。研究長尾識別、少樣本分割的絕佳數(shù)據(jù)集。選型建議通用模型預(yù)訓(xùn)練COCO是不二之選其豐富的類別和大量的數(shù)據(jù)能為模型提供強(qiáng)大的視覺基礎(chǔ)能力。自動(dòng)駕駛Cityscapes是行業(yè)標(biāo)準(zhǔn)。其精細(xì)的像素級標(biāo)注和真實(shí)的駕駛場景數(shù)據(jù)至關(guān)重要。學(xué)術(shù)創(chuàng)新根據(jù)研究方向選擇。研究少樣本學(xué)習(xí)看LVIS研究場景解析用ADE20K。工業(yè)應(yīng)用COCO預(yù)訓(xùn)練 自有數(shù)據(jù)微調(diào) 是最常見的 pipeline。你需要花費(fèi)主要精力在構(gòu)建高質(zhì)量、貼合自身業(yè)務(wù)場景的私有數(shù)據(jù)集上。5. 數(shù)據(jù)處理與訓(xùn)練實(shí)戰(zhàn)中的核心技巧有了數(shù)據(jù)集如何高效地用它來訓(xùn)練模型這里分享一些教科書里不常寫但實(shí)踐中至關(guān)重要的技巧。5.1 針對Matting數(shù)據(jù)的預(yù)處理與增強(qiáng)摳圖任務(wù)對邊緣信息極度敏感因此數(shù)據(jù)增強(qiáng)需要格外小心。聯(lián)合增強(qiáng)當(dāng)對輸入圖像進(jìn)行任何空間變換如旋轉(zhuǎn)、縮放、裁剪、翻轉(zhuǎn)時(shí)必須以完全相同的方式同步變換對應(yīng)的Alpha真值圖和Trimap圖。任何微小的錯(cuò)位都會(huì)在訓(xùn)練中引入災(zāi)難性的噪聲。在代碼中務(wù)必確保三者的變換參數(shù)完全一致。顏色增強(qiáng)的禁忌亮度、對比度、色彩抖動(dòng)等顏色空間增強(qiáng)可以安全地用于輸入圖像。但是絕對不要對Alpha真值圖進(jìn)行任何顏色或數(shù)值上的變換。Alpha圖是概率圖其值域必須嚴(yán)格保持在[0, 1]區(qū)間。Trimap的在線生成一種有效的策略是在訓(xùn)練時(shí)動(dòng)態(tài)地從Alpha真值生成不同“厚度”的Trimap。這可以增加模型的魯棒性使其不過度依賴特定寬度的未知區(qū)域。你可以隨機(jī)選擇腐蝕/膨脹的核大小。背景替換增強(qiáng)對于合成數(shù)據(jù)可以在訓(xùn)練時(shí)動(dòng)態(tài)地為前景匹配新的隨機(jī)背景這能極大地提升模型對未知背景的泛化能力防止模型“記住”了訓(xùn)練時(shí)的背景組合。5.2 針對Segmentation數(shù)據(jù)的預(yù)處理與增強(qiáng)分割任務(wù)的數(shù)據(jù)增強(qiáng)則更為通用和激進(jìn)。強(qiáng)空間增強(qiáng)大規(guī)模隨機(jī)裁剪、大角度隨機(jī)旋轉(zhuǎn)、水平翻轉(zhuǎn)、彈性形變等能有效提升模型對物體位置、姿態(tài)和尺度的不變性。對于Cityscapes這類街道圖像隨機(jī)水平翻轉(zhuǎn)是非常安全且有效的。類別平衡采樣在加載數(shù)據(jù)時(shí)不是隨機(jī)讀取圖片而是根據(jù)圖片中稀少類別的像素比例給圖片賦予更高的采樣權(quán)重。確保每個(gè)訓(xùn)練周期Epoch中模型都能看到足夠多的稀少類別樣本。標(biāo)簽平滑與邊緣模糊對于分割真值圖的邊緣像素可以嘗試進(jìn)行輕微的標(biāo)簽平滑如將硬標(biāo)簽0/1轉(zhuǎn)化為0.1/0.9或者有意識地將物體邊界區(qū)域在真值圖中進(jìn)行輕微的高斯模糊。這有助于緩解邊界像素標(biāo)注不一致帶來的訓(xùn)練噪聲讓模型學(xué)習(xí)到更平滑的邊界。多尺度訓(xùn)練在訓(xùn)練時(shí)將輸入圖像隨機(jī)縮放到多個(gè)尺度例如0.5x, 0.75x, 1.0x, 1.25x, 1.5x。這能讓模型學(xué)會(huì)處理不同大小的物體是提升模型性能的經(jīng)典技巧。5.3 模型訓(xùn)練與損失函數(shù)選擇Matting損失函數(shù)Alpha預(yù)測損失最直接的是在預(yù)測Alpha和真值A(chǔ)lpha之間計(jì)算L1或M2SE損失。L1損失對異常值更魯棒。組合損失許多SOTA模型采用L L_alpha w * L_composition。其中L_composition是在合成圖I_alpha alpha * F (1-alpha) * B與真實(shí)輸入圖之間計(jì)算的損失能利用顏色一致性提供額外監(jiān)督。梯度損失在Alpha預(yù)測的梯度圖上計(jì)算損失能強(qiáng)制模型學(xué)習(xí)到清晰的邊緣。過渡區(qū)域聚焦可以為Trimap中的未知區(qū)域像素分配更高的損失權(quán)重讓模型集中精力攻克最難的部分。Segmentation損失函數(shù)交叉熵?fù)p失最基礎(chǔ)、最常用的損失函數(shù)。對于類別不平衡問題需要使用帶權(quán)重的交叉熵?fù)p失根據(jù)類別頻率為其分配不同的權(quán)重。Dice Loss / Focal Loss這是處理類別不平衡的利器。Dice Loss直接優(yōu)化Dice系數(shù)即IoU對小目標(biāo)更友好。Focal Loss通過降低易分類樣本的權(quán)重讓模型更關(guān)注難分的樣本。聯(lián)合損失實(shí)踐中常常將多種損失結(jié)合使用例如L L_CE lambda * L_Dice結(jié)合了交叉熵的穩(wěn)定性和Dice Loss對不平衡數(shù)據(jù)的優(yōu)勢。6. 常見問題排查與效果調(diào)優(yōu)實(shí)錄在實(shí)際開發(fā)和調(diào)試中你一定會(huì)遇到各種問題。下面是我總結(jié)的一些典型問題及其排查思路。6.1 Matting模型常見問題問題1摳圖結(jié)果邊緣有“白邊”或“黑邊”色偏。原因分析這是最常見的摳圖合成問題俗稱“鑲邊”。根本原因在于模型預(yù)測的Alpha不準(zhǔn)確或者更常見的是前景顏色估計(jì)Color Estimation出現(xiàn)了偏差。在合成新圖像時(shí)公式是I_new alpha * F_est (1-alpha) * B_new。如果從原圖中估計(jì)出的前景色F_est仍然殘留了少量原背景的顏色那么在與新背景B_new合成時(shí)在邊緣半透明區(qū)域就會(huì)產(chǎn)生顏色不匹配形成白邊或黑邊。排查與解決檢查Alpha預(yù)測首先可視化Alpha預(yù)測圖看邊緣是否清晰、過渡是否平滑。如果Alpha圖本身在邊緣處就有鋸齒或噪聲那問題根源在此。需要優(yōu)化模型對邊緣的學(xué)習(xí)。檢查前景估計(jì)很多摳圖算法會(huì)同時(shí)輸出Alpha和前景色F。將估計(jì)的前景色F和原圖在未知區(qū)域進(jìn)行比較。如果F在邊緣處明顯偏離了物體本身的顏色說明前景估計(jì)模塊需要加強(qiáng)?？梢試L試使用更精細(xì)的網(wǎng)絡(luò)來估計(jì)前景或者在損失函數(shù)中加入前景重建損失。后處理-邊緣腐蝕一個(gè)實(shí)用的后處理技巧是對預(yù)測的Alpha圖進(jìn)行輕微的形態(tài)學(xué)腐蝕1-2個(gè)像素讓前景邊界向內(nèi)收縮一點(diǎn)點(diǎn)然后再進(jìn)行合成。這樣可以“藏”住有顏色偏差的最外緣像素雖然損失了一絲發(fā)絲細(xì)節(jié)但能有效消除肉眼可見的鑲邊在多數(shù)應(yīng)用中是可接受的權(quán)衡。問題2對于復(fù)雜發(fā)絲摳圖結(jié)果模糊或成團(tuán)塊狀。原因分析模型未能學(xué)習(xí)到高頻的細(xì)節(jié)信息?？赡茉蚓W(wǎng)絡(luò)感受野過大丟失了局部細(xì)節(jié)訓(xùn)練數(shù)據(jù)中缺乏足夠多、足夠高質(zhì)量的發(fā)絲樣本下采樣操作導(dǎo)致高頻信息丟失。排查與解決引入細(xì)節(jié)分支參考像MODNet這樣的模型設(shè)計(jì)使用一個(gè)高分辨率、淺層的分支專門用于預(yù)測細(xì)節(jié)豐富的Alpha邊緣再與主體分支融合。使用高頻損失在損失函數(shù)中增加對圖像高頻分量的約束例如在梯度域計(jì)算損失強(qiáng)迫模型恢復(fù)出銳利的邊緣。數(shù)據(jù)增強(qiáng)在訓(xùn)練數(shù)據(jù)中專門針對發(fā)絲區(qū)域進(jìn)行隨機(jī)裁剪放大讓模型“看清”頭發(fā)的結(jié)構(gòu)。6.2 Segmentation模型常見問題問題1模型對小目標(biāo)物體分割效果很差甚至完全檢測不到。原因分析這是類別不平衡和感受野問題的綜合體現(xiàn)。小目標(biāo)在圖像中像素占比少在標(biāo)準(zhǔn)交叉熵?fù)p失中貢獻(xiàn)的梯度也小容易被模型忽略。同時(shí)深層網(wǎng)絡(luò)的大感受野更適合捕捉大物體的上下文可能會(huì)“平滑掉”小目標(biāo)。排查與解決損失函數(shù)立即換用Focal Loss或Dice Loss。Focal Loss能自動(dòng)降低大目標(biāo)易分類樣本的權(quán)重聚焦于難分的小目標(biāo)。多尺度訓(xùn)練/測試如前所述使用多尺度訓(xùn)練。在推理時(shí)也可以采用多尺度測試并融合結(jié)果Test-Time Augmentation這對提升小目標(biāo)精度尤為有效。調(diào)整輸入分辨率嘗試提高網(wǎng)絡(luò)的輸入圖像分辨率。雖然這會(huì)增加計(jì)算量但能為小目標(biāo)保留更多像素信息。網(wǎng)絡(luò)結(jié)構(gòu)使用特征金字塔網(wǎng)絡(luò)FPN或U-Net等結(jié)構(gòu)它們能更好地融合淺層的高分辨率細(xì)節(jié)特征和深層的語義特征有利于小目標(biāo)分割。問題2物體邊界分割鋸齒感嚴(yán)重不夠平滑。原因分析網(wǎng)絡(luò)輸出的特征圖經(jīng)過多次下采樣和上采樣后邊界信息丟失或模糊最終預(yù)測時(shí)直接使用Argmax進(jìn)行硬決策導(dǎo)致邊界像素非0即1。排查與解決使用條件隨機(jī)場在模型后處理中加入全連接條件隨機(jī)場DenseCRF。CRF能夠結(jié)合原始圖像的顏色和紋理信息對初始分割圖的邊界進(jìn)行平滑和細(xì)化是提升邊界質(zhì)量的經(jīng)典后處理手段。很多早期模型如DeepLabv2都采用了這一策略。改進(jìn)上采樣將簡單的雙線性插值上采樣替換為可學(xué)習(xí)的轉(zhuǎn)置卷積或亞像素卷積讓網(wǎng)絡(luò)自己學(xué)習(xí)如何更好地重建邊界。邊界感知損失在訓(xùn)練時(shí)額外增加一個(gè)邊界預(yù)測任務(wù)或者直接在損失函數(shù)中為邊界區(qū)域的像素分配更高的權(quán)重引導(dǎo)模型更關(guān)注邊界的準(zhǔn)確性。問題3模型在訓(xùn)練集上表現(xiàn)很好但在驗(yàn)證集或新數(shù)據(jù)上表現(xiàn)下降過擬合。原因分析模型過于復(fù)雜記住了訓(xùn)練數(shù)據(jù)的噪聲而非一般規(guī)律或訓(xùn)練數(shù)據(jù)多樣性不足與真實(shí)數(shù)據(jù)分布有差距。排查與解決數(shù)據(jù)增強(qiáng)這是對抗過擬合的第一道防線。檢查并加強(qiáng)你的數(shù)據(jù)增強(qiáng)策略確保其足夠多樣化和隨機(jī)化。正則化增加Dropout層、權(quán)重衰減L2正則化。早停持續(xù)監(jiān)控驗(yàn)證集指標(biāo)當(dāng)指標(biāo)不再提升時(shí)果斷停止訓(xùn)練。簡化模型如果數(shù)據(jù)量有限考慮使用更小、參數(shù)更少的網(wǎng)絡(luò)架構(gòu)。檢查數(shù)據(jù)分布確保驗(yàn)證集/測試集與訓(xùn)練集來自同一分布。如果收集了新數(shù)據(jù)可能需要重新審視數(shù)據(jù)清洗和標(biāo)注流程。無論是摳圖還是分割從數(shù)據(jù)集構(gòu)建到模型調(diào)優(yōu)每一個(gè)環(huán)節(jié)都充滿了細(xì)節(jié)和挑戰(zhàn)。我的經(jīng)驗(yàn)是永遠(yuǎn)不要忽視數(shù)據(jù)質(zhì)量本身它比任何精巧的模型結(jié)構(gòu)都重要。在開始設(shè)計(jì)復(fù)雜的網(wǎng)絡(luò)之前花時(shí)間分析你的數(shù)據(jù)理解其中的難點(diǎn)和分布構(gòu)建一個(gè)干凈、有代表性的數(shù)據(jù)集往往能事半功倍。當(dāng)模型效果不如預(yù)期時(shí)也請首先回到數(shù)據(jù)層面進(jìn)行檢查可視化一些失敗的案例看看問題究竟出在數(shù)據(jù)標(biāo)注不清、樣本太難還是模型本身的能力瓶頸。這種數(shù)據(jù)驅(qū)動(dòng)的調(diào)試思路能幫助你更高效地定位和解決問題。