先說一個可能讓很多人意外的事實CLIP之所以能在2021年之后深刻改變整個AI視覺領(lǐng)域靠的不是“更深的網(wǎng)絡(luò)”或“更強(qiáng)的算力”而是一個聽起來特別樸素的思路——讓模型同時看圖和看字然后自己悟出“圖”和“字”之間的對應(yīng)關(guān)系。這個思路放到今天看幾乎成了多模態(tài)模型的“標(biāo)準(zhǔn)答案”但在當(dāng)時OpenAI團(tuán)隊是頂著“用4億張圖訓(xùn)練一個分類器”的巨大質(zhì)疑干出來的。作為一名從ResNet時代一路折騰過來的算法工程師我第一次讀完CLIP論文時腦子里只有一個想法這玩意兒把“視覺任務(wù)”的定義徹底改寫了原來“教AI看懂世界”這件事根本不需要人工標(biāo)注的固定標(biāo)簽集合而是可以讓模型從自然語言里自己學(xué)會“世界長什么樣”。這篇文章想系統(tǒng)地講透三件事一是ViT在CLIP里扮演了什么角色為什么OpenAI偏偏選了它二是對比學(xué)習(xí)到底怎么“騙”模型學(xué)到通用特征包括溫度系數(shù)、batch size這些魔鬼細(xì)節(jié)三是Prompt工程為什么在CLIP時代變得如此重要以及我在實際項目中踩過的那些和CLIP相關(guān)的坑。如果你打算在自己的業(yè)務(wù)里用CLIP做圖文檢索、零樣本分類或特征抽取這篇文章應(yīng)該能幫你少走不少彎路。1. CLIP整體設(shè)計思路拆解從“固定標(biāo)簽”到“自由文本”的范式轉(zhuǎn)移1.1 傳統(tǒng)視覺模型的核心困境在CLIP出現(xiàn)之前做圖像分類的標(biāo)準(zhǔn)流程是這樣的先確定一個任務(wù)比如ImageNet的1000類然后找標(biāo)注好的數(shù)據(jù)集訓(xùn)練一個ResNet或EfficientNet最后把輸出層的維度設(shè)為1000每個維度對應(yīng)一個類別。這套流程的問題不用我說你也清楚——每換一個任務(wù)就得重新標(biāo)數(shù)據(jù)、重新訓(xùn)練模型標(biāo)一個類別幾十萬張圖是家常便飯。更麻煩的是模型學(xué)到的特征是被“鎖死”在這1000個類別里的你問它“這張圖里有沒有貓”它只能通過“有沒有貓這個類別的概率高于閾值”來間接回答而不是真正理解“貓”是什么。我當(dāng)年做安防項目時客戶要求識別“翻越圍墻”這個動作光標(biāo)注就花了三周模型效果還不穩(wěn)定因為“翻越”這個語義邊界本身就是模糊的不同標(biāo)注員的理解都可能打架。這種痛苦經(jīng)歷讓我后來第一次看到CLIP時特別震撼——原來可以把“標(biāo)簽”從離散的編號變成一個自然語言句子讓模型直接學(xué)習(xí)“圖像內(nèi)容”和“語言描述”之間的匹配關(guān)系這樣一來模型不再認(rèn)識“第538類”而是認(rèn)識“a photo of a person climbing over a fence”這句話。1.2 雙塔結(jié)構(gòu)為什么圖像和文本各走一條分支CLIP的整體結(jié)構(gòu)可以簡單概括為“雙塔”圖像塔負(fù)責(zé)把圖片編碼成一個向量文本塔負(fù)責(zé)把文字編碼成一個同維度的向量然后通過對比學(xué)習(xí)讓匹配的圖文對在向量空間里靠近不匹配的遠(yuǎn)離。這個設(shè)計和當(dāng)時流行的“單塔跨模態(tài)模型”比如把圖文拼接后一起過Transformer最大的區(qū)別在于雙塔結(jié)構(gòu)允許圖像和文本各自獨立編碼在線推理時可以預(yù)先算好所有文本的向量存起來來一張圖只需要算一次圖像向量然后做一次向量檢索就行。當(dāng)時我做圖文檢索需求時對比過單塔和雙塔方案單塔模型精度確實略高但線上延遲完全扛不住——每來一個query都得重新算一遍“圖片文字”的聯(lián)合編碼。CLIP這種雙塔結(jié)構(gòu)在工程上明顯更友好。當(dāng)然這種解耦也付出了代價圖像塔和文本塔之間沒有深層交互對需要細(xì)粒度對齊的任務(wù)比如“圖里這只貓的左耳朵是黑色的”這種指代理解天然弱勢這為后來BLIP、Flamingo等模型用交叉注意力彌補(bǔ)圖文交互埋下了伏筆。1.3 數(shù)據(jù)策略4億張圖文對是從哪來的以及為什么靠譜CLIP的訓(xùn)練數(shù)據(jù)是4億張“圖像-文本”對OpenAI在論文里說這些數(shù)據(jù)是從互聯(lián)網(wǎng)上收集的但沒公開具體細(xì)節(jié)。從后續(xù)的各種分析和復(fù)現(xiàn)嘗試來看這批數(shù)據(jù)涵蓋了大量網(wǎng)頁里的圖片配文、新聞圖說、社交媒體描述等本質(zhì)上就是互聯(lián)網(wǎng)上海量“有人用自然語言描述過一張圖”的現(xiàn)成數(shù)據(jù)。這里啟發(fā)很大與其依賴人工標(biāo)注的結(jié)構(gòu)化標(biāo)簽不如利用互聯(lián)網(wǎng)上天然的“弱標(biāo)注”數(shù)據(jù)。數(shù)據(jù)質(zhì)量決定了模型能力的上限4億這個量級在當(dāng)時是碾壓性的OpenAI團(tuán)隊后來在論文里做過消融實驗指出數(shù)據(jù)規(guī)模比模型規(guī)模更關(guān)鍵——在同樣模型結(jié)構(gòu)下把訓(xùn)練數(shù)據(jù)從4000萬擴(kuò)展到4億零樣本分類效果提升非常明顯。我自己做業(yè)務(wù)時也驗證過這一點給CLIP做領(lǐng)域微調(diào)時搞到幾萬張高質(zhì)量圖文對的效果往往比把模型結(jié)構(gòu)改得花里胡哨更有效。2. ViT在CLIP中的關(guān)鍵作用為什么OpenAI選擇拋棄卷積2.1 從ResNet到ViT視覺特征提取的“工業(yè)化”改造CLIP論文里有個容易被忽略的細(xì)節(jié)OpenAI最初試過用ResNet作為圖像塔甚至做了一個叫ResNetD的改進(jìn)版本把stem改成3x3卷積、增加深度縮放等訓(xùn)練效果也不錯。但最終他們發(fā)現(xiàn)ViTVision Transformer在同樣的計算預(yù)算下能拿到更好的效果于是干脆全面轉(zhuǎn)向了ViT架構(gòu)。ViT的核心操作不復(fù)雜把一張224x224的圖片切成16x16的patch每個patch線性映射成一個token embedding然后加上位置編碼輸入Transformer encoder。這個做法和NLP里把句子切成詞token幾乎一模一樣所以它的好處很直接——視覺模型和文本模型的結(jié)構(gòu)終于統(tǒng)一了都是Transformer跨模態(tài)的特征對齊更加自然。還有一個容易被忽略的好處ViT在大規(guī)模數(shù)據(jù)下的“吃數(shù)據(jù)”能力遠(yuǎn)超卷積網(wǎng)絡(luò)這也是CLIP對數(shù)據(jù)量要求極高的情況下ViT能勝出的原因。2.2 ViT訓(xùn)練視覺模型的幾個反直覺細(xì)節(jié)我在實際用ViT做圖像塔時發(fā)現(xiàn)ViT的訓(xùn)練對超參數(shù)和優(yōu)化器特別敏感。比如warmup step如果太短訓(xùn)練很容易崩Adam的權(quán)重衰減設(shè)置不當(dāng)會導(dǎo)致patch embedding層學(xué)到一堆噪聲。CLIP論文里提到他們用了很大的batch size32768配合LAMB優(yōu)化器這個組合在當(dāng)時是“大力出奇跡”的典型代表——大batch size能提供更穩(wěn)定的梯度估計讓對比學(xué)習(xí)中的負(fù)樣本更加豐富這一點后面講對比學(xué)習(xí)時會重點展開。另外需要注意ViT的position embedding用的是可學(xué)習(xí)的絕對位置編碼。CLIP訓(xùn)練時的分辨率是224x224如果你要微調(diào)模型處理336x336的輸入位置編碼需要做插值這種插值會影響模型性能。OpenAI后來在CLIP的第二個版本里直接把訓(xùn)練分辨率提高到336同時用了一種“額外繼續(xù)預(yù)訓(xùn)練”的方式而不是簡單插值這算是一個很實用的經(jīng)驗。如果你要在自己的場景里換分辨率建議也不要用樸素的雙線性插值而是在目標(biāo)分辨率上做短時間的繼續(xù)預(yù)訓(xùn)練來“熱啟動”。2.3 ViT的歸納偏置缺失問題ViT不像卷積網(wǎng)絡(luò)那樣天然具有局部性和平移等變性它需要從數(shù)據(jù)里自己學(xué)出“相鄰patch通常有關(guān)聯(lián)”這件事。在小數(shù)據(jù)集上ViT會明顯輸給ResNet因為數(shù)據(jù)量不夠支撐它自己學(xué)出這些視覺先驗。CLIP之所以能用ViT且效果好根本原因就是4億數(shù)據(jù)的規(guī)模效應(yīng)壓過了歸納偏置缺失的問題。這對從業(yè)者是個重要提示如果你手里只有幾萬張圖直接上ViT往往不是最優(yōu)解反而用ResNet或EfficientNet更穩(wěn)。我在一個只有5萬張工業(yè)質(zhì)檢圖片的項目里試過用ViT做圖像塔收斂慢、效果差換回ResNet之后指標(biāo)立刻上去了。等后來數(shù)據(jù)積累到50萬張ViT的優(yōu)勢才逐漸體現(xiàn)出來。所以ViT和CNN的選擇本質(zhì)上不是“誰更強(qiáng)”的問題而是“你的數(shù)據(jù)量養(yǎng)不養(yǎng)得起誰”的問題。3. 對比學(xué)習(xí)原理拆解如何讓4億張圖“教會”模型語義3.1 核心目標(biāo)構(gòu)造正樣本與負(fù)樣本對比學(xué)習(xí)這個概念本身不難理解你有一對已經(jīng)配好的圖文比如一張柯基的照片和一段“一只柯基在草地上奔跑”的文字這就是一個正樣本對同一batch里的其他圖文對都算負(fù)樣本。訓(xùn)練目標(biāo)就是讓模型學(xué)會“把正樣本對的圖像向量和文本向量拉近把負(fù)樣本對推開”。這個思路很像“讓你在一千人里找出你的朋友”你不需要知道每個人的名字只需要知道哪些人和你的朋友長得像、哪些不像。訓(xùn)練數(shù)據(jù)越多負(fù)樣本越多樣“看世界”的角度就越全面。CLIP的訓(xùn)練有效性和負(fù)樣本的質(zhì)量、數(shù)量直接相關(guān)這就是為什么CLIP要把batch size拉到32768這么大的主要原因——batch越大每個圖像樣本能看到的負(fù)樣本就越多對比學(xué)習(xí)的效果就越好。3.2 CLIP損失函數(shù)的數(shù)學(xué)細(xì)節(jié)CLIP的損失函數(shù)實際上就是InfoNCENoise Contrastive Estimation的一個變體或者更準(zhǔn)確地說是一個對稱的交叉熵?fù)p失。它的流程是先算batch內(nèi)所有圖像向量和文本向量之間的相似度矩陣然后按行按列分別做softmax再求交叉熵。具體計算過程如下假設(shè)batch size為N圖像塔得到N個圖像向量I1到IN文本塔得到N個文本向量T1到TN每個向量的維度為d。先做L2歸一化然后計算相似度矩陣S其中S[i][j]表示第i張圖和第j條文本的余弦相似度。訓(xùn)練目標(biāo)就是讓S的對角線元素盡量大非對角線元素盡量小。損失由兩部分組成——第一部分按行做softmax讓第i張圖正確匹配到第i條文本第二部分按列做softmax讓第i條文本正確匹配到第i張圖。這里的溫度系數(shù)τ非常關(guān)鍵。τ太大會導(dǎo)致所有相似度被“壓平”softmax輸出接近均勻分布梯度變小模型學(xué)不動τ太小則會讓模型過于“自信”對負(fù)樣本區(qū)分過猛訓(xùn)練不穩(wěn)定。CLIP論文里提到他們直接把τ設(shè)成了一個可學(xué)習(xí)參數(shù)初始值設(shè)為0.07左右訓(xùn)練過程中讓模型自己調(diào)整。我在復(fù)現(xiàn)時踩過坑如果把τ固定為1損失下降極慢模型幾乎學(xué)不到東西調(diào)成0.07之后收斂速度快了不止一個量級。建議你如果自己寫對比學(xué)習(xí)代碼一定把這個參數(shù)單獨拎出來做實驗。3.3 為什么CLIP能“看懂”世界模態(tài)對齊的本質(zhì)很多人問CLIP是真的“理解”了圖像內(nèi)容還是只是學(xué)會了表面關(guān)聯(lián)我個人的看法是CLIP學(xué)到的是“圖像內(nèi)容與語言描述之間的一致性映射”這種理解本質(zhì)上是統(tǒng)計性的不是人類意義上的推理理解。比如你有兩張圖一張是“草地上有一只柯基”另一張是“草地上有一只柴犬”CLIP經(jīng)過大量訓(xùn)練后確實能把這兩個文本描述和對應(yīng)的圖像正確對齊但它并不知道柯基和柴犬的生物分類關(guān)系也不理解“如果柯基被剃了毛它看起來像什么”這種深層推理。但這恰恰是CLIP強(qiáng)大的地方——它把“理解”這個抽象概念變成了一個“向量空間中距離關(guān)系”的問題。下游任務(wù)只需要在這個語義空間里做簡單的檢索或相似度計算就能完成很多以往需要專門訓(xùn)練模型的視覺任務(wù)。這種能力在實際業(yè)務(wù)里非常管用比如商品推薦場景下用戶輸入“適合去海邊度假穿的碎花連衣裙”普通分類模型完全不知道怎么處理這個query但CLIP能直接算出這個文本和幾千張商品圖之間的相似度排序輸出匹配的商品。3.4 對比學(xué)習(xí)vs生成式預(yù)訓(xùn)練兩條路線的差異對比學(xué)習(xí)和生成式預(yù)訓(xùn)練比如讓模型根據(jù)文本生成圖像或根據(jù)圖像生成文本是兩種截然不同的訓(xùn)練目標(biāo)。GPT類模型做的是自回歸目標(biāo)是預(yù)測下一個tokenCLIP做的是判別式對比目標(biāo)是區(qū)分匹配和不匹配的圖文對。CLIP的訓(xùn)練效率更高因為它不需要逐token生成只需要對比向量但代價是CLIP在生成任務(wù)上完全無能只能做特征提取和匹配。后來很多工作嘗試把這兩種思路合到一起比如CoCaContrastive Captioner同時用對比損失和生成損失訓(xùn)練在一個模型里兼顧對齊和理解能力。如果你在業(yè)務(wù)里既要做圖文檢索又要做圖像描述生成CoCa這類模型會更合適而純CLIP只能覆蓋檢索和分類類需求。這個選型問題在實際項目里經(jīng)常被忽略值得提前想清楚。4. Prompt工程在CLIP中的應(yīng)用一句話如何決定模型上限4.1 為什么CLIP對Prompt這么敏感CLIP的文本塔是在自然語言上訓(xùn)練的但它見過的文本表達(dá)方式是有限的。訓(xùn)練數(shù)據(jù)里的文本大多是比較完整的描述句比如“a photo of a dog”“a cat sitting on a sofa”所以到推理階段你輸入的文本形式和訓(xùn)練分布越接近效果越好。最經(jīng)典的例子是零樣本分類你要做CIFAR-100的100類分類直接輸入“airplane”“automobile”這類單詞效果通常很差但改成“a photo of a {class}”這個模板后準(zhǔn)確率立刻提升不少。原因就在于“a photo of”這類前綴在CLIP的訓(xùn)練數(shù)據(jù)里極其常見模型對緊跟在這個前綴后面的內(nèi)容有更好的激活響應(yīng)。后續(xù)的研究進(jìn)一步發(fā)現(xiàn)更豐富的上下文描述比如“a satellite photo of a {class}”在你處理特定領(lǐng)域圖像時能帶來更大的提升比如遙感場景下的分類精度用領(lǐng)域相關(guān)性強(qiáng)的prompt模板可以比通用模板高出好幾個點。4.2 Prompt工程的常用模板策略我做CLIP零樣本分類時總結(jié)了一套模板選擇方法先看測試圖像的領(lǐng)域風(fēng)格然后仿照訓(xùn)練數(shù)據(jù)里常見的描述方式去寫prompt。通用場景用“a photo of a {class}”或“a photo of the {class}”這兩種基本不會出錯。醫(yī)學(xué)圖像用“a medical image of {class}”其效果峰值往往更明顯。遙感圖像用“a satellite image of {class}”真的有明顯增益。如果目標(biāo)類別是動作或事件可以把prompt改成“a photo of a person doing {action}”之類更具體的結(jié)構(gòu)。對于類別名本身也值得做一輪文本處理。像“Basenji”一種犬種這種罕見詞模型可能沒見過但不妨礙直接作為文本輸入——因為文本編碼器能通過子詞切分把詞拆成“base”和“nji”之類的token來處理不過如果有已知的別名或更常見的表達(dá)換掉之后效果會更穩(wěn)定。還有一個小技巧把類別名用多個prompt模板做集成即一個類別寫多個句子分別編碼后取平均這個做法在CLIP官方代碼里叫prompt ensembling我實測在ImageNet上能提升約1到2個百分點在細(xì)粒度分類數(shù)據(jù)上提升更明顯。4.3 選擇文本編碼器CLIP中text encoder的特殊性CLIP的text encoder用的是Transformer結(jié)構(gòu)但它和GPT不太一樣。CLIP文本塔是雙向編碼能同時看到句子前后的所有tokenGPT是單向的只能從左往右看。之所以CLIP選擇雙向是因為對比學(xué)習(xí)需要的是對整個句子的整體語義表示而不是生成下一個token的條件概率。這一區(qū)別會影響你對CLIP的微調(diào)方式——不能像微調(diào)GPT那樣直接做語言建模損失而是應(yīng)該繼續(xù)做對比學(xué)習(xí)或者改成和下游任務(wù)匹配的損失函數(shù)。文本塔的最大長度是77個token這個限制在實際使用中經(jīng)常被忽略。我在做電商場景時商品標(biāo)題往往很長超過77個token后被粗暴截斷尾部信息直接消失導(dǎo)致檢索效果變差。后來我做了個簡單的處理先把標(biāo)題按關(guān)鍵信息重排把核心描述詞前移保證在77個token內(nèi)覆蓋有效的語義信息效果提升明顯。另外文本塔輸出默認(rèn)是取整個序列的最終隱藏狀態(tài)而不是像BERT那樣取[CLS] token所以如果你要改造CLIP的文本編碼器這個細(xì)節(jié)需要注意。4.4 Prompt工程的邊界手工調(diào)優(yōu)vs可學(xué)習(xí)Prompt手工設(shè)計prompt模板雖然有效但畢竟依賴人的經(jīng)驗。后來研究者提出了CoOpContext Optimization這類方法把prompt的前綴token當(dāng)成可學(xué)習(xí)的參數(shù)直接在目標(biāo)任務(wù)數(shù)據(jù)上做反向傳播優(yōu)化。這種做法本質(zhì)上是在“自動搜索prompt”擺脫了人工設(shè)計模板的主觀性在多個視覺數(shù)據(jù)集上效果顯著。我在自己的一個商品分類項目里試過CoOp基線的CLIP零樣本只有78%的準(zhǔn)確率手工模板能到81%CoOp微調(diào)后到84%效果還是可觀的。但CoOp有個潛在問題如果訓(xùn)練數(shù)據(jù)很少比如只有幾百張圖可學(xué)習(xí)的prompt很容易過擬合導(dǎo)致在測試集上反而比手工模板差。這種情況下一個更穩(wěn)妥的方案是用手工模板作為初始化或者加上一定的正則約束。說到底Prompt工程目前還是“領(lǐng)域經(jīng)驗數(shù)據(jù)驗證”的結(jié)合體純靠調(diào)字符串的樸素hack時代已經(jīng)過去了。5. 實操過程用CLIP構(gòu)建一個完整的圖文檢索與零樣本分類流程5.1 環(huán)境準(zhǔn)備與模型加載如果你只是想快速體驗CLIP的效果不建議自己去復(fù)現(xiàn)訓(xùn)練直接用OpenAI官方開源的CLIP權(quán)重就夠了。Python環(huán)境需要torch、torchvision以及openai官方提供的clip包或者用HuggingFace的transformers庫里的CLIPModel。我習(xí)慣用transformers因為它和下游生態(tài)銜接更方便加載模型只需要一行代碼建議這里給一段代碼 python from transformers import CLIPProcessor, CLIPModelmodel CLIPModel.from_pretrained(openai/clip-vit-base-patch32) processor CLIPProcessor.from_pretrained(openai/clip-vit-base-patch32)這個openai/clip-vit-base-patch32表示圖像塔是ViT-B/32patch size為32輸入分辨率224x224。如果你要更強(qiáng)的效果可以直接換用openai/clip-vit-large-patch14。加載模型時要留意顯存需求base版本大概需要1GB顯存large版本需要接近3GB如果機(jī)器緊張就選base。 ### 5.2 寫一個零樣本圖像分類的完整代碼 零樣本分類的實現(xiàn)思路是先把候選類別的prompt文本都編碼成向量存起來然后來一張測試圖編碼成圖像向量最后計算圖像向量和每個文本向量的余弦相似度取相似度最高的那個類別作為預(yù)測結(jié)果。這個流程可以封裝成下面這個函數(shù)方便直接拿去做灰度測試。 python import torch from PIL import Image def zero_shot_classify(image_path, class_names, templatesNone): image Image.open(image_path).convert(RGB) if templates is None: templates [a photo of a {}] texts [t.format(name) for name in class_names for t in templates] inputs processor(texttexts, images[image] * len(texts), return_tensorspt, paddingTrue) with torch.no_grad(): outputs model(**inputs) logits_per_image outputs.logits_per_image # 圖像與所有文本的相似度矩陣 probs logits_per_image.softmax(dim-1).squeeze(0) best_idx probs.argmax().item() return class_names[best_idx // len(templates)], probs[best_idx].item()實際使用中我一般會把所有文本向量在建索引時就預(yù)先計算好而不是每次推理都重算一遍文本。這樣在線推理時只需要算一次圖像向量然后和預(yù)先存好的文本向量做矩陣乘法單張圖片的延遲可以控制在幾毫秒級別完全能滿足線上的實時性要求。5.3 圖文檢索系統(tǒng)的索引構(gòu)建與查詢?nèi)绻獦?gòu)建一個圖文雙向檢索系統(tǒng)文本向量和圖像向量都應(yīng)該預(yù)先構(gòu)建索引。我用過兩種方案數(shù)據(jù)量在百萬級別以內(nèi)時直接用numpy或faiss的IndexFlatIP做暴力檢索簡單可靠數(shù)據(jù)量上千萬甚至上億時再用faiss的IndexIVFFlat或HNSW做近似最近鄰檢索。CLIP的向量是經(jīng)過L2歸一化的所以內(nèi)積檢索等價于余弦相似度檢索直接用IndexFlatIP就行。構(gòu)建索引時有個細(xì)節(jié)CLIP的向量是1024維large模型是768維維度不高但量大的時候內(nèi)存占用還是很可觀的。100萬張圖的向量float32存儲大概需要4GB內(nèi)存如果機(jī)器內(nèi)存吃緊可以考慮用product quantization或者把向量轉(zhuǎn)成float16。我在一個爬蟲項目里用HNSW把檢索延遲從60毫秒壓到了10毫秒以內(nèi)效果還是不錯的。5.4 對CLIP做領(lǐng)域微調(diào)LoRA是一種低成本方案CLIP的預(yù)訓(xùn)練數(shù)據(jù)雖然覆蓋了大量自然圖像但在特定領(lǐng)域比如醫(yī)學(xué)影像、工業(yè)質(zhì)檢、電商商品通常還有提升空間。如果你有幾千到幾萬張標(biāo)注的圖文對或分類數(shù)據(jù)可以對CLIP做微調(diào)。比較推薦的做法是用LoRALow-Rank Adaptation在凍結(jié)原模型參數(shù)的情況下只訓(xùn)練低秩分解矩陣這樣可以大幅減少可訓(xùn)練參數(shù)量同時防止災(zāi)難性遺忘。我在一個工業(yè)質(zhì)檢項目里用LoRA只訓(xùn)練了CLIP文本塔和圖像塔的attention層里的低秩矩陣大約只占全部參數(shù)的0.5%在標(biāo)注了8000張缺陷樣本后缺陷分類準(zhǔn)確率從82%提升到了94%而且訓(xùn)練只需要一張消費級顯卡就能跑完。這個方案如果不用LoRA而是全量微調(diào)效果當(dāng)然可能更好但成本和風(fēng)險都更高——尤其當(dāng)你的數(shù)據(jù)集和CLIP預(yù)訓(xùn)練分布差異較大時全量微調(diào)很容易過擬合。LoRA在這種場景下是一個性價比很高的選擇。5.5 評估CLIP效果的注意事項CLIP的實際效果需要根據(jù)任務(wù)類型來評估。零樣本分類場景要注意和隨機(jī)初始化分類頭的模型做對比而不是和完整微調(diào)后的模型對比否則會得出“CLIP不行”的錯誤結(jié)論。圖文檢索場景要同時看Recall1、Recall5、Recall10等指標(biāo)因為檢索任務(wù)對排序質(zhì)量敏感只看Recall1容易片面對待。一個常見的誤區(qū)是拿CLIP當(dāng)通用特征提取器對所有下游任務(wù)都直接套用。實際上CLIP提取的特征在細(xì)粒度識別比如區(qū)分不同品種的鳥上明顯弱于專門訓(xùn)練的模型因為CLIP的訓(xùn)練目標(biāo)是“圖像和文本的對齊”而不是“區(qū)分相近視覺類別”。所以如果你要做細(xì)粒度識別最穩(wěn)妥的做法是把CLIP作為一種初始特征再疊加一個小型分類頭做微調(diào)而不是指望零樣本就能解決。6. 常見問題與排查技巧實錄6.1 損失不下降或收斂極慢如果你在復(fù)現(xiàn)對比學(xué)習(xí)訓(xùn)練、發(fā)現(xiàn)損失不降或者下降速度慢到令人發(fā)指大概率是以下幾個原因。溫度系數(shù)設(shè)置不合理是最常見的坑——τ固定為1往往會導(dǎo)致梯度消失建議直接設(shè)成0.07或者初始化為可學(xué)習(xí)參數(shù)。第二個常見問題是相似度矩陣沒有做L2歸一化導(dǎo)致余弦相似度的取值范圍不對softmax輸出分布異常。還有一個是batch size太小負(fù)樣本數(shù)量不夠模型學(xué)不到有意義的區(qū)分信息這種情況下即使損失在降低下游任務(wù)指標(biāo)也會很差。訓(xùn)練穩(wěn)定性方面優(yōu)化器選擇也很關(guān)鍵。CLIP原論文用的是AdamW或LAMBlr設(shè)置要特別小心過大會導(dǎo)致訓(xùn)練初期就發(fā)散過小則收斂極慢。我的經(jīng)驗是用AdamW配合線性warmup前10%的step做warmup峰值lr設(shè)置在1e-4到3e-4之間整體比較穩(wěn)。6.2 零樣本分類準(zhǔn)確率偏低很多人第一次跑CLIP零樣本分類時感覺效果沒有論文里說的那么驚艷這時需要檢查幾件事。第一prompt模板是不是和訓(xùn)練分布匹配直接輸一個裸單詞的實驗效果通常很慘改成“a photo of a {class}”再試。第二類別名和圖像內(nèi)容的語義間距比如你的類別名是“轎車”但訓(xùn)練數(shù)據(jù)里圖文對用的都是“car”或“sedan”這時候換用英文標(biāo)簽效果可能更好。第三圖像預(yù)處理是否和CLIP的要求一致CLIP的processor默認(rèn)會做Resize和CenterCrop如果你用自定義預(yù)處理手段圖像內(nèi)容可能被過度裁剪導(dǎo)致關(guān)鍵語義丟失——尤其在目標(biāo)物體偏小或偏邊緣時CenterCrop會直接把目標(biāo)切掉。6.3 圖像向量和文本向量的維度不一致怎么辦這個問題的根源通常是模型加載了兩個不同配置的編碼器比如圖像塔是ViT-L/14文本塔是ViT-B/32。兩邊輸出的維度不同相似度矩陣直接計算會報錯。解決方案是檢查加載模型時是否使用了同一個CLIPModel實例不要自己單獨加載兩個不同的clip模型來拼接。如果你有特殊需求確實要換文本塔或視覺塔那得確保兩邊的輸出投影維度一致通?？梢栽贑LIPModel的配置里設(shè)置projection_dim來統(tǒng)一。6.4 Prompt長度超過77個token被截斷CLIP文本塔的最大序列長度是77超過這個長度會被截斷。如果你要處理的文本特別長比如長商品標(biāo)題、長評論建議先做文本預(yù)處理。可以按語義重要性排序或重構(gòu)文本把關(guān)鍵信息放到前77個token內(nèi)也可以用分句加權(quán)池化的方法把長文本切成多個片段分別編碼再按權(quán)重平均得到整個文本的向量。后者效果更好但工程上復(fù)雜度更高我一般只有在長文本占比超過30%時才會啟用這個方案。6.5 顯存不足或推理速度慢CLIP模型本身的體量并不大base版本大約150M參數(shù)large版本大約430M參數(shù)。但如果你的輸入是大量圖片且一次性喂給模型顯存很容易爆掉。解決方法是控制batch size分批編碼后再把向量拼接起來。另外如果你用的是ViT-L/14這類大模型又不需要微調(diào)記得開啟torch.no_grad()和torch.inference_mode()甚至可以轉(zhuǎn)成half精度來節(jié)省顯存和加速推理。實測half精度在檢索任務(wù)里對精度影響很小速度卻能提升60%以上。7. 從CLIP到多模態(tài)大模型這套思路的延伸與邊界7.1 CLIP之后的多模態(tài)模型演進(jìn)CLIP證明了對比學(xué)習(xí)做圖文對齊的可行性后續(xù)的工作基本沿著幾個方向繼續(xù)演進(jìn)。一個方向是引入更細(xì)粒度的圖文交互比如BLIP加入交叉注意力模塊讓圖像特征和文本特征不再“各自為政”而是互相融合ALBEF引入動量蒸餾和跨模態(tài)注意力在圖文檢索的細(xì)粒度理解上比CLIP好很多。另一個方向是引入生成式訓(xùn)練目標(biāo)比如CoCa同時用對比損失和生成損失讓模型既會匹配又會生成Flamingo則在凍結(jié)的視覺塔和語言模型之間加了一層訓(xùn)練好的cross-attention讓CLIP的視覺特征可以直接“注入”大語言模型從而支持圖文對話。如果你在業(yè)務(wù)里需要做多模態(tài)問答或者圖像生成純粹的CLIP是不夠的但CLIP底層的雙塔對齊思想依然是這些復(fù)雜模型的基石。理解CLIP之后再看BLIP、Flamingo的結(jié)構(gòu)會輕松很多。7.2 CLIP在真實業(yè)務(wù)里的局限性我必須強(qiáng)調(diào)一點CLIP的“零樣本”能力強(qiáng)不等于“無限樣本”能力強(qiáng)。當(dāng)你的目標(biāo)類別非常細(xì)粒度比如區(qū)分幾十種工業(yè)零件型號或者標(biāo)簽分布和自然語言描述差異較大時零樣本效果會大打折扣。還有一個問題是魯棒性CLIP對圖像擾動比較敏感比如對圖像做輕微旋轉(zhuǎn)、添加噪聲檢索排名可能發(fā)生明顯變化這在安防、醫(yī)療等對穩(wěn)定性要求很高的場景里是硬傷。補(bǔ)一個例子我之前做一個農(nóng)業(yè)項目需要分類不同品種的玉米葉片病害。CLIP零樣本的準(zhǔn)確率只有60%左右后來用領(lǐng)域數(shù)據(jù)做LoRA微調(diào)之后提到了87%。這說明CLIP的能力邊界是可以通過下游適配來擴(kuò)展的但零樣本不是萬能的。如果你的需求正好在CLIP的弱區(qū)別硬扛直接做微調(diào)才是務(wù)實的選擇。7.3 未來趨勢能進(jìn)化的CLIP還有多少空間CLIP之后出現(xiàn)的一批工作是讓它“持續(xù)學(xué)習(xí)”——比如在增量數(shù)據(jù)上不斷更新圖文對齊能力而不是每次從頭訓(xùn)練。這類研究的難點在于避免災(zāi)難性遺忘同時保持已有模態(tài)對齊的穩(wěn)定性。另一個趨勢是把CLIP從靜態(tài)特征抽取器發(fā)展成可交互的“感知底座”比如接入大語言模型后模型可以通過對話來引導(dǎo)視覺注意力做指代理解、視覺問答甚至具身智能決策。這也是目前業(yè)內(nèi)討論最多的方向。我個人的感覺是CLIP作為一篇2021年的論文它的思想價值已經(jīng)遠(yuǎn)遠(yuǎn)超過了模型本身。對比學(xué)習(xí)雙塔結(jié)構(gòu)自由文本標(biāo)簽這三板斧構(gòu)成了現(xiàn)代多模態(tài)智能的重要基石。不管你是做計算機(jī)視覺、自然語言處理還是多模態(tài)方向理解這套范式的來龍去脈都會對看問題和做項目有實質(zhì)性的幫助。從ViT到CLIP這條路我從個人實操中得到的最大體會是模型結(jié)構(gòu)固然重要但決定能力上限的往往是你怎么設(shè)計訓(xùn)練目標(biāo)和組織數(shù)據(jù)。CLIP用4億張圖告訴我們一個足夠好的對齊目標(biāo)真的能讓人工智能在“看圖說話”這件事上脫胎換骨。如果你正打算在業(yè)務(wù)里引入多模態(tài)能力不妨從CLIP開始先跑通零樣本再做領(lǐng)域微調(diào)這條路既穩(wěn)妥又高效。