1. 先把問題說透深度圖聚類到底卡在哪一步圖聚類這件事說到底就是把一張圖里的節(jié)點分成若干組使得組內(nèi)連接密集、組間連接稀疏。聽起來像個老問題譜聚類、模塊度優(yōu)化、標簽傳播這些方法已經(jīng)跑了幾十年。但只要真拿它們?nèi)ヌ幚憩F(xiàn)實中的圖問題立刻冒出來節(jié)點數(shù)上百萬、特征維度幾千、圖結構還帶噪聲傳統(tǒng)方法要么算不動拉普拉斯矩陣的特征分解要么得手工設計相似度核稍微換個數(shù)據(jù)集就得重新調參。深度圖聚類Deep Graph ClusteringDGC就是在這種背景下被推上前臺的——用圖神經(jīng)網(wǎng)絡做編碼器把結構和特征一起壓進低維表示再在表示空間里做劃分。我最早接觸這個方向的時候思路還停留在GAE 重構鄰接矩陣 KMeans的組合上跑完發(fā)現(xiàn)指標比譜聚類好不了多少。后來才明白問題不在于編碼器不夠深而在于優(yōu)化目標和聚類目標根本不是一回事。重構損失關心的是能不能把邊還原出來聚類關心的是哪些點該在一起兩者之間存在天然的錯位。對比學習進入這個領域恰恰是為了補上這個錯位——它不依賴標簽通過構造正負樣本對直接約束表示空間的幾何結構。這篇文章我會把對比學習在圖聚類里的幾種典型落法、關鍵參數(shù)怎么定、代碼怎么落地、以及實際跑下來會遇到哪些坑一次性講清楚。適合已經(jīng)了解 GNN 基礎、想往無監(jiān)督方向深入的同學也適合手上有一批無標注圖數(shù)據(jù)、急需一個可落地方案的工程同學。1.1 從譜聚類到圖自編碼器深度模型為什么非上不可先說清楚深度模型進來的理由不然很容易陷入為了深而深的誤區(qū)。傳統(tǒng)譜聚類本質上是對圖的拉普拉斯矩陣做特征分解取前 k 個特征向量再做 KMeans。它的理論很漂亮但工程上有兩個硬傷一是特征分解的復雜度在節(jié)點數(shù)上是立方級的幾萬個節(jié)點就開始吃力二是它只用了圖的拓撲結構節(jié)點自帶的特征文本、畫像、屬性完全用不上?，F(xiàn)實場景里節(jié)點的屬性信息往往比邊更有區(qū)分度比如社交網(wǎng)絡里用戶的興趣標簽、電商圖里商品的類目文本。圖自編碼器GAE/VGAE把這個問題解決了一半編碼器用 GCN 把特征和結構一起編碼解碼器重構鄰接矩陣訓練完成后取中間層表示做聚類。這條路子在當時確實打開了局面但它把學表示和做聚類拆成了兩個階段中間沒有任何反饋。編碼器學到的表示是最有利于還原邊的而還原邊這件事對稠密社區(qū)內(nèi)部的區(qū)分度并不敏感——一個節(jié)點和它鄰居的邊很容易還原但它在社區(qū)邊界上的歸屬重構損失根本不管。更麻煩的是重構目標會讓表示偏向于保留局部結構長程的社區(qū)結構反而被稀釋掉。后來出現(xiàn)的一批方法開始嘗試聯(lián)合優(yōu)化比如在編碼器后面接一個聚類頭用 KL 散度把軟分配往目標分布上推形成自訓練閉環(huán)。這類思路確實把兩個階段捏到了一起但也引入了新的麻煩自訓練依賴偽標簽偽標簽來自當前聚類結果一旦早期劃分偏了后面就會一路錯下去越訓越自信。這就是我下面要展開的核心痛點。1.2 三個真痛點表示坍塌、偽標簽噪聲、目標錯位表示坍塌是最致命也最隱蔽的一個。所謂坍塌是指編碼器輸出的表示在空間里擠成一團所有節(jié)點的向量幾乎平行余弦相似度接近 1。這時候你做 KMeans它會把所有點分到一兩個簇里剩下的簇全是空的或者只有零星幾個點。指標看上去 ACC 可能還有 30% 多因為大簇恰好覆蓋了某個真實類別但模型實際上什么都沒學到。坍塌在純重構目標下不容易發(fā)生但在對比學習或者聚類自訓練目標下非常容易出現(xiàn)因為這兩類目標都存在把所有東西映射到同一個點就能讓損失最小的退化解。偽標簽噪聲是自訓練路線的通病。軟分配矩陣里高置信度的節(jié)點通常是度數(shù)高、特征典型的節(jié)點低置信度的往往是邊界節(jié)點。自訓練會不斷強化高置信度那部分邊界節(jié)點的歸屬被永久固化。我在一個引文網(wǎng)絡上做過統(tǒng)計訓練到 200 輪之后置信度低于 0.4 的節(jié)點大概占 15%這些節(jié)點的劃分結果和初始化時的 KMeans 結果重合度超過 90%——也就是說后半程的訓練對它們幾乎沒有任何修正作用。目標錯位則是一個結構性矛盾。重構損失、聚類損失、對比損失三者的梯度方向未必一致。重構想讓鄰居表示接近聚類想讓同簇節(jié)點接近對比想讓正對接近負對遠離。當圖的社區(qū)結構和局部鄰接不一致時比如存在大量跨社區(qū)的橋邊這幾個目標就會互相拉扯表現(xiàn)出來就是損失在降但指標在震蕩。提示判斷是否發(fā)生坍塌有個特別快的土辦法——隨機抽 200 個節(jié)點算兩兩余弦相似度的均值。健康情況下這個值在 0.1~0.5 之間如果超過 0.9基本可以斷定塌了。1.3 對比學習補的到底是哪塊板對比學習的價值用一句話概括它提供了一個不依賴標簽、又能直接約束表示幾何結構的自監(jiān)督信號。InfoNCE 這類損失可以拆成兩項看一項是對齊性alignment拉近正樣本對另一項是均勻性uniformity把表示推向超球面的均勻分布。均勻性這一項天生就是反坍塌的——所有點擠在一起均勻性損失會爆炸。更關鍵的是它不需要重構鄰接矩陣。傳統(tǒng)的重構目標隱含了一個假設鄰居的表示應該相似這個假設在異配圖heterophily上直接失效。對比學習可以通過視圖構造繞開這個假設比如對同一張圖做兩次不同的擾動要求兩次編碼結果一致這個約束只關心擾動不該改變語義而不關心誰和誰相連。這個視角的轉換是深度圖聚類這幾年最大的思路變化。我在實際項目里的體會是對比項最好當骨架用聚類項當導向用。骨架負責把表示空間撐開、防止塌縮導向負責把表示往簇結構上拉。兩者缺一不可但配比很講究后面第 3 節(jié)會詳細說。2. 四種落法對比學習和圖聚類怎么拼對比學習和圖聚類的結合方式目前主流能歸成四類。這四類不是互斥的很多方法會取兩三種混著用。我把它們的構造邏輯、優(yōu)缺點和適用場景挨個拆開講你在選型時可以直接對號入座。2.1 視圖級對比給同一張圖照兩張影子視圖級對比是最直觀的一類思路來自圖像領域的 SimCLR同一張圖做兩次隨機增強得到兩個視圖同一個節(jié)點在兩個視圖里的表示構成正對不同節(jié)點的表示構成負對。圖上的增強手段主要有三種——邊擾動隨機刪掉一部分邊、特征掩碼把部分特征維度置零、子圖采樣隨機采樣一個子圖。這套東西的好處是實現(xiàn)簡單、通用性強幾乎不用改編碼器結構。缺點也很明顯增強的力度極難拿捏。增強太弱兩個視圖幾乎一樣正對太容易區(qū)分學不到東西增強太強圖的語義被破壞正對之間的一致性假設不成立了模型反而在學噪聲。我在引文網(wǎng)絡上試過邊擾動率 0.6 的配置訓練損失降得很漂亮但聚類 NMI 比不加對比還低——因為圖已經(jīng)被打散成隨機圖了。另一個隱藏成本是負樣本。標準 InfoNCE 要求每個正對配一批負樣本節(jié)點數(shù)是 N 的話相似度矩陣是 N×N幾萬個節(jié)點直接爆顯存。工程上一般用兩種繞法一是每個 batch 內(nèi)做對比batch 內(nèi)的其他樣本當負樣本二是對每個節(jié)點隨機采樣固定數(shù)量的負樣本比如 256 個。前者實現(xiàn)簡單但受 batch size 限制后者需要額外寫采樣邏輯。2.2 節(jié)點與原型對比把簇心直接放進表示空間原型對比prototype contrast是我個人最偏好的做法因為它把聚類結構直接編進了對比目標里。具體做法是維護 k 個可學習的原型向量可以理解成簇心每個節(jié)點和自己所屬的原型構成正對和其他原型構成負對。原型本身也可以通過聚類中心的滑動平均來更新不一定非要當可學習參數(shù)。這么設計的好處是對比目標和聚類目標在語義上完全對齊了——節(jié)點往自己簇心靠、遠離別的簇心這本身就是聚類想要的效果。它不需要構造兩個視圖也就不存在增強力度難調的問題。同時負樣本數(shù)量天然等于 k-1計算量只和簇數(shù)有關跟節(jié)點數(shù)無關擴展性很好?？釉谟谠偷某跏蓟?。如果 k 個原型初始化得太近早期所有節(jié)點都會被拉到同一個原型上形成事實上的坍塌。我的做法是用一次 KMeans 的結果初始化原型或者干脆從表示空間里隨機挑 k 個相距較遠的節(jié)點當初始原型。另外原型數(shù)量 k 如果設錯比如真實類別是 7 類但你設了 10多出來的原型會搶走一部分節(jié)點指標會掉得很難看。這一點目前沒有特別優(yōu)雅的無監(jiān)督解法實踐中一般靠肘部法、輪廓系數(shù)或者譜分析的特征值間隙來估。2.3 簇級對比與難負樣本讓同類靠攏、異類推開簇級對比是把對比的粒度從節(jié)點提升到簇。做法是先對當前表示做一次軟聚類得到每個簇的質心表示然后讓簇和簇之間互相排斥——同一簇內(nèi)的節(jié)點表示要緊湊不同簇的質心要拉開距離。這類方法和原型對比有點像區(qū)別在于簇質心是動態(tài)算出來的不是可學習參數(shù)。難負樣本挖掘是另一個常被忽視的點。隨機采的負樣本里絕大多數(shù)和錨點節(jié)點的相似度都很低梯度貢獻接近零等于白算。真正有用的是那些看起來像但實際不同類的難負樣本。常見的挖法是先算所有候選的相似度取相似度最高的一批但排除正樣本作為負樣本。這里的風險是假負樣本——兩個節(jié)點視覺上很像實際上是同一類但被誤判成負對強行推開會破壞表示。緩解辦法是用聚類置信度做過濾只在高置信度的不同簇之間構造負對。2.4 停梯度與無負樣本繞開大 batch 的取舍BYOL 那條路線證明了不用負樣本也能避免坍塌關鍵在于停梯度stop-gradient和非對稱結構一個分支帶預測頭另一個分支不帶且不回傳梯度給另一分支。圖領域有對應的工作把這套搬了過來用動量編碼器更新目標分支主分支去預測目標分支的輸出。這種做法的最大好處是不依賴大 batch也不依賴負樣本采樣在十萬級節(jié)點的圖上跑起來很舒服。代價是訓練更敏感動量系數(shù)、預測頭結構、學習率三者耦合很緊稍微不對就容易塌。而且它缺少均勻性約束表示的分布容易偏向某些方向。我一般會在它上面再加一個輕量的均勻性正則項把表示協(xié)方差矩陣往單位陣推實測能明顯改善簇的均衡度。方法類型需要負樣本計算開銷調參難度適合的圖規(guī)模視圖級對比是中到高高增強力度敏感中小規(guī)模節(jié)點-原型對比是k-1 個低中任意規(guī)模簇級對比 難負樣本是中中高中小規(guī)模停梯度無負樣本否低高大規(guī)模3. 參數(shù)怎么定增強力度、溫度與損失配比這一節(jié)是我認為整篇文章最該反復看的部分。對比學習類的方法結構和公式都是公開的真正決定結果的是那幾個標量超參。下面每個參數(shù)我都給出取值邏輯和實測區(qū)間。3.1 圖增強邊擾動和特征掩碼的取值邏輯邊擾動率 p_e 的本質是控制視圖之間的信息差。太低正對太簡單太高語義被破壞。取值和一個圖的平均度強相關平均度高的稠密圖可以承受更高的擾動率因為刪掉一部分邊之后局部結構還在稀疏圖平均度 2~3就很脆弱p_e 超過 0.3 就容易把節(jié)點變成孤島。我的經(jīng)驗區(qū)間圖類型平均度邊擾動率 p_e特征掩碼率 p_f稀疏引文網(wǎng)絡2~50.1~0.20.1~0.3中等密度社交圖10~300.2~0.40.2~0.4稠密共現(xiàn)圖500.3~0.50.3~0.5特征掩碼率 p_f 的取值還要看特征維度。特征維度高、且信息冗余比如 TF-IDF 向量時掩掉 30% 也不太傷特征維度低比如只有 10 維畫像特征掩 20% 就可能把關鍵信號抹掉了。有個技巧是按特征的重要度加權掩碼用特征方差或者互信息做權重重要特征少掩、冗余特征多掩實測比均勻掩碼好 1~2 個點。注意邊擾動一定要做無向化處理。刪邊的時候如果只刪一個方向剩下的單向邊會讓 GCN 的聚合結果出現(xiàn)方向性偏差這個坑我踩過一次找了兩天才定位到。3.2 溫度系數(shù) τ分母里的那把尺子溫度系數(shù) τ 出現(xiàn)在 InfoNCE 的分母里控制 softmax 的尖銳程度。公式寫出來是這樣的$$L_{i} -\log \frac{\exp(\text{sim}(z_i, z_i^{})/\tau)}{\sum_{j}\exp(\text{sim}(z_i, z_j)/\tau)}$$τ 越小分布越尖銳模型越關注那些相似度高的難負樣本梯度也越大τ 越大分布越平滑所有負樣本的權重被拉平對比信號變?nèi)酢３Ｒ娙≈?0.2~0.5圖像領域 SimCLR 用的是 0.5圖領域因為負樣本質量參差很多人用 0.2~0.3。有個容易被忽視的耦合關系τ 的合理取值和 batch size 有關。batch 小的時候負樣本少需要更小的 τ 來放大有限負樣本之間的差異batch 大了負樣本多τ 可以適當放大。我做過一組對照節(jié)點數(shù) 2708 的引文網(wǎng)絡batch 取全圖時 τ0.5 表現(xiàn)最好如果改成 batch256 的小批量τ0.2 反而更優(yōu)。如果你不確定就從這個網(wǎng)格里搜τ ∈ {0.1, 0.2, 0.3, 0.5, 0.8}。別嫌麻煩這個參數(shù)對結果的影響經(jīng)常比網(wǎng)絡層數(shù)還大。3.3 對比項與聚類項的配比 λ聯(lián)合損失一般是這個形式$$L L_{cluster} \lambda L_{contrast}$$λ 控制兩者的相對權重。λ 太大模型只顧著撐開表示空間簇結構反而被沖淡表現(xiàn)為簇的劃分和真實類別對不上λ 太小對比項起不到防坍塌的作用聚類項會把表示往退化方向拽。我的建議是分段式而不是固定權重。前 100~200 輪只訓對比項相當于預訓練讓表示空間先被撐開之后把 λ 設成 0.1~1.0 的固定值聯(lián)合訓練。這個策略比一上來就聯(lián)合訓練效果好得多因為早期聚類結果本身很不可靠用不可靠的偽標簽去引導表示等于給模型喂噪聲。如果你非要用固定權重那就從 λ1.0 起步觀察聚類項的 KL 損失和對比損失的量級讓兩者大致在同一個數(shù)量級上。數(shù)量級差太多的話小的那一項基本等于不存在。3.4 三道防坍塌保險坍塌是對比學習圖聚類里最容易翻車的地方我一般會同時上三道保險第一道是投影頭加停梯度。編碼器輸出 z再加一個兩層 MLP 投影頭得到 h對比損失算在 h 上聚類損失算在 z 上。這個設計的道理是投影頭吸收掉了對比學習為了區(qū)分樣本而引入的過度信息讓 z 保留更多和聚類相關的語義。梯度只回傳到編碼器的一部分也能抑制塌縮。第二道是均勻性正則。直接對表示矩陣算一個均勻性損失把歸一化后的表示往均勻分布上推$$L_{uni} \log \mathbb{E}_{i,j}\left[\exp(-2| \tilde{z}_i - \tilde{z}_j |^2)\right]$$這一項權重給很小0.01~0.1就夠了主要是兜底。第三道是聚類均衡約束。每次更新后檢查各簇的樣本數(shù)如果最大的簇占比超過 40%就把它的原型往外推一點或者對分配矩陣做一次 Sinkhorn 歸一化強制讓各簇的邊緣分布接近均勻。這一道對指標提升最直接尤其是在類別不平衡沒那么極端的圖上。4. 從零跑通一版代碼與訓練流程光說原理容易飄我把一套能直接跑的最小實現(xiàn)貼出來基于 PyTorch 和 PyG。這套代碼我在好幾個中等規(guī)模的圖上驗證過節(jié)點數(shù)幾千到幾萬都能跑。4.1 數(shù)據(jù)與預處理先做兩件最基礎的事特征行歸一化、邊去重和無向化。特征歸一化不是可選項GCN 第一層的聚合對特征尺度非常敏感不做歸一化的話方差大的那幾維會主導整個表示。邊去重是因為很多公開數(shù)據(jù)集的邊表里有重復邊重復邊在 GCN 里等價于給這條邊加權會扭曲聚合結果。import torch import torch.nn.functional as F from torch_geometric.utils import to_undirected, remove_self_loops def preprocess(data): x data.x.float() x F.normalize(x, p2, dim1) edge_index, _ remove_self_loops(data.edge_index) edge_index to_undirected(edge_index, num_nodesdata.num_nodes) return x, edge_index4.2 編碼器、投影頭與聚類頭編碼器用兩層 GCN 就夠了。這里我要強調一下層數(shù)圖聚類任務上兩層幾乎總是最優(yōu)的三層以上的表示會出現(xiàn)過平滑——節(jié)點表示趨同簇的邊界被抹平。我做過對照同一套對比損失兩層 GCN 的 NMI 比三層高 5~8 個點比四層高十幾個點。如果你的圖確實需要更大的感受野用 APPNP 或者帶殘差的跳連別硬堆層數(shù)。from torch_geometric.nn import GCNConv class Encoder(torch.nn.Module): def __init__(self, in_dim, hid_dim, out_dim, dropout0.5): super().__init__() self.conv1 GCNConv(in_dim, hid_dim) self.conv2 GCNConv(hid_dim, out_dim) self.dropout dropout def forward(self, x, edge_index): x self.conv1(x, edge_index) x F.relu(x) x F.dropout(x, pself.dropout, trainingself.training) x self.conv2(x, edge_index) return x class Projector(torch.nn.Module): def __init__(self, dim, hid_dim256): super().__init__() self.net torch.nn.Sequential( torch.nn.Linear(dim, hid_dim), torch.nn.ReLU(), torch.nn.Linear(hid_dim, dim) ) def forward(self, z): return F.normalize(self.net(z), dim1)聚類頭直接用軟分配不需要額外的參數(shù)矩陣簇心單獨維護def soft_assign(z, centers, alpha1.0): # Student-t 核alpha1 時即 DEC 的標準形式 dist torch.cdist(z, centers, p2) ** 2 q (1.0 dist / alpha).pow(-(alpha 1) / 2) q q / q.sum(dim1, keepdimTrue) return q def target_dist(q): weight q ** 2 / q.sum(dim0, keepdimTrue) return (weight.t() / weight.sum(dim1)).t()4.3 增強、對比損失與聯(lián)合目標增強函數(shù)和對比損失from torch_geometric.utils import dropout_edge, mask_feature def augment(x, edge_index, p_e0.2, p_f0.2): ei, _ dropout_edge(edge_index, pp_e, force_undirectedTrue) x_aug, _ mask_feature(x, pp_f, modemultinomial) return x_aug, ei def info_nce(h1, h2, tau0.3): logits h1 h2.t() / tau labels torch.arange(h1.size(0), deviceh1.device) loss_a F.cross_entropy(logits, labels) loss_b F.cross_entropy(logits.t(), labels) return (loss_a loss_b) / 2注意這里做了雙向計算再取平均。原因是相似度矩陣本身不對稱雖然 h1h2.T 在歸一化后理論上對稱但因為負樣本集合的視角不同兩個方向的梯度貢獻不一樣雙向計算能讓每個節(jié)點既當一次錨點也當一次負樣本實測比單向高 1~3 個點。節(jié)點數(shù)超過兩萬的時候全量相似度矩陣會吃掉大量顯存。這時候改成隨機負采樣版本def info_nce_sampled(h1, h2, tau0.3, n_neg256): h1 F.normalize(h1, dim1) h2 F.normalize(h2, dim1) n h1.size(0) idx torch.randint(0, n, (n, n_neg), deviceh1.device) neg h2[idx] # [n, n_neg, d] pos (h1 * h2).sum(dim1, keepdimTrue) / tau neg_sim torch.bmm(neg, h1.unsqueeze(2)).squeeze(2) / tau logits torch.cat([pos, neg_sim], dim1) labels torch.zeros(n, dtypetorch.long, deviceh1.device) return F.cross_entropy(logits, labels)4.4 訓練循環(huán)與監(jiān)控指標整體訓練分兩段前段只跑對比后段聯(lián)合。每輪都要記錄三個數(shù)對比損失、聚類 KL 損失、以及簇大小的最大占比。第三個數(shù)是坍塌的早期預警一旦超過 0.5 就該停下來檢查。def train(model, projector, x, edge_index, k, epochs400, warmup150, lam0.5, tau0.3): opt torch.optim.Adam( list(model.parameters()) list(projector.parameters()), lr1e-3, weight_decay5e-4 ) # 用一次前向 KMeans 初始化簇心 with torch.no_grad(): z model(x, edge_index) from sklearn.cluster import KMeans km KMeans(n_clustersk, n_init20).fit(z.cpu().numpy()) centers torch.tensor(km.cluster_centers_, dtypetorch.float, devicez.device) for ep in range(epochs): model.train(); projector.train() opt.zero_grad() x1, ei1 augment(x, edge_index) x2, ei2 augment(x, edge_index) z1 model(x1, ei1) z2 model(x2, ei2) loss_c info_nce(projector(z1), projector(z2), tau) if ep warmup: q soft_assign(z1, centers) p target_dist(q) loss_k F.kl_div(q.log(), p, reductionbatchmean) loss loss_k lam * loss_c else: loss_k torch.tensor(0.0) loss loss_c loss.backward() opt.step() if ep warmup: with torch.no_grad(): q soft_assign(z1, centers) centers (q.t() z1) / q.sum(dim0, keepdimTrue).t().clamp(min1e-6) if ep % 20 0: with torch.no_grad(): q soft_assign(model(x, edge_index), centers) share q.max(dim1).values.mean().item() size_max (q.argmax(1).bincount(minlengthk).max().item() / x.size(0)) print(fep {ep} | c {loss_c:.4f} | k {loss_k:.4f} | conf {share:.3f} | maxshare {size_max:.3f}) return model, centers4.5 評測ACC、NMI、ARI 的三個對齊坑第一個坑是聚類標簽對齊。KMeans 輸出的簇編號和真實類別的編號沒有對應關系算 ACC 之前必須做一次最優(yōu)匹配。用匈牙利算法scipy.optimize.linear_sum_assignment在混淆矩陣上做最小代價匹配別自己寫貪心匹配貪心在類別數(shù)多的時候會明顯低估。import numpy as np from scipy.optimize import linear_sum_assignment from sklearn.metrics import confusion_matrix def cluster_acc(y_true, y_pred): cm confusion_matrix(y_true, y_pred) row, col linear_sum_assignment(-cm) return cm[row, col].sum() / cm.sum()第二個坑是 KMeans 的隨機性。同一套表示跑五次 KMeans 的 ACC 波動可能有 2~3 個點。所以評測時必須跑多次取平均我一般跑 10 次并且報告標準差。只報最好那一次的結果說服力很弱。第三個坑是用標簽調超參。這是這個領域里公開的秘密——不少工作嘴上說無監(jiān)督實際上拿真實標簽反復調 τ、λ、學習率。你自己做實驗的時候一定要留出一部分標簽完全不看只用它做最終評測。否則線上換一批數(shù)據(jù)指標會掉得你懷疑人生。5. 排查手冊跑不出結果的七種典型情況這一節(jié)全是我自己踩過的坑按癥狀歸類你可以直接當速查表用。5.1 損失在降聚類指標不動這是最常見的情況十有八九是對比項和聚類項各干各的。具體表現(xiàn)是對比損失從 5 降到 1但 NMI 一直在 0.3 附近晃。原因通常是兩者作用在不同的表示上或者 λ 設得太小讓聚類項的梯度被淹沒。排查順序先看聚類 KL 損失有沒有在降。如果 KL 也不降說明簇心的更新有問題檢查中心更新的分母是否用了 clamp 防止除零。如果 KL 在降但 NMI 不漲說明模型在優(yōu)化一個錯誤的劃分——通常是初始化太差KMeans 一開始就分錯了后面只是把這個錯誤固化了。解法是重跑幾次不同的 KMeans 初始化取 KL 最終值最低的那次或者在 warmup 階段把對比損失權重拉滿讓表示充分撐開再聚類。5.2 所有點擠進一兩個簇典型坍塌。按概率從高到低排查癥狀可能原因處理方式表示余弦相似度均值 0.9缺少反坍塌機制加投影頭 停梯度或加均勻性正則對比損失極低0.5溫度 τ 太大 / 增強太弱τ 降到 0.2增強力度調高簇心之間距離接近 0中心更新發(fā)散檢查中心更新的分母加 L2 歸一化最大簇占比 0.5類別不均衡 無均衡約束加 Sinkhorn 歸一化或簇大小正則我遇到過一次特別隱蔽的情況所有簇心在初始化時被設成了同一個值代碼里torch.zeros忘了改模型訓了 300 輪全部塌到一個簇損失還特別好看。這個問題靠肉眼看損失根本發(fā)現(xiàn)不了必須監(jiān)控簇心之間的距離。5.3 顯存爆掉與訓練慢節(jié)點數(shù)超過三萬全量相似度矩陣基本就撐不住了。三個解法按推薦順序一是改隨機負采樣把負樣本數(shù)固定到 128~256二是改小批量訓練但要注意小批量會破壞圖的結構完整性需要用鄰居采樣比如 GraphSAINT 那類思路來保證每個 batch 里的子圖結構合理三是用半精度訓練torch.cuda.amp兩行代碼就能開顯存能省 40% 左右注意在計算 KL 散度時把 q 轉回 fp32否則會出現(xiàn) log(0) 的數(shù)值問題。5.4 相鄰層表示幾乎一樣過平滑。兩層以上的 GCN 在圖聚類任務上收益遞減三層開始掉點。判斷方法很簡單算每一層輸出表示的兩兩平均距離如果第三層的距離不到第一層的一半說明已經(jīng)在趨同了。緩解手段有殘差連接、PairNorm、或者干脆停在兩層。我個人更推薦后者簡單有效別為了架構好看硬堆深度。5.5 換數(shù)據(jù)集就崩超參過擬合。在引文網(wǎng)絡上調到 NMI 0.6換到共現(xiàn)網(wǎng)絡上直接掉到 0.35。根本原因是不同圖的平均度、特征稀疏度、類別均衡度差異太大一套超參吃不遍。我的處理辦法是讓超參跟著圖統(tǒng)計量走比如把邊擾動率設成0.5 / log(平均度 1)這種形式讓它在稀疏圖上自動變小、在稠密圖上自動變大。這個經(jīng)驗公式?jīng)]什么理論基礎但在十幾個數(shù)據(jù)集上試下來比固定值靠譜得多。6. 影響范圍這套思路還能搬去哪對比學習加圖聚類表面上是學術問題但它解決的問題——無標簽圖數(shù)據(jù)的結構化分組——在實際場景里到處都是。我把見過的落地場景和對應的改造要點列一下。6.1 場景清單與改造要點場景數(shù)據(jù)形態(tài)關鍵改造點用戶分群行為二部圖投影成用戶圖邊權重要映射成采樣概率別用二值化文本主題聚類文檔-詞共現(xiàn)圖 TF-IDF特征掩碼率調到 0.4 以上文本特征冗余度高單細胞類型劃分細胞相似度圖特征高維稀疏必須做特征降維否則前 50 維主導表示異常群體識別設備-行為圖對比項用局部子圖采樣異常點天然稀疏商品類目發(fā)現(xiàn)共現(xiàn)/共購圖類別數(shù)不確定需要用特征值間隙估 k用戶分群這塊我做得最多。有一個特別實際的體會真實業(yè)務圖里邊的權重幾乎都是有意義的購買次數(shù)、互動頻率直接二值化會丟掉大量信息。把邊權歸一化成采樣概率做邊擾動比統(tǒng)一丟 20% 的邊效果好很多。6.2 后續(xù)還能往哪擴三個方向我覺得值得投入。異質圖是目前最大的空白真實場景里節(jié)點類型往往不止一種現(xiàn)有的對比方法大多假設同質圖處理異質圖時要么先做元路徑投影會丟信息要么得重新設計視圖構造方式。動態(tài)圖是另一個方向社區(qū)結構隨時間演化對比學習的正對可以從同一時刻的兩個視圖擴展到相鄰時刻的同一節(jié)點這個思路已經(jīng)有工作在做了但工程落地的經(jīng)驗還很少。大規(guī)模分布式訓練則是純工程問題十萬級節(jié)點以上單機怎么調都吃力得考慮圖分區(qū)加參數(shù)服務器那套。6.3 一點個人體會最后說個我覺得最值錢的經(jīng)驗。這套方法里80% 的效果來自三件事表示別塌、簇心初始化別太差、評測別作弊。網(wǎng)絡結構、損失函數(shù)的具體形式、增強策略的精細設計加起來大概只占 20%。我見過太多人一上來就魔改損失函數(shù)加各種花哨的對比項結果基礎的三件事沒做好指標還不如一個調好參數(shù)的 DEC。還有一個反直覺的點別過早引入聚類損失。warmup 階段給足讓對比學習把表示空間充分撐開簇結構會自然浮現(xiàn)出來。急著聚類等于在噪聲上做決策。我在一個四萬節(jié)點的圖上把 warmup 從 100 輪加到 300 輪其他一概不動NMI 從 0.41 漲到 0.53。這個改動成本幾乎為零但很多人懶得等。