周五上午九點的技術分享我差不多復盤了整整一個周末。題目是“GDPO 與 GRPO 在多獎勵 RL 訓練中的優(yōu)勢崩潰問題”原本只是團隊內部例會的一個議題結果討論得太深大家干脆拉了個線上旁聽頻道。會后不少朋友私信我把思路整理成文這便有了這一篇。先說結論GRPO 在多獎勵multi-reward場景下出現(xiàn)的“優(yōu)勢崩潰”advantage collapse不是調幾個權重就能糊弄過去的簡單 bug而是優(yōu)勢估計機制與獎勵拼接方式之間的結構性沖突。GDPO 這類把優(yōu)勢按獎勵維度先分解、再動態(tài)融合的方法是目前我在實踐中驗證過最穩(wěn)定、也最好解釋的解法之一。這篇文章會從原理、復現(xiàn)、解法、參數(shù)配置到邊界條件把整條鏈路完整展開。1. 從多獎勵訓練說起GRPO 的優(yōu)點與它的“暗坑”1.1 GRPO 為什么能省下 critic組內相對優(yōu)勢的原理先快速對齊一下 GRPO 的基本邏輯。GRPO 最早出現(xiàn)在開源推理模型相關的強化學習論文里核心動機是省掉 PPO 中那個與策略模型同等規(guī)模的價值網(wǎng)絡critic。PPO 的優(yōu)勢函數(shù)通常寫成A returns - V(s)也就是用“實際回報”減去“價值網(wǎng)絡預測的期望回報”差值就是某個動作比預期好多少或差多少。可價值網(wǎng)絡本身訓練起來又慢又貴存儲和推理開銷也不小。GRPO 換了一條路同一個 prompt 下采樣一組groupresponse然后直接在這組 response 內部做歸一化。假設某組有 n 條 response獎勵分別是 r1 到 rn那么第 i 條 response 的優(yōu)勢是A_i (r_i - mean(r_group)) / std(r_group)這個公式的意思是我們不關心絕對分數(shù)只看這組兄弟里誰相對更好。省掉 critic 的前提是“組內相對排序能替代絕對值”這在單個獎勵信號、且采樣組內方差適中的情況下效果確實很好。省顯存、省訓練時間還避免了價值網(wǎng)絡偏差對策略更新的污染。1.2 多獎勵拼接的誘惑與隱患三個保證的連環(huán)崩當訓練目標從單一獎勵變成多獎勵——例如格式獎勵、正確答案獎勵、安全性獎勵、風格對齊獎勵同時存在——最常見、最省事的做法就是線性加權求和R_total w1 * r1 w2 * r2 w3 * r3 ...接著再對 R_total 做組內歸一化得到優(yōu)勢。很多團隊一開始都會走這條路畢竟代碼改動最小。但問題恰恰出在這里。多獎勵拼接會破壞 GRPO 正常工作的三個隱含保證。第一個保證是“同一組內獎勵差異主要由模型的真實改進驅動”?？啥鄠€獎勵同時存在時組內差異可能來自某個獎勵的固有噪聲而噪聲恰恰主導了排序。第二個保證是“獎勵的量綱和方差在一個數(shù)量級”?，F(xiàn)實中根本不是這樣——格式獎勵通常是 0/1 的二值信號正確答案獎勵可能是一個 0 到 1 的連續(xù)分但極端值很多風格獎勵可能是模型打出的 0 到 5 的分數(shù)。方差一差就是好幾倍。第三個保證是“所有獎勵與策略改進是同方向的”。多獎勵之間經(jīng)常相互制約例如“格式正確但答案錯誤”和“答案正確但格式錯誤”這兩類樣本在組內的排序會被完全不同的維度支配。當這三個保證被破壞組內歸一化就變得不穩(wěn)定。于是GRPO 在多獎勵場景下的“優(yōu)勢崩潰”出現(xiàn)了。2. 親手復現(xiàn)一次“優(yōu)勢崩潰”現(xiàn)象、腳本與訓練日志2.1 復現(xiàn)設置兩個獎勵通道的極端對照我說“崩潰”之前最好先有可復盤的證據(jù)。我這邊在內部做了一次極簡復現(xiàn)實驗任務是一個帶格式約束的數(shù)學問答獎勵只保留兩路——格式分format二值判定和答案正確分correct逐步評分0到1。訓練配置如下模型一個 7B 量級的開源底座每 prompt 組大小8獎勵加權w_format1.0w_correct1.0訓練步長每批 128 個 prompts優(yōu)化器與學習率AdamWlr5e-6采樣溫度0.8表面上看權重比例是 1:1非常合理。但在訓練到大約 300 步左右時我發(fā)現(xiàn)幾個關鍵指標開始出現(xiàn)明顯異常。當時第一反應不是“崩潰”而是“怎么收益曲線長這樣”。2.2 崩潰的三階段特征曲線與權重診斷把訓練日志拉出來優(yōu)勢崩潰基本會經(jīng)歷三個階段。第一階段初期正常平均優(yōu)勢值大致在 0.5 到 1.0 之間策略熵也在緩慢下降。此時格式獎勵還處于“多數(shù)樣本能拿到 0/1、偶爾有極端值”的狀態(tài)correct 獎勵則顯得平滑。第二階段大概在 200 步之后模型快速學會了“把格式搞對”format 獎勵的組內方差急劇下降。可 format 獎勵仍帶著 1.0 的權重參與求和所以 R_total 的組內差異就只剩下 correct 那一路在貢獻。此時公式分母 std(R_total) 如果校正不足某些組里所有 response 的 correct 分都很接近優(yōu)勢值會整體坍縮到 0 周圍的窄帶。策略梯度幾乎失去方向loss 看起來在走平實際是訓練在空轉。第三階段一旦組內出現(xiàn)一個“格式對但答案全錯”的離群樣本它的獎勵會被極端放大。我見過單個樣本的優(yōu)勢值瞬間跳高到 8 倍標準差以上隨后策略猛地把對正確性的權重降下來開始往回抽風。訓練日志里最直接的體現(xiàn)是advantage_std 從約 0.6 突然飆升到 4.0 以上然后 KL 項劇烈震蕩回答分布開始兩極分化。我用一個排查腳本把每個獎勵通道的歸一化貢獻單獨打出來可以說是證據(jù)確鑿stats {} for rew_name in reward_names: r train_batch[rew_name] # shape: [batch_size, group_size] stats[f{rew_name}_mean] r.mean().item() stats[f{rew_name}_std] r.std().item() stats[f{rew_name}_rel_gain] (r.max(dim-1).values - r.min(dim-1).values).mean().item() print(stats)結果顯示format 通道的rel_gain從 0.9 掉到 0.05幾乎不再提供排序信息而 correct 通道的rel_gain仍然在 0.5 上下?？捎捎谇蠛秃笤贇w一化format 那一把“死掉的權重”還是掛在總獎勵里拉低了有效信號的信噪比。2.3 關于崩潰的判定給幾個務實的檢驗方法以后你遇到訓練曲線異常不要憑感覺說“崩了”。我這邊總結出三個可靠判定方式。第一個是看“組內優(yōu)勢分布”的形狀。正常 GRPO 的優(yōu)勢分布近似對稱、單峰標準差穩(wěn)定在 0.3 到 1.5 之間崩潰時會出現(xiàn)明顯的雙峰或重尾標準差劇烈波動。第二個是單樣本優(yōu)勢與最終回報的散點關系。如果單樣本優(yōu)勢高、但它所在的組內總獎勵并不高說明優(yōu)勢空間里混入了和真實目標不一致的排序。第三個是分獎勵維度的“組內相對增益”變化。上面那個腳本已經(jīng)寫了因為它是按 channel 統(tǒng)計的。如果一個獎勵通道的相對增益持續(xù)走低優(yōu)勢矩陣主要由另一個通道驅動而混合優(yōu)勢仍是按原權重算出來的那么崩潰只是時間問題。3. GDPO 的核心解法按獎勵維度分離優(yōu)勢再動態(tài)融合3.1 第一刀將總獎勵拆成獨立優(yōu)勢通道GDPO 的做法用一句話說就是不先去加總獎勵而是讓每一個獎勵維度都單獨經(jīng)歷一次組內歸一化得到各自的“優(yōu)勢分量”A_i^jm (r_i^jm - mean(r^jm_group)) / std(r^jm_group)這樣做的理由很直接每個獎勵維度先在自己的坐標系里對齊量綱影響被清除了。格式獎勵即使組內差異很小它的優(yōu)勢也只反映“通過格式而拉開差距的部分”不會被其他維度的噪聲淹沒。之后才是融合。但 GDPO 的融合不是固定權重外掛一個超參而是設計成動態(tài)權重?；A形式可以寫成A_i_final sum_j w_j * A_i^j其中 w_j 的更新往往和每個獎勵通道的“有效信噪比”掛鉤而不是由我們手動固定。我在第一次實驗里就把這個改動套了上去訓練很快穩(wěn)定下來。關鍵是即使 format 通道的組內方差變小它的 w_j 會自動下調原來掛在總獎勵里的“死權重”被丟掉了。3.2 第二刀動態(tài)權重與方差保護機制動態(tài)權重的具體計算方法我見過兩種比較實用的路線。一種基于最近一段訓練窗口內的通道方差估計。比如維護一個指數(shù)滑動平均EMA對每個通道的優(yōu)勢標準差做統(tǒng)計ema_std {name: 1.0 for name in reward_names} alpha 0.05 for name in reward_names: cur_std batch_advantages[name].std().item() ema_std[name] (1 - alpha) * ema_std[name] alpha * cur_std inv_var {name: 1.0 / (ema_std[name] 1e-4) for name in reward_names} softmax_w softmax(inv_var, temperature0.5)核心直覺是優(yōu)勢方差越大的通道包含的排序信息可能更多理應獲得更高權重優(yōu)勢方差趨于零的通道則表示這個信號已經(jīng)飽和權重自動下調。但要注意直接用原始方差做 softmax 也會有問題——一個離群樣本會把整條通道的方差拉高權重的波動也隨之劇烈。所以對原始方差做 EMA 平滑是必要的溫度系數(shù)也需要單獨調。另一種路線是對每個通道的動態(tài)權重做“下限保護和歸一化”所有通道權重保持在 0.1 到 0.5 之間防止某個通道權重歸零后策略完全無視某類約束。這個下限保護在實踐中對安全性獎勵尤其重要。3.3 近端約束讓策略更新重新安全只有優(yōu)勢重標定還不夠。GRPO 組的更新本質上是策略梯度近端約束clip決定了單步更新幅度上限。多獎勵場景下由于不同優(yōu)勢通道的尺度已經(jīng)被重標定clip 的語義也要與原來不同。經(jīng)典 PPO clip 的做法是對概率比做截斷ratio_i π_new(x_i) / π_old(x_i) loss_i -min(ratio_i * A_i, clip(ratio_i, 1-ε, 1ε) * A_i)GDPO 在這部分的實踐是對優(yōu)勢做分解后還要把 clip 范圍與優(yōu)勢分布的標準差做聯(lián)動。我這邊常用的一種做法是當某個通道的組內優(yōu)勢標準差超過閾值比如 2.0時強制對該通道的優(yōu)勢做裁剪到 [-c, c]max_adv 2.0 clipped_adv torch.clamp(A_i_j, -max_adv, max_adv)這個操作的直觀理解是即便某一批數(shù)據(jù)里出現(xiàn)了極端優(yōu)勢也不允許它單槍匹馬把模型參數(shù)推得太遠。抗住這一步策略更新就市場穩(wěn)定很多。4. 落地訓練時的完整配置與穩(wěn)定參數(shù)4.1 可復制的訓練配置骨架理論講清楚后關鍵在于能復現(xiàn)。下面是一個經(jīng)過驗證的 GDPO 風格訓練配置骨架基于我這邊常駐的多獎勵強化學習訓練框架。它不綁定具體代碼庫但核心邏輯是通用的。{ group_size: 8, reward_mode: decompose_and_dynamic_weight, reward_weights_ema_alpha: 0.05, reward_weight_temperature: 0.5, reward_weight_min: 0.1, reward_weight_max: 0.5, advantage_clip: 2.0, policy_clip_epsilon: 0.2, kl_target: 0.05, learning_rate: 5e-6, warmup_steps: 100, batch_size_prompts: 128 }配置里有個細節(jié)值得說清楚reward_weight_temperature直接控制動態(tài)權重的平滑程度。溫度越高權重越接近均勻溫度越低權重越極端。前期我建議溫度高一點比如 0.7讓各路獎勵先雨露均沾等訓練進入中段模型對各路信號相對穩(wěn)定后再把溫度降到 0.3 到 0.5。4.2 關鍵超參的調法和我踩過的坑最坑的一個參數(shù)是advantage_clip。我一開始設成 3.0覺得“反正優(yōu)勢分布正常情況下不會超太多clip 留足余量”。結果訓練到 500 步左右format 通道方差變小correct 通道又出現(xiàn)高離群值優(yōu)勢被推到 3.0 上限多次觸發(fā)。策略確實沒有大幅震蕩但 KL 一直壓不下來。后來我改成 2.0同時把動態(tài)權重的 EMA 窗口拉大問題立刻緩解。經(jīng)驗是clip 值寧可偏小也不要偏大因為分解后的優(yōu)勢通道各不相同之后再融合時多通道的峰值效應可能疊加。另一個容易踩的坑是獎勵通道之間的刷新頻率不同步。比如 correct 獎勵由一個規(guī)則判定器產生格式獎勵由模板判定器產生它們的計算延遲不一樣。如果你的 reward 信息是異步到達的那在做組內歸一化時不同通道會站在不同的數(shù)據(jù)窗口上統(tǒng)計口徑不一致會直接污染優(yōu)勢估計。我們的做法是讓所有通道先同步到同一個 recent buffer再進行統(tǒng)計。4.3 多獎勵信號的分析工具訓練穩(wěn)定后我并不只看整體 reward 均值。我會同時跟蹤四個指標per-channel 組內相對增益判斷每個通道是否還在提供有效排序信息per-channel 權重的 EMA判斷動態(tài)權重是否合理收斂優(yōu)勢分布的標準差與峰度判斷是否重新出現(xiàn)崩潰前兆每條 response 在最終優(yōu)勢中的“主導通道標簽”判斷策略當前主要被誰牽著走我習慣在訓練日志里加一行主導通道統(tǒng)計dominant torch.argmax(torch.stack(advs_per_channel, dim-1), dim-1) dominant_channel_counts torch.bincount(dominant.flatten(), minlengthlen(reward_names))如果訓練后期“主導通道”長期只有某一個而其他通道的權重也一直偏低那說明模型正在過度擬合單一獎勵下一步就要考慮給其他通道加約束或補充新樣本了。5. GDPO 的邊界在哪里什么情況下依然需要保守方案5.1 獎勵器本身相關時分解也可能失靈GDPO 不是銀彈。最明顯的邊界是多個獎勵器高度相關的時候按通道分解并不能真正“去重”。舉個例子如果一個獎勵器是另一個獎勵器的線性變換或者說兩個獎勵器都基于同一套特征模型給出分數(shù)那么它們各自的組內優(yōu)勢會高度共線。動態(tài)權重即使能調也只是在重復強調同一個信息源。此時模型容易在表面指標上刷高分實際上并沒有學到更本質的規(guī)律。我遇到過一個典型案例格式獎勵與相關性獎勵都由同一個打分器產出相關性分數(shù)越高格式分數(shù)也越高兩者共線度超過了 0.85。用 GDPO 跑雖然不會出現(xiàn)優(yōu)勢崩潰但訓練收斂后的輸出多樣性極差。最后這個場景不得不退回“單獎勵”或“獎勵降維”先把冗余通道去掉再訓練。5.2 折中方案混合模式與漸進式獎勵接管還有一類情況獎勵通道中等相關且方向大體一致。此時完全分解會丟掉通道間的共享信息完全拼接又可能崩潰。折中方案是采用混合模式——前半段用拼接獎勵做粗對齊后半段切換為 GDPO 式分解。這個順序有講究訓練早期模型還在學習基礎行為通道間共享信息多一點反而有幫助訓練后期需要精細化優(yōu)化分解和動態(tài)權重才能保住各獎勵維度的獨立性?！皾u進式獎勵接管”是另一個實用技巧。不要一開始就把所有獎勵都接入訓練先只開一個最重要的通道比如“答案正確率”跑幾百步讓模型先學會主干行為再逐步加入格式、風格、安全性通道。每新增一個通道都觀察優(yōu)勢分布 48 小時左右確認穩(wěn)定后再加下一步。這在多目標 RL 工程上屬于最穩(wěn)妥的迭代策略。我在一套實際項目里正是用“先單通道、后多通道、再切換分解融合”的節(jié)奏把原本一加多獎勵就崩的訓練曲線穩(wěn)定收斂到了 KL 與正確率雙達標的水平。整個過程沒有什么靈丹妙藥就是反復驗證優(yōu)勢分布、動態(tài)權重、clip 邊界的相互作用。最后分享一個我個人的習慣不管用什么算法訓練日志里一定要把 per-channel 的優(yōu)勢統(tǒng)計放進可視化面板而不是只看總獎勵。優(yōu)勢崩潰這種事等到總獎勵曲線難看的時候再排查往往已經(jīng)浪費了好幾天算力。把這個維度提前亮出來很多問題在萌芽階段就能被看到——這比任何花哨的新算法都更值得投入精力。