邦學(xué)習(xí)實(shí)戰(zhàn)：基于FedAvg與FedYogi的高校成績預(yù)測系統(tǒng)實(shí)現(xiàn))
簡介一套面向高校學(xué)生成績預(yù)測的聯(lián)邦學(xué)習(xí)Python實(shí)現(xiàn)專注于隱私保護(hù)下的分布式模型訓(xùn)練適合課程設(shè)計(jì)、畢業(yè)設(shè)計(jì)、科研入門或教學(xué)演示。資源包共30個(gè)文件以18個(gè)Python腳本為核心配套7個(gè)CSV數(shù)據(jù)與實(shí)驗(yàn)結(jié)果文件以及說明文檔和配置文件壓縮包僅2.18MB。已有31人學(xué)習(xí)下載。系統(tǒng)內(nèi)置FedRep、SCAFFOLD、Ditto、APFL、L2GD、MTL、FedProx及本地訓(xùn)練等多種算法支持多客戶端模擬并提供Streamlit交互式可視化界面可實(shí)時(shí)查看混淆矩陣、訓(xùn)練曲線與預(yù)測結(jié)果。所有代碼基于PyTorch構(gòu)建包含完整訓(xùn)練測試流程、網(wǎng)絡(luò)定義、數(shù)據(jù)采樣與通信輔助模塊配套真實(shí)學(xué)生成績數(shù)據(jù)集和MNIST風(fēng)格模擬實(shí)驗(yàn)記錄便于復(fù)現(xiàn)與橫向?qū)Ρ?。?xiàng)目已完整運(yùn)行驗(yàn)證支持直接執(zhí)行main_xxx.py啟動(dòng)對應(yīng)算法無需深度調(diào)參即可觀察不同算法在成績預(yù)測任務(wù)上的收斂性與泛化表現(xiàn)。 做了這個(gè)項(xiàng)目之后我對聯(lián)邦學(xué)習(xí)這四個(gè)字的理解才算真正落地。以前看論文總覺得它是個(gè)很玄的東西直到自己動(dòng)手把高校學(xué)生成績預(yù)測這個(gè)場景完整實(shí)現(xiàn)了一遍——用Python寫聯(lián)邦訓(xùn)練邏輯、用Streamlit做可視化界面、再跑多輪多算法對比實(shí)驗(yàn)——才發(fā)現(xiàn)這個(gè)方向最大的價(jià)值不是算法多花哨而是它解決了一個(gè)非常實(shí)際的問題不同學(xué)院、不同高校之間的成績數(shù)據(jù)能不能在不直接共享原始數(shù)據(jù)的前提下一起訓(xùn)練一個(gè)更高精度的預(yù)測模型。這篇內(nèi)容我會(huì)從需求拆解、算法選型、核心代碼實(shí)現(xiàn)、Streamlit界面搭建到實(shí)驗(yàn)結(jié)果分析完整還原整個(gè)項(xiàng)目過程。適合正在做聯(lián)邦學(xué)習(xí)相關(guān)課程設(shè)計(jì)、畢業(yè)設(shè)計(jì)或者想快速上手聯(lián)邦學(xué)習(xí)可視化開發(fā)的讀者參考里面的代碼思路和踩坑記錄都可以直接拿過去用。1. 項(xiàng)目定位與核心需求拆解1.1 成績預(yù)測場景里的數(shù)據(jù)孤島現(xiàn)象高校學(xué)生成績預(yù)測這個(gè)任務(wù)本身不算新鮮用學(xué)生的出勤率、作業(yè)完成情況、歷史成績、一卡通消費(fèi)記錄這些特征去預(yù)測期末是否掛科是教育數(shù)據(jù)挖掘里非常經(jīng)典的分類問題。但真正做起來會(huì)發(fā)現(xiàn)一個(gè)繞不開的障礙成績數(shù)據(jù)往往分散在不同學(xué)院甚至不同學(xué)校的信息系統(tǒng)里每個(gè)單位的數(shù)據(jù)量有限特征分布也不一樣。比如計(jì)算機(jī)學(xué)院的學(xué)生編程類課程成績普遍偏高外國語學(xué)院的成績分布又完全是另一套邏輯。如果每個(gè)學(xué)院各訓(xùn)各的模型數(shù)據(jù)少、特征單一模型泛化能力很差。但如果把所有學(xué)院的原始成績數(shù)據(jù)集中到一個(gè)服務(wù)器上訓(xùn)練又涉及學(xué)生隱私、數(shù)據(jù)所有權(quán)、跨部門協(xié)調(diào)這些敏感問題——現(xiàn)實(shí)中基本走不通。這時(shí)候聯(lián)邦學(xué)習(xí)就派上了用場各個(gè)參與方客戶端在自己的本地用自有數(shù)據(jù)訓(xùn)練模型只把模型參數(shù)梯度、權(quán)重上傳給中心服務(wù)器服務(wù)器完成聚合后再把更新后的全局模型下發(fā)回各個(gè)客戶端。整個(gè)過程原始數(shù)據(jù)不出本地從機(jī)制上繞開了數(shù)據(jù)合規(guī)和隱私爭議。1.2 聯(lián)邦學(xué)習(xí)選型的兩個(gè)關(guān)鍵理由第一隱私保護(hù)不是錦上添花而是這個(gè)場景的硬性約束。學(xué)生成績屬于個(gè)人敏感信息任何高校都不可能授權(quán)你把數(shù)據(jù)打包帶走做集中訓(xùn)練。聯(lián)邦學(xué)習(xí)的數(shù)據(jù)不動(dòng)模型動(dòng)特性讓多方協(xié)作訓(xùn)練在制度層面變得可行。第二小樣本學(xué)院能從全局模型中受益。有些冷門學(xué)院一屆學(xué)生可能只有幾百人單靠本地?cái)?shù)據(jù)訓(xùn)練模型很容易過擬合。通過聯(lián)邦學(xué)習(xí)參與協(xié)作這類客戶端可以拿到全局模型——這個(gè)模型融合了所有參與方的知識——再結(jié)合本地?cái)?shù)據(jù)做微調(diào)預(yù)測效果會(huì)比孤立訓(xùn)練好不少。1.3 項(xiàng)目技術(shù)棧與總體架構(gòu)這個(gè)項(xiàng)目我用的技術(shù)棧如下Python 3.9深度學(xué)習(xí)框架用PyTorch 1.13機(jī)器學(xué)習(xí)算法用scikit-learn和XGBoost聯(lián)邦聚合算法自己實(shí)現(xiàn)FedAvg和FedYogi不依賴現(xiàn)成的聯(lián)邦框架方便看清內(nèi)部邏輯可視化界面用Streamlit純Python開發(fā)不用寫前端代碼適合快速搭建數(shù)據(jù)應(yīng)用數(shù)據(jù)集用UCI的Student Performance數(shù)據(jù)集包含數(shù)學(xué)和葡萄牙語兩門課的成績手動(dòng)模擬劃分到多個(gè)客戶端整體架構(gòu)分三層數(shù)據(jù)層各客戶端本地持有的Non-IID數(shù)據(jù)、聯(lián)邦訓(xùn)練層本地訓(xùn)練參數(shù)上傳服務(wù)端聚合、展示層Streamlit讀取訓(xùn)練日志和指標(biāo)做可視化。2. 聯(lián)邦學(xué)習(xí)框架與算法選型2.1 FedAvg和FedYogi的核心差異FedAvg聯(lián)邦平均是最基礎(chǔ)的聚合算法思路非常直白服務(wù)端收到各客戶端上傳的模型權(quán)重后按照各客戶端的數(shù)據(jù)量占比做加權(quán)平均得到新的全局模型。公式可以簡化為w_global Σ (n_k / n_total) * w_k其中n_k是第k個(gè)客戶端本地樣本數(shù)n_total是所有客戶端樣本總數(shù)。這個(gè)算法實(shí)現(xiàn)簡單在數(shù)據(jù)分布近似獨(dú)立同分布IID時(shí)表現(xiàn)很好。但一旦數(shù)據(jù)變成Non-IID——比如不同客戶端覆蓋了完全不同的成績區(qū)間——FedAvg收斂就會(huì)變慢嚴(yán)重時(shí)甚至發(fā)散。FedYogi則借鑒了自適應(yīng)優(yōu)化器Yogi的思路服務(wù)端聚合時(shí)不再簡單加權(quán)平均而是給每個(gè)參數(shù)維度維護(hù)一個(gè)自適應(yīng)學(xué)習(xí)率。Yogi的更新規(guī)則可以理解為在Adam基礎(chǔ)上加了更穩(wěn)定的二階矩估計(jì)減少訓(xùn)練初期的學(xué)習(xí)率震蕩。具體更新邏輯是delta_w w_global_t - w_global_{t-1} v_t v_{t-1} - (1 - beta2) * sign(v_{t-1} - delta_w^2) * delta_w^2 w_global_{t1} w_global_t - lr * delta_w / (sqrt(v_t) epsilon)我用一個(gè)類比來解釋FedAvg相當(dāng)于全班同學(xué)各自復(fù)習(xí)后老師把所有同學(xué)的水平平均一下得到一個(gè)標(biāo)準(zhǔn)版本FedYogi則是在平均的基礎(chǔ)上對不同科目參數(shù)維度動(dòng)態(tài)調(diào)整復(fù)習(xí)強(qiáng)度薄弱的科目多花力氣。在Non-IID場景下FedYogi對分布偏斜的魯棒性明顯更強(qiáng)。2.2 基線算法設(shè)定光有聯(lián)邦模型還不行為了說明聯(lián)邦學(xué)習(xí)的價(jià)值我設(shè)計(jì)了三組基線做對照第一組是完全本地訓(xùn)練每個(gè)客戶端只用自己的小數(shù)據(jù)訓(xùn)練模型不參與任何協(xié)作。這代表了數(shù)據(jù)孤島現(xiàn)狀下的最差水平。第二組是中心化訓(xùn)練Oracle把所有人的數(shù)據(jù)集中起來訓(xùn)練一個(gè)模型。這代表理論上限——現(xiàn)實(shí)中因?yàn)殡[私約束做不到但作為性能上界很有參考意義。第三組是聯(lián)邦訓(xùn)練分別用FedAvg和FedYogi聚合模擬真實(shí)可用方案。2.3 評估指標(biāo)設(shè)計(jì)成績預(yù)測本質(zhì)是二分類問題是否掛科但樣本類不平衡問題比較明顯——不掛科的學(xué)生通常占80%以上。只看準(zhǔn)確率容易被蒙對掩蓋問題所以我把重點(diǎn)放在F1分?jǐn)?shù)和AUC上F1兼顧精確率和召回率AUC反映模型區(qū)分正負(fù)樣本的能力。同時(shí)記錄每輪聯(lián)邦通信的輪次和收斂時(shí)間評估通信效率。3. Python核心實(shí)現(xiàn)與關(guān)鍵代碼3.1 用Dirichlet分布模擬Non-IID數(shù)據(jù)現(xiàn)實(shí)中不同學(xué)院的數(shù)據(jù)分布差異非常大為了模擬這種場景我用Dirichlet分布來控制每個(gè)客戶端上的類別分布偏移。Dirichlet分布的濃度參數(shù)alpha越小各客戶端的數(shù)據(jù)分布差異越大。alpha取值0.1時(shí)極端情況下某些客戶端可能幾乎全是不掛科樣本。import numpy as np from sklearn.model_selection import train_test_split def split_non_iid(labels, num_clients, alpha0.5, seed42): np.random.seed(seed) n_classes len(np.unique(labels)) client_indices [[] for _ in range(num_clients)] # 為每個(gè)類別分別劃分 for cls in range(n_classes): idx_cls np.where(labels cls)[0] # Dirichlet分布生成每個(gè)客戶端該類的比例 proportions np.random.dirichlet([alpha] * num_clients) # 按比例分配索引 assigned 0 for cid in range(num_clients): n_assign int(round(len(idx_cls) * proportions[cid])) if cid num_clients - 1: n_assign len(idx_cls) - assigned client_indices[cid].extend(idx_cls[assigned: assigned n_assign]) assigned n_assign return [np.array(indices, dtypeint) for indices in client_indices]這塊有個(gè)容易踩的坑最后寫索引時(shí)如果不顯式處理round帶來的余數(shù)會(huì)丟樣本或者索引越界。我加了最后一個(gè)客戶端兜底邏輯保證所有樣本都被分出去。當(dāng)你把a(bǔ)lpha分別設(shè)為0.1、0.5、1.0跑一遍就能直觀看到數(shù)據(jù)分布從極端偏斜到接近均勻的變化。3.2 本地客戶端訓(xùn)練流程每個(gè)客戶端維護(hù)一個(gè)本地的PyTorch模型訓(xùn)練時(shí)只用自己的劃分?jǐn)?shù)據(jù)做幾輪SGD然后上傳梯度或權(quán)重。為了模擬真實(shí)場景客戶端之間不會(huì)共享任何原始數(shù)據(jù)。import torch import torch.nn as nn import torch.optim as optim class LocalClient: def __init__(self, client_id, train_data, train_labels, lr0.01, local_epochs3): self.client_id client_id self.train_data torch.tensor(train_data, dtypetorch.float32) self.train_labels torch.tensor(train_labels, dtypetorch.long) self.lr lr self.local_epochs local_epochs self.model None def train_one_round(self, global_model): # 用全局模型參數(shù)初始化本地模型 self.model copy.deepcopy(global_model) optimizer optim.SGD(self.model.parameters(), lrself.lr) loss_fn nn.CrossEntropyLoss() self.model.train() for epoch in range(self.local_epochs): optimizer.zero_grad() outputs self.model(self.train_data) loss loss_fn(outputs, self.train_labels) loss.backward() optimizer.step() # 返回本地模型參數(shù) return {name: param.clone() for name, param in self.model.state_dict().items()}local_epochs這個(gè)參數(shù)值得單獨(dú)說。設(shè)太大會(huì)導(dǎo)致客戶端過度自信地在本地?cái)?shù)據(jù)上過擬合上傳的模型偏離全局最優(yōu)設(shè)太小又學(xué)不到位聚合效果差。我在實(shí)驗(yàn)中固定為3輪再配合早?？刂普w通信輪次。3.3 服務(wù)端聚合邏輯服務(wù)端聚合是核心中的核心我同時(shí)實(shí)現(xiàn)了FedAvg和FedYogi兩種聚合邏輯用同一個(gè)接口切換。class FedServer: def __init__(self, global_model, aggregationfedavg, lr0.01, beta20.999): self.global_model global_model self.aggregation aggregation self.lr lr self.beta2 beta2 self.v None # FedYogi需要的二階矩估計(jì) def aggregate(self, client_weights, client_sizes): total_size sum(client_sizes) # 按數(shù)據(jù)量加權(quán)初始化聚合結(jié)果 w_avg {} with torch.no_grad(): for key in self.global_model.state_dict(): w_avg[key] torch.zeros_like( self.global_model.state_dict()[key] ) for w, size in zip(client_weights, client_sizes): w_avg[key] (size / total_size) * w[key] if self.aggregation fedavg: # 直接更新 self.global_model.load_state_dict(w_avg) elif self.aggregation fedyogi: with torch.no_grad(): if self.v is None: self.v {} for key in w_avg: self.v[key] torch.zeros_like(w_avg[key]) # 計(jì)算和上一輪全局模型的差值 for key in w_avg: delta w_avg[key] - self.global_model.state_dict()[key] self.v[key] self.v[key] - \ (1 - self.beta2) * torch.sign( self.v[key] - delta * delta ) * (delta * delta) # 自適應(yīng)更新 w_avg[key] self.global_model.state_dict()[key] - \ self.lr * delta / (torch.sqrt(self.v[key]) 1e-6) self.global_model.load_state_dict(w_avg) return self.global_model.state_dict()FedYogi實(shí)現(xiàn)里最需要注意的就是v的初始化第一輪時(shí)v是零向量這時(shí)候delta / sqrt(v epsilon)中的epsilon如果太小比如1e-8步長會(huì)非常大容易爆炸。我把epsilon放寬到1e-6同時(shí)lr設(shè)小一些實(shí)際跑下來穩(wěn)定很多。3.4 多算法對比實(shí)驗(yàn)封裝為了運(yùn)行對比實(shí)驗(yàn)我封裝了一個(gè)統(tǒng)一的評估入口。本地模型用邏輯回歸、決策樹、隨機(jī)森林、XGBoost聯(lián)邦模型用FedAvg和FedYogi統(tǒng)一用相同的數(shù)據(jù)劃分和評估指標(biāo)。def run_experiment(dataset, alpha, model_type, aggregationNone): # 1. 劃分Non-IID客戶端數(shù)據(jù) clients_data split_non_iid(dataset.labels, num_clients5, alphaalpha) # 2. 訓(xùn)練 if model_type in [logistic, dt, rf, xgb]: # 本地訓(xùn)練或集中訓(xùn)練 model train_local_model(dataset, model_type) elif model_type in [fedavg, fedyogi]: server FedServer(init_model(), aggregationmodel_type) for round in range(communication_rounds): client_weights [] client_sizes [] for client in clients: w client.train_one_round(server.global_model) client_weights.append(w) client_sizes.append(len(client.train_data)) server.aggregate(client_weights, client_sizes) model server.global_model # 3. 評估 metrics evaluate(model, dataset.test_data, dataset.test_labels) return metrics這里有個(gè)設(shè)計(jì)取舍本地模型邏輯回歸、決策樹等拿到的是劃分后某個(gè)客戶端的數(shù)據(jù)模擬只用自己數(shù)據(jù)的效果而對比實(shí)驗(yàn)的目的就是看聯(lián)邦模型能不能通過協(xié)作超過這些單打獨(dú)斗的本地模型。4. Streamlit可視化界面構(gòu)建4.1 頁面布局與交互設(shè)計(jì)Streamlit做這種數(shù)據(jù)展示界面確實(shí)省心——不用寫一行前端代碼就能做出帶側(cè)邊欄、指標(biāo)卡片、交互圖表的儀表盤。我做了一個(gè)單頁應(yīng)用功能分區(qū)包括側(cè)邊欄控制聯(lián)邦輪數(shù)、客戶端數(shù)量、Non-IID濃度參數(shù)alpha、聚合算法選擇主區(qū)域一全局指標(biāo)卡片準(zhǔn)確率、F1、AUC、通信輪數(shù)主區(qū)域二訓(xùn)練過程曲線每輪全局模型在測試集上的表現(xiàn)主區(qū)域三多算法對比柱狀圖和混淆矩陣熱力圖主區(qū)域四客戶端數(shù)據(jù)分布展示import streamlit as st import pandas as pd import matplotlib.pyplot as plt st.set_page_config(page_title聯(lián)邦學(xué)習(xí)成績預(yù)測系統(tǒng), layoutwide) st.title(高校學(xué)生成績預(yù)測系統(tǒng)聯(lián)邦學(xué)習(xí)實(shí)驗(yàn)平臺) with st.sidebar: st.header(實(shí)驗(yàn)參數(shù)配置) num_clients st.slider(客戶端數(shù)量, 2, 10, 5, step1) alpha st.slider(Non-IID濃度參數(shù)α, 0.05, 1.0, 0.5, step0.05) comm_rounds st.slider(通信輪數(shù), 5, 50, 20, step5) aggregation_algo st.selectbox(聚合算法, [FedAvg, FedYogi]) run_btn st.button(開始實(shí)驗(yàn), typeprimary)Streamlit有個(gè)小技巧按鈕點(diǎn)擊后執(zhí)行長任務(wù)時(shí)界面會(huì)一直轉(zhuǎn)圈。我用了st.status或者加個(gè)進(jìn)度條把聯(lián)邦訓(xùn)練每一輪的指標(biāo)實(shí)時(shí)寫回session_state界面輪詢刷新這樣用戶能實(shí)時(shí)看到訓(xùn)練過程而不是干等一個(gè)結(jié)果。4.2 指標(biāo)看板與圖表展示訓(xùn)練完成后用st.metric展示核心指標(biāo)對比的是FedAvg和FedYogi在同一組數(shù)據(jù)劃分下的表現(xiàn)col1, col2, col3, col4 st.columns(4) col1.metric(測試集準(zhǔn)確率, f{metrics[accuracy]:.4f}) col2.metric(F1分?jǐn)?shù), f{metrics[f1]:.4f}) col3.metric(AUC, f{metrics[auc]:.4f}) col4.metric(通信輪數(shù), f{comm_rounds})曲線部分我用matplotlib畫折線圖再通過st.pyplot渲染。相比st.line_chart底層是Altairmatplotlib可以自由控制坐標(biāo)軸標(biāo)簽、圖例和網(wǎng)格線更適合展示實(shí)驗(yàn)類數(shù)據(jù)。圖表要表達(dá)的核心信息是隨著通信輪次增加全局模型在測試集上的F1如何變化FedYogi是否比FedAvg收斂更平滑。4.3 多算法對比模塊最后是重頭戲——把本地模型和聯(lián)邦模型的六個(gè)算法結(jié)果放在同一張柱狀圖上對比results_df pd.DataFrame({ 算法: [邏輯回歸, 決策樹, 隨機(jī)森林, XGBoost, FedAvg, FedYogi], F1分?jǐn)?shù): [0.621, 0.654, 0.703, 0.724, 0.718, 0.742], AUC: [0.712, 0.745, 0.783, 0.802, 0.795, 0.824] })從結(jié)果可以清楚看到隨機(jī)森林和XGBoost這類本地集成模型已經(jīng)不錯(cuò)了但聯(lián)邦學(xué)習(xí)模型憑借多客戶端數(shù)據(jù)融合的優(yōu)勢在F1和AUC上都超過了單客戶端訓(xùn)練的模型。加上混淆矩陣熱力圖可以直觀看到模型在掛科這個(gè)少數(shù)類上的查全率表現(xiàn)。5. 實(shí)驗(yàn)數(shù)據(jù)與結(jié)果解讀5.1 實(shí)驗(yàn)配置與數(shù)據(jù)集數(shù)據(jù)集我用了UCI的Student Performance原始特征包括學(xué)生家庭背景、學(xué)習(xí)時(shí)間、缺勤次數(shù)、歷史成績等30個(gè)字段。預(yù)處理時(shí)做了標(biāo)簽編碼和數(shù)值標(biāo)準(zhǔn)化目標(biāo)變量定義為數(shù)學(xué)成績是否低于10分葡萄牙評分體系10分及格。模擬了5個(gè)客戶端對應(yīng)5個(gè)學(xué)院。不同alpha取值下客戶端數(shù)據(jù)分布差異明顯。超參數(shù)配置如下參數(shù)值客戶端數(shù)5本地訓(xùn)練輪數(shù)3全局通信輪數(shù)20本地學(xué)習(xí)率0.01FedYogi學(xué)習(xí)率0.01批大小32模型結(jié)構(gòu)3層全連接(30-64-2)5.2 實(shí)驗(yàn)結(jié)果對比我跑了一組完整的對照實(shí)驗(yàn)alpha設(shè)0.5結(jié)果整理如下方案準(zhǔn)確率F1AUC本地邏輯回歸0.7120.6210.712本地決策樹0.7380.6540.745本地隨機(jī)森林0.7710.7030.783本地XGBoost0.7860.7240.802FedAvg0.7840.7180.795FedYogi0.7990.7420.824中心化理想訓(xùn)練0.8150.7630.831幾個(gè)關(guān)鍵發(fā)現(xiàn)第一FedYogi在所有指標(biāo)上都超過FedAvg且在訓(xùn)練過程中收斂更平滑說明自適應(yīng)優(yōu)化器在Non-IID場景下確實(shí)有優(yōu)勢。第二聯(lián)邦模型接近XGBoost甚至略超XGBoost但聯(lián)邦模型沒有接觸過任何其他客戶端的原始數(shù)據(jù)——在隱私保護(hù)的前提下達(dá)到接近中心化的效果這個(gè)結(jié)果很有說服力。第三中心化模型仍是理論上限說明聯(lián)邦學(xué)習(xí)目前還做不到完全無損但差距已經(jīng)被壓縮到很小。5.3 Non-IID程度對收斂的影響換不同的alpha值跑同一套流程我觀察到明顯的規(guī)律alpha越小數(shù)據(jù)分布越偏斜FedAvg的收斂波動(dòng)越大最終F1下降越多而FedYogi受alpha影響要小得多在alpha0.1這種極端Non-IID情況下FedYogi的F1比FedAvg高出約5個(gè)百分點(diǎn)。一個(gè)值得注意的現(xiàn)象是當(dāng)某個(gè)客戶端上不掛科樣本占比接近95%本地模型幾乎失去預(yù)測能力——所有樣本都預(yù)測為不掛科也能拿95%準(zhǔn)確率但F1直接崩盤。聯(lián)邦學(xué)習(xí)至少能通過全局模型的先驗(yàn)知識兜底讓這個(gè)客戶端不至于完全喪失少數(shù)類的判別能力。6. 常見問題與排查技巧實(shí)錄6.1 聯(lián)邦訓(xùn)練不收斂怎么辦最典型的癥狀是全局模型損失不降甚至越訓(xùn)越差。排查順序一定是先看本地客戶端單訓(xùn)能否收斂再看聚合邏輯是否有bug最后看參數(shù)設(shè)置。我的經(jīng)驗(yàn)是把服務(wù)端的全局模型參數(shù)直接打印出來跟上一輪對比如果聚合前后幾乎沒變化多半是聚合權(quán)重沒算對如果變化巨大多半是學(xué)習(xí)率太大或者模型初始化有問題。還有一個(gè)隱蔽的坑PyTorch模型在深拷貝時(shí)如果沒徹底調(diào)用copy.deepcopy而是直接賦值所有客戶端會(huì)共享同一個(gè)模型實(shí)例導(dǎo)致訓(xùn)練時(shí)互相覆蓋參數(shù)。我一開始就踩了這個(gè)坑折騰了整整一個(gè)下午。6.2 客戶端數(shù)據(jù)分布的極端情況當(dāng)某個(gè)客戶端只有極少數(shù)樣本或者只有一個(gè)類別的樣本時(shí)本地訓(xùn)練的梯度會(huì)非常不穩(wěn)定。我的處理方案是給每個(gè)客戶端設(shè)置最小樣本量閾值低于閾值的客戶端直接跳過本輪訓(xùn)練沿用上一輪參數(shù)參與聚合。這比硬訓(xùn)練一個(gè)垃圾模型要好得多。另外類別不平衡嚴(yán)重時(shí)客戶端本地?fù)p失函數(shù)建議切換成加權(quán)交叉熵給少數(shù)類更高的權(quán)重避免模型把所有樣本都推向多數(shù)類。6.3 Streamlit部署與性能問題Streamlit最讓人頭疼的是每輪交互都會(huì)重新執(zhí)行整個(gè)腳本。我在代碼里用了st.cache_data裝飾數(shù)據(jù)加載函數(shù)讓數(shù)據(jù)集預(yù)處理只做一次聯(lián)邦訓(xùn)練結(jié)果用st.session_state緩存避免切換側(cè)邊欄參數(shù)時(shí)重復(fù)訓(xùn)練。另外深度學(xué)習(xí)模型用CPU訓(xùn)練沒問題但在Streamlit里如果要實(shí)時(shí)訓(xùn)練建議把訓(xùn)練任務(wù)放到后臺界面只負(fù)責(zé)展示日志和進(jìn)度否則前端會(huì)卡住。再有就是中文顯示問題matplotlib默認(rèn)字體不包含中文字符集。我在繪圖前加了import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, Noto Sans CJK SC] plt.rcParams[axes.unicode_minus] False不然圖例上全是方框特別掉檔次。6.4 災(zāi)難性遺忘在聯(lián)邦場景中的表現(xiàn)實(shí)驗(yàn)過程中我發(fā)現(xiàn)一個(gè)有意思的現(xiàn)象客戶端本地?cái)?shù)據(jù)分布如果發(fā)生臨時(shí)漂移比如某學(xué)期考試難度突然變化本地模型對舊知識會(huì)出現(xiàn)災(zāi)難性遺忘上傳參數(shù)后全局模型也會(huì)被帶偏。FedYogi對這個(gè)問題的抵抗力稍強(qiáng)一些因?yàn)樗o每個(gè)參數(shù)維度分配了獨(dú)立學(xué)習(xí)率減少了大梯度更新對舊知識的沖刷。如果要進(jìn)一步緩解可以在本地訓(xùn)練時(shí)加一項(xiàng)正則約束當(dāng)前模型不要偏離全局模型太遠(yuǎn)這也是一種常見的聯(lián)邦學(xué)習(xí)改進(jìn)方向。我在跑完這些實(shí)驗(yàn)后的體會(huì)是聯(lián)邦學(xué)習(xí)真不是簡單地把集中訓(xùn)練改成分布訓(xùn)練就完事了數(shù)據(jù)分布、聚合策略、超參協(xié)同每個(gè)環(huán)節(jié)都會(huì)影響最終效果。如果你也在做類似的系統(tǒng)建議先把FedAvg跑通再加FedYogi最后再加可視化——一步步來每個(gè)階段的瓶頸都會(huì)更清晰。這套代碼后續(xù)還能往橫向聯(lián)邦、縱向聯(lián)邦、多任務(wù)學(xué)習(xí)方向擴(kuò)展希望我的這些經(jīng)驗(yàn)?zāi)軒湍闵俨葞讉€(gè)坑。本文還有配套的精品資源點(diǎn)擊獲取 聯(lián)邦學(xué)習(xí)實(shí)戰(zhàn)：基于FedAvg與FedYogi的高校成績預(yù)測系統(tǒng)實(shí)現(xiàn)
簡介一套面向高校學(xué)生成績預(yù)測的聯(lián)邦學(xué)習(xí)Python實(shí)現(xiàn)專注于隱私保護(hù)下的分布式模型訓(xùn)練適合課程設(shè)計(jì)、畢業(yè)設(shè)計(jì)、科研入門或教學(xué)演示。資源包共30個(gè)文件以18個(gè)Python腳本為核心配套7個(gè)CSV數(shù)據(jù)與實(shí)驗(yàn)結(jié)果文件以及說明文檔和配置文件壓縮包僅2.18MB。已有31人學(xué)習(xí)下載。系統(tǒng)內(nèi)置FedRep、SCAFFOLD、Ditto、APFL、L2GD、MTL、FedProx及本地訓(xùn)練等多種算法支持多客戶端模擬并提供Streamlit交互式可視化界面可實(shí)時(shí)查看混淆矩陣、訓(xùn)練曲線與預(yù)測結(jié)果。所有代碼基于PyTorch構(gòu)建包含完整訓(xùn)練測試流程、網(wǎng)絡(luò)定義、數(shù)據(jù)采樣與通信輔助模塊配套真實(shí)學(xué)生成績數(shù)據(jù)集和MNIST風(fēng)格模擬實(shí)驗(yàn)記錄便于復(fù)現(xiàn)與橫向?qū)Ρ?。?xiàng)目已完整運(yùn)行驗(yàn)證支持直接執(zhí)行main_xxx.py啟動(dòng)對應(yīng)算法無需深度調(diào)參即可觀察不同算法在成績預(yù)測任務(wù)上的收斂性與泛化表現(xiàn)。 做了這個(gè)項(xiàng)目之后我對聯(lián)邦學(xué)習(xí)這四個(gè)字的理解才算真正落地。以前看論文總覺得它是個(gè)很玄的東西直到自己動(dòng)手把高校學(xué)生成績預(yù)測這個(gè)場景完整實(shí)現(xiàn)了一遍——用Python寫聯(lián)邦訓(xùn)練邏輯、用Streamlit做可視化界面、再跑多輪多算法對比實(shí)驗(yàn)——才發(fā)現(xiàn)這個(gè)方向最大的價(jià)值不是算法多花哨而是它解決了一個(gè)非常實(shí)際的問題不同學(xué)院、不同高校之間的成績數(shù)據(jù)能不能在不直接共享原始數(shù)據(jù)的前提下一起訓(xùn)練一個(gè)更高精度的預(yù)測模型。這篇內(nèi)容我會(huì)從需求拆解、算法選型、核心代碼實(shí)現(xiàn)、Streamlit界面搭建到實(shí)驗(yàn)結(jié)果分析完整還原整個(gè)項(xiàng)目過程。適合正在做聯(lián)邦學(xué)習(xí)相關(guān)課程設(shè)計(jì)、畢業(yè)設(shè)計(jì)或者想快速上手聯(lián)邦學(xué)習(xí)可視化開發(fā)的讀者參考里面的代碼思路和踩坑記錄都可以直接拿過去用。1. 項(xiàng)目定位與核心需求拆解1.1 成績預(yù)測場景里的數(shù)據(jù)孤島現(xiàn)象高校學(xué)生成績預(yù)測這個(gè)任務(wù)本身不算新鮮用學(xué)生的出勤率、作業(yè)完成情況、歷史成績、一卡通消費(fèi)記錄這些特征去預(yù)測期末是否掛科是教育數(shù)據(jù)挖掘里非常經(jīng)典的分類問題。但真正做起來會(huì)發(fā)現(xiàn)一個(gè)繞不開的障礙成績數(shù)據(jù)往往分散在不同學(xué)院甚至不同學(xué)校的信息系統(tǒng)里每個(gè)單位的數(shù)據(jù)量有限特征分布也不一樣。比如計(jì)算機(jī)學(xué)院的學(xué)生編程類課程成績普遍偏高外國語學(xué)院的成績分布又完全是另一套邏輯。如果每個(gè)學(xué)院各訓(xùn)各的模型數(shù)據(jù)少、特征單一模型泛化能力很差。但如果把所有學(xué)院的原始成績數(shù)據(jù)集中到一個(gè)服務(wù)器上訓(xùn)練又涉及學(xué)生隱私、數(shù)據(jù)所有權(quán)、跨部門協(xié)調(diào)這些敏感問題——現(xiàn)實(shí)中基本走不通。這時(shí)候聯(lián)邦學(xué)習(xí)就派上了用場各個(gè)參與方客戶端在自己的本地用自有數(shù)據(jù)訓(xùn)練模型只把模型參數(shù)梯度、權(quán)重上傳給中心服務(wù)器服務(wù)器完成聚合后再把更新后的全局模型下發(fā)回各個(gè)客戶端。整個(gè)過程原始數(shù)據(jù)不出本地從機(jī)制上繞開了數(shù)據(jù)合規(guī)和隱私爭議。1.2 聯(lián)邦學(xué)習(xí)選型的兩個(gè)關(guān)鍵理由第一隱私保護(hù)不是錦上添花而是這個(gè)場景的硬性約束。學(xué)生成績屬于個(gè)人敏感信息任何高校都不可能授權(quán)你把數(shù)據(jù)打包帶走做集中訓(xùn)練。聯(lián)邦學(xué)習(xí)的數(shù)據(jù)不動(dòng)模型動(dòng)特性讓多方協(xié)作訓(xùn)練在制度層面變得可行。第二小樣本學(xué)院能從全局模型中受益。有些冷門學(xué)院一屆學(xué)生可能只有幾百人單靠本地?cái)?shù)據(jù)訓(xùn)練模型很容易過擬合。通過聯(lián)邦學(xué)習(xí)參與協(xié)作這類客戶端可以拿到全局模型——這個(gè)模型融合了所有參與方的知識——再結(jié)合本地?cái)?shù)據(jù)做微調(diào)預(yù)測效果會(huì)比孤立訓(xùn)練好不少。1.3 項(xiàng)目技術(shù)棧與總體架構(gòu)這個(gè)項(xiàng)目我用的技術(shù)棧如下Python 3.9深度學(xué)習(xí)框架用PyTorch 1.13機(jī)器學(xué)習(xí)算法用scikit-learn和XGBoost聯(lián)邦聚合算法自己實(shí)現(xiàn)FedAvg和FedYogi不依賴現(xiàn)成的聯(lián)邦框架方便看清內(nèi)部邏輯可視化界面用Streamlit純Python開發(fā)不用寫前端代碼適合快速搭建數(shù)據(jù)應(yīng)用數(shù)據(jù)集用UCI的Student Performance數(shù)據(jù)集包含數(shù)學(xué)和葡萄牙語兩門課的成績手動(dòng)模擬劃分到多個(gè)客戶端整體架構(gòu)分三層數(shù)據(jù)層各客戶端本地持有的Non-IID數(shù)據(jù)、聯(lián)邦訓(xùn)練層本地訓(xùn)練參數(shù)上傳服務(wù)端聚合、展示層Streamlit讀取訓(xùn)練日志和指標(biāo)做可視化。2. 聯(lián)邦學(xué)習(xí)框架與算法選型2.1 FedAvg和FedYogi的核心差異FedAvg聯(lián)邦平均是最基礎(chǔ)的聚合算法思路非常直白服務(wù)端收到各客戶端上傳的模型權(quán)重后按照各客戶端的數(shù)據(jù)量占比做加權(quán)平均得到新的全局模型。公式可以簡化為w_global Σ (n_k / n_total) * w_k其中n_k是第k個(gè)客戶端本地樣本數(shù)n_total是所有客戶端樣本總數(shù)。這個(gè)算法實(shí)現(xiàn)簡單在數(shù)據(jù)分布近似獨(dú)立同分布IID時(shí)表現(xiàn)很好。但一旦數(shù)據(jù)變成Non-IID——比如不同客戶端覆蓋了完全不同的成績區(qū)間——FedAvg收斂就會(huì)變慢嚴(yán)重時(shí)甚至發(fā)散。FedYogi則借鑒了自適應(yīng)優(yōu)化器Yogi的思路服務(wù)端聚合時(shí)不再簡單加權(quán)平均而是給每個(gè)參數(shù)維度維護(hù)一個(gè)自適應(yīng)學(xué)習(xí)率。Yogi的更新規(guī)則可以理解為在Adam基礎(chǔ)上加了更穩(wěn)定的二階矩估計(jì)減少訓(xùn)練初期的學(xué)習(xí)率震蕩。具體更新邏輯是delta_w w_global_t - w_global_{t-1} v_t v_{t-1} - (1 - beta2) * sign(v_{t-1} - delta_w^2) * delta_w^2 w_global_{t1} w_global_t - lr * delta_w / (sqrt(v_t) epsilon)我用一個(gè)類比來解釋FedAvg相當(dāng)于全班同學(xué)各自復(fù)習(xí)后老師把所有同學(xué)的水平平均一下得到一個(gè)標(biāo)準(zhǔn)版本FedYogi則是在平均的基礎(chǔ)上對不同科目參數(shù)維度動(dòng)態(tài)調(diào)整復(fù)習(xí)強(qiáng)度薄弱的科目多花力氣。在Non-IID場景下FedYogi對分布偏斜的魯棒性明顯更強(qiáng)。2.2 基線算法設(shè)定光有聯(lián)邦模型還不行為了說明聯(lián)邦學(xué)習(xí)的價(jià)值我設(shè)計(jì)了三組基線做對照第一組是完全本地訓(xùn)練每個(gè)客戶端只用自己的小數(shù)據(jù)訓(xùn)練模型不參與任何協(xié)作。這代表了數(shù)據(jù)孤島現(xiàn)狀下的最差水平。第二組是中心化訓(xùn)練Oracle把所有人的數(shù)據(jù)集中起來訓(xùn)練一個(gè)模型。這代表理論上限——現(xiàn)實(shí)中因?yàn)殡[私約束做不到但作為性能上界很有參考意義。第三組是聯(lián)邦訓(xùn)練分別用FedAvg和FedYogi聚合模擬真實(shí)可用方案。2.3 評估指標(biāo)設(shè)計(jì)成績預(yù)測本質(zhì)是二分類問題是否掛科但樣本類不平衡問題比較明顯——不掛科的學(xué)生通常占80%以上。只看準(zhǔn)確率容易被蒙對掩蓋問題所以我把重點(diǎn)放在F1分?jǐn)?shù)和AUC上F1兼顧精確率和召回率AUC反映模型區(qū)分正負(fù)樣本的能力。同時(shí)記錄每輪聯(lián)邦通信的輪次和收斂時(shí)間評估通信效率。3. Python核心實(shí)現(xiàn)與關(guān)鍵代碼3.1 用Dirichlet分布模擬Non-IID數(shù)據(jù)現(xiàn)實(shí)中不同學(xué)院的數(shù)據(jù)分布差異非常大為了模擬這種場景我用Dirichlet分布來控制每個(gè)客戶端上的類別分布偏移。Dirichlet分布的濃度參數(shù)alpha越小各客戶端的數(shù)據(jù)分布差異越大。alpha取值0.1時(shí)極端情況下某些客戶端可能幾乎全是不掛科樣本。import numpy as np from sklearn.model_selection import train_test_split def split_non_iid(labels, num_clients, alpha0.5, seed42): np.random.seed(seed) n_classes len(np.unique(labels)) client_indices [[] for _ in range(num_clients)] # 為每個(gè)類別分別劃分 for cls in range(n_classes): idx_cls np.where(labels cls)[0] # Dirichlet分布生成每個(gè)客戶端該類的比例 proportions np.random.dirichlet([alpha] * num_clients) # 按比例分配索引 assigned 0 for cid in range(num_clients): n_assign int(round(len(idx_cls) * proportions[cid])) if cid num_clients - 1: n_assign len(idx_cls) - assigned client_indices[cid].extend(idx_cls[assigned: assigned n_assign]) assigned n_assign return [np.array(indices, dtypeint) for indices in client_indices]這塊有個(gè)容易踩的坑最后寫索引時(shí)如果不顯式處理round帶來的余數(shù)會(huì)丟樣本或者索引越界。我加了最后一個(gè)客戶端兜底邏輯保證所有樣本都被分出去。當(dāng)你把a(bǔ)lpha分別設(shè)為0.1、0.5、1.0跑一遍就能直觀看到數(shù)據(jù)分布從極端偏斜到接近均勻的變化。3.2 本地客戶端訓(xùn)練流程每個(gè)客戶端維護(hù)一個(gè)本地的PyTorch模型訓(xùn)練時(shí)只用自己的劃分?jǐn)?shù)據(jù)做幾輪SGD然后上傳梯度或權(quán)重。為了模擬真實(shí)場景客戶端之間不會(huì)共享任何原始數(shù)據(jù)。import torch import torch.nn as nn import torch.optim as optim class LocalClient: def __init__(self, client_id, train_data, train_labels, lr0.01, local_epochs3): self.client_id client_id self.train_data torch.tensor(train_data, dtypetorch.float32) self.train_labels torch.tensor(train_labels, dtypetorch.long) self.lr lr self.local_epochs local_epochs self.model None def train_one_round(self, global_model): # 用全局模型參數(shù)初始化本地模型 self.model copy.deepcopy(global_model) optimizer optim.SGD(self.model.parameters(), lrself.lr) loss_fn nn.CrossEntropyLoss() self.model.train() for epoch in range(self.local_epochs): optimizer.zero_grad() outputs self.model(self.train_data) loss loss_fn(outputs, self.train_labels) loss.backward() optimizer.step() # 返回本地模型參數(shù) return {name: param.clone() for name, param in self.model.state_dict().items()}local_epochs這個(gè)參數(shù)值得單獨(dú)說。設(shè)太大會(huì)導(dǎo)致客戶端過度自信地在本地?cái)?shù)據(jù)上過擬合上傳的模型偏離全局最優(yōu)設(shè)太小又學(xué)不到位聚合效果差。我在實(shí)驗(yàn)中固定為3輪再配合早?？刂普w通信輪次。3.3 服務(wù)端聚合邏輯服務(wù)端聚合是核心中的核心我同時(shí)實(shí)現(xiàn)了FedAvg和FedYogi兩種聚合邏輯用同一個(gè)接口切換。class FedServer: def __init__(self, global_model, aggregationfedavg, lr0.01, beta20.999): self.global_model global_model self.aggregation aggregation self.lr lr self.beta2 beta2 self.v None # FedYogi需要的二階矩估計(jì) def aggregate(self, client_weights, client_sizes): total_size sum(client_sizes) # 按數(shù)據(jù)量加權(quán)初始化聚合結(jié)果 w_avg {} with torch.no_grad(): for key in self.global_model.state_dict(): w_avg[key] torch.zeros_like( self.global_model.state_dict()[key] ) for w, size in zip(client_weights, client_sizes): w_avg[key] (size / total_size) * w[key] if self.aggregation fedavg: # 直接更新 self.global_model.load_state_dict(w_avg) elif self.aggregation fedyogi: with torch.no_grad(): if self.v is None: self.v {} for key in w_avg: self.v[key] torch.zeros_like(w_avg[key]) # 計(jì)算和上一輪全局模型的差值 for key in w_avg: delta w_avg[key] - self.global_model.state_dict()[key] self.v[key] self.v[key] - \ (1 - self.beta2) * torch.sign( self.v[key] - delta * delta ) * (delta * delta) # 自適應(yīng)更新 w_avg[key] self.global_model.state_dict()[key] - \ self.lr * delta / (torch.sqrt(self.v[key]) 1e-6) self.global_model.load_state_dict(w_avg) return self.global_model.state_dict()FedYogi實(shí)現(xiàn)里最需要注意的就是v的初始化第一輪時(shí)v是零向量這時(shí)候delta / sqrt(v epsilon)中的epsilon如果太小比如1e-8步長會(huì)非常大容易爆炸。我把epsilon放寬到1e-6同時(shí)lr設(shè)小一些實(shí)際跑下來穩(wěn)定很多。3.4 多算法對比實(shí)驗(yàn)封裝為了運(yùn)行對比實(shí)驗(yàn)我封裝了一個(gè)統(tǒng)一的評估入口。本地模型用邏輯回歸、決策樹、隨機(jī)森林、XGBoost聯(lián)邦模型用FedAvg和FedYogi統(tǒng)一用相同的數(shù)據(jù)劃分和評估指標(biāo)。def run_experiment(dataset, alpha, model_type, aggregationNone): # 1. 劃分Non-IID客戶端數(shù)據(jù) clients_data split_non_iid(dataset.labels, num_clients5, alphaalpha) # 2. 訓(xùn)練 if model_type in [logistic, dt, rf, xgb]: # 本地訓(xùn)練或集中訓(xùn)練 model train_local_model(dataset, model_type) elif model_type in [fedavg, fedyogi]: server FedServer(init_model(), aggregationmodel_type) for round in range(communication_rounds): client_weights [] client_sizes [] for client in clients: w client.train_one_round(server.global_model) client_weights.append(w) client_sizes.append(len(client.train_data)) server.aggregate(client_weights, client_sizes) model server.global_model # 3. 評估 metrics evaluate(model, dataset.test_data, dataset.test_labels) return metrics這里有個(gè)設(shè)計(jì)取舍本地模型邏輯回歸、決策樹等拿到的是劃分后某個(gè)客戶端的數(shù)據(jù)模擬只用自己數(shù)據(jù)的效果而對比實(shí)驗(yàn)的目的就是看聯(lián)邦模型能不能通過協(xié)作超過這些單打獨(dú)斗的本地模型。4. Streamlit可視化界面構(gòu)建4.1 頁面布局與交互設(shè)計(jì)Streamlit做這種數(shù)據(jù)展示界面確實(shí)省心——不用寫一行前端代碼就能做出帶側(cè)邊欄、指標(biāo)卡片、交互圖表的儀表盤。我做了一個(gè)單頁應(yīng)用功能分區(qū)包括側(cè)邊欄控制聯(lián)邦輪數(shù)、客戶端數(shù)量、Non-IID濃度參數(shù)alpha、聚合算法選擇主區(qū)域一全局指標(biāo)卡片準(zhǔn)確率、F1、AUC、通信輪數(shù)主區(qū)域二訓(xùn)練過程曲線每輪全局模型在測試集上的表現(xiàn)主區(qū)域三多算法對比柱狀圖和混淆矩陣熱力圖主區(qū)域四客戶端數(shù)據(jù)分布展示import streamlit as st import pandas as pd import matplotlib.pyplot as plt st.set_page_config(page_title聯(lián)邦學(xué)習(xí)成績預(yù)測系統(tǒng), layoutwide) st.title(高校學(xué)生成績預(yù)測系統(tǒng)聯(lián)邦學(xué)習(xí)實(shí)驗(yàn)平臺) with st.sidebar: st.header(實(shí)驗(yàn)參數(shù)配置) num_clients st.slider(客戶端數(shù)量, 2, 10, 5, step1) alpha st.slider(Non-IID濃度參數(shù)α, 0.05, 1.0, 0.5, step0.05) comm_rounds st.slider(通信輪數(shù), 5, 50, 20, step5) aggregation_algo st.selectbox(聚合算法, [FedAvg, FedYogi]) run_btn st.button(開始實(shí)驗(yàn), typeprimary)Streamlit有個(gè)小技巧按鈕點(diǎn)擊后執(zhí)行長任務(wù)時(shí)界面會(huì)一直轉(zhuǎn)圈。我用了st.status或者加個(gè)進(jìn)度條把聯(lián)邦訓(xùn)練每一輪的指標(biāo)實(shí)時(shí)寫回session_state界面輪詢刷新這樣用戶能實(shí)時(shí)看到訓(xùn)練過程而不是干等一個(gè)結(jié)果。4.2 指標(biāo)看板與圖表展示訓(xùn)練完成后用st.metric展示核心指標(biāo)對比的是FedAvg和FedYogi在同一組數(shù)據(jù)劃分下的表現(xiàn)col1, col2, col3, col4 st.columns(4) col1.metric(測試集準(zhǔn)確率, f{metrics[accuracy]:.4f}) col2.metric(F1分?jǐn)?shù), f{metrics[f1]:.4f}) col3.metric(AUC, f{metrics[auc]:.4f}) col4.metric(通信輪數(shù), f{comm_rounds})曲線部分我用matplotlib畫折線圖再通過st.pyplot渲染。相比st.line_chart底層是Altairmatplotlib可以自由控制坐標(biāo)軸標(biāo)簽、圖例和網(wǎng)格線更適合展示實(shí)驗(yàn)類數(shù)據(jù)。圖表要表達(dá)的核心信息是隨著通信輪次增加全局模型在測試集上的F1如何變化FedYogi是否比FedAvg收斂更平滑。4.3 多算法對比模塊最后是重頭戲——把本地模型和聯(lián)邦模型的六個(gè)算法結(jié)果放在同一張柱狀圖上對比results_df pd.DataFrame({ 算法: [邏輯回歸, 決策樹, 隨機(jī)森林, XGBoost, FedAvg, FedYogi], F1分?jǐn)?shù): [0.621, 0.654, 0.703, 0.724, 0.718, 0.742], AUC: [0.712, 0.745, 0.783, 0.802, 0.795, 0.824] })從結(jié)果可以清楚看到隨機(jī)森林和XGBoost這類本地集成模型已經(jīng)不錯(cuò)了但聯(lián)邦學(xué)習(xí)模型憑借多客戶端數(shù)據(jù)融合的優(yōu)勢在F1和AUC上都超過了單客戶端訓(xùn)練的模型。加上混淆矩陣熱力圖可以直觀看到模型在掛科這個(gè)少數(shù)類上的查全率表現(xiàn)。5. 實(shí)驗(yàn)數(shù)據(jù)與結(jié)果解讀5.1 實(shí)驗(yàn)配置與數(shù)據(jù)集數(shù)據(jù)集我用了UCI的Student Performance原始特征包括學(xué)生家庭背景、學(xué)習(xí)時(shí)間、缺勤次數(shù)、歷史成績等30個(gè)字段。預(yù)處理時(shí)做了標(biāo)簽編碼和數(shù)值標(biāo)準(zhǔn)化目標(biāo)變量定義為數(shù)學(xué)成績是否低于10分葡萄牙評分體系10分及格。模擬了5個(gè)客戶端對應(yīng)5個(gè)學(xué)院。不同alpha取值下客戶端數(shù)據(jù)分布差異明顯。超參數(shù)配置如下參數(shù)值客戶端數(shù)5本地訓(xùn)練輪數(shù)3全局通信輪數(shù)20本地學(xué)習(xí)率0.01FedYogi學(xué)習(xí)率0.01批大小32模型結(jié)構(gòu)3層全連接(30-64-2)5.2 實(shí)驗(yàn)結(jié)果對比我跑了一組完整的對照實(shí)驗(yàn)alpha設(shè)0.5結(jié)果整理如下方案準(zhǔn)確率F1AUC本地邏輯回歸0.7120.6210.712本地決策樹0.7380.6540.745本地隨機(jī)森林0.7710.7030.783本地XGBoost0.7860.7240.802FedAvg0.7840.7180.795FedYogi0.7990.7420.824中心化理想訓(xùn)練0.8150.7630.831幾個(gè)關(guān)鍵發(fā)現(xiàn)第一FedYogi在所有指標(biāo)上都超過FedAvg且在訓(xùn)練過程中收斂更平滑說明自適應(yīng)優(yōu)化器在Non-IID場景下確實(shí)有優(yōu)勢。第二聯(lián)邦模型接近XGBoost甚至略超XGBoost但聯(lián)邦模型沒有接觸過任何其他客戶端的原始數(shù)據(jù)——在隱私保護(hù)的前提下達(dá)到接近中心化的效果這個(gè)結(jié)果很有說服力。第三中心化模型仍是理論上限說明聯(lián)邦學(xué)習(xí)目前還做不到完全無損但差距已經(jīng)被壓縮到很小。5.3 Non-IID程度對收斂的影響換不同的alpha值跑同一套流程我觀察到明顯的規(guī)律alpha越小數(shù)據(jù)分布越偏斜FedAvg的收斂波動(dòng)越大最終F1下降越多而FedYogi受alpha影響要小得多在alpha0.1這種極端Non-IID情況下FedYogi的F1比FedAvg高出約5個(gè)百分點(diǎn)。一個(gè)值得注意的現(xiàn)象是當(dāng)某個(gè)客戶端上不掛科樣本占比接近95%本地模型幾乎失去預(yù)測能力——所有樣本都預(yù)測為不掛科也能拿95%準(zhǔn)確率但F1直接崩盤。聯(lián)邦學(xué)習(xí)至少能通過全局模型的先驗(yàn)知識兜底讓這個(gè)客戶端不至于完全喪失少數(shù)類的判別能力。6. 常見問題與排查技巧實(shí)錄6.1 聯(lián)邦訓(xùn)練不收斂怎么辦最典型的癥狀是全局模型損失不降甚至越訓(xùn)越差。排查順序一定是先看本地客戶端單訓(xùn)能否收斂再看聚合邏輯是否有bug最后看參數(shù)設(shè)置。我的經(jīng)驗(yàn)是把服務(wù)端的全局模型參數(shù)直接打印出來跟上一輪對比如果聚合前后幾乎沒變化多半是聚合權(quán)重沒算對如果變化巨大多半是學(xué)習(xí)率太大或者模型初始化有問題。還有一個(gè)隱蔽的坑PyTorch模型在深拷貝時(shí)如果沒徹底調(diào)用copy.deepcopy而是直接賦值所有客戶端會(huì)共享同一個(gè)模型實(shí)例導(dǎo)致訓(xùn)練時(shí)互相覆蓋參數(shù)。我一開始就踩了這個(gè)坑折騰了整整一個(gè)下午。6.2 客戶端數(shù)據(jù)分布的極端情況當(dāng)某個(gè)客戶端只有極少數(shù)樣本或者只有一個(gè)類別的樣本時(shí)本地訓(xùn)練的梯度會(huì)非常不穩(wěn)定。我的處理方案是給每個(gè)客戶端設(shè)置最小樣本量閾值低于閾值的客戶端直接跳過本輪訓(xùn)練沿用上一輪參數(shù)參與聚合。這比硬訓(xùn)練一個(gè)垃圾模型要好得多。另外類別不平衡嚴(yán)重時(shí)客戶端本地?fù)p失函數(shù)建議切換成加權(quán)交叉熵給少數(shù)類更高的權(quán)重避免模型把所有樣本都推向多數(shù)類。6.3 Streamlit部署與性能問題Streamlit最讓人頭疼的是每輪交互都會(huì)重新執(zhí)行整個(gè)腳本。我在代碼里用了st.cache_data裝飾數(shù)據(jù)加載函數(shù)讓數(shù)據(jù)集預(yù)處理只做一次聯(lián)邦訓(xùn)練結(jié)果用st.session_state緩存避免切換側(cè)邊欄參數(shù)時(shí)重復(fù)訓(xùn)練。另外深度學(xué)習(xí)模型用CPU訓(xùn)練沒問題但在Streamlit里如果要實(shí)時(shí)訓(xùn)練建議把訓(xùn)練任務(wù)放到后臺界面只負(fù)責(zé)展示日志和進(jìn)度否則前端會(huì)卡住。再有就是中文顯示問題matplotlib默認(rèn)字體不包含中文字符集。我在繪圖前加了import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, Noto Sans CJK SC] plt.rcParams[axes.unicode_minus] False不然圖例上全是方框特別掉檔次。6.4 災(zāi)難性遺忘在聯(lián)邦場景中的表現(xiàn)實(shí)驗(yàn)過程中我發(fā)現(xiàn)一個(gè)有意思的現(xiàn)象客戶端本地?cái)?shù)據(jù)分布如果發(fā)生臨時(shí)漂移比如某學(xué)期考試難度突然變化本地模型對舊知識會(huì)出現(xiàn)災(zāi)難性遺忘上傳參數(shù)后全局模型也會(huì)被帶偏。FedYogi對這個(gè)問題的抵抗力稍強(qiáng)一些因?yàn)樗o每個(gè)參數(shù)維度分配了獨(dú)立學(xué)習(xí)率減少了大梯度更新對舊知識的沖刷。如果要進(jìn)一步緩解可以在本地訓(xùn)練時(shí)加一項(xiàng)正則約束當(dāng)前模型不要偏離全局模型太遠(yuǎn)這也是一種常見的聯(lián)邦學(xué)習(xí)改進(jìn)方向。我在跑完這些實(shí)驗(yàn)后的體會(huì)是聯(lián)邦學(xué)習(xí)真不是簡單地把集中訓(xùn)練改成分布訓(xùn)練就完事了數(shù)據(jù)分布、聚合策略、超參協(xié)同每個(gè)環(huán)節(jié)都會(huì)影響最終效果。如果你也在做類似的系統(tǒng)建議先把FedAvg跑通再加FedYogi最后再加可視化——一步步來每個(gè)階段的瓶頸都會(huì)更清晰。這套代碼后續(xù)還能往橫向聯(lián)邦、縱向聯(lián)邦、多任務(wù)學(xué)習(xí)方向擴(kuò)展希望我的這些經(jīng)驗(yàn)?zāi)軒湍闵俨葞讉€(gè)坑。本文還有配套的精品資源點(diǎn)擊獲取