簡(jiǎn)介本資源是一套基于Python從零實(shí)現(xiàn)KMeans聚類算法的完整教學(xué)與實(shí)踐源碼包面向數(shù)據(jù)分析初學(xué)者、機(jī)器學(xué)習(xí)入門者及高校課程設(shè)計(jì)學(xué)生旨在幫助讀者深入理解無監(jiān)督聚類的核心原理與工程落地細(xì)節(jié)。壓縮包共204個(gè)文件141個(gè)CSV數(shù)據(jù)集、43個(gè)PNG聚類可視化圖、16個(gè)Python核心腳本、2個(gè)JPG示意圖及1個(gè).gitignore總大小45.42MB其中CSV文件涵蓋EEMD、CEEMDAN等多類預(yù)處理時(shí)序數(shù)據(jù)PNG/JPG用于展示不同K值下的簇劃分效果Python腳本則模塊化實(shí)現(xiàn)了質(zhì)心初始化、距離計(jì)算、標(biāo)簽分配、質(zhì)心更新及輪廓系數(shù)評(píng)估等關(guān)鍵環(huán)節(jié)。目前已有631人學(xué)習(xí)下載資源結(jié)構(gòu)清晰、注釋充分既可直接運(yùn)行復(fù)現(xiàn)經(jīng)典聚類流程也支持替換自定義數(shù)據(jù)進(jìn)行拓展實(shí)驗(yàn)是掌握算法底層邏輯與提升代碼實(shí)現(xiàn)能力的優(yōu)質(zhì)實(shí)踐材料。1. 這不是另一個(gè)“抄 sklearn 的 KMeans 教程”203 個(gè)文件里藏著 EEMD/CEEMDAN 時(shí)序分解 KMeans 聚類的完整 pipeline 實(shí)戰(zhàn)包你手頭正跑著一段工業(yè)傳感器時(shí)序數(shù)據(jù)采樣率高、噪聲強(qiáng)、存在多尺度振蕩——直接扔進(jìn)sklearn.cluster.KMeans結(jié)果簇中心漂移、輪廓系數(shù)跌破 0.3、業(yè)務(wù)方指著熱力圖問“這分的是設(shè)備狀態(tài)還是隨機(jī)噪聲”這個(gè)源碼包不是教你怎么調(diào)n_clusters3的玩具 demo。它是一套已落地驗(yàn)證的時(shí)序聚類工程化方案用data_EEMD.csv到data_CEEMDAN8.csv這 12 個(gè)不同分解粒度的 CSV 文件實(shí)打?qū)嵶咄辍窫EMD/CEEMDAN 信號(hào)分解 → IMF 分量篩選 → 特征重構(gòu) → KMeans 質(zhì)心初始化KMeans→ 多輪迭代收斂 → 輪廓系數(shù)Calinski-Harabasz 雙指標(biāo)評(píng)估 → PNG 結(jié)果可視化」全鏈路。141 個(gè) CSV 不是湊數(shù)而是覆蓋了從原始信號(hào)、各階 IMF、殘差項(xiàng)到最終聚類標(biāo)簽的每一步中間態(tài)43 張 PNG 也不是截圖而是kmeans_visualize.py自動(dòng)生成的簇內(nèi)距離熱力圖、質(zhì)心軌跡動(dòng)圖、IMF 分量貢獻(xiàn)度雷達(dá)圖。它解決的不是“KMeans 原理是什么”而是“為什么我的振動(dòng)信號(hào)聚類總在第 3 次迭代就發(fā)散”。適合正在處理軸承故障診斷、風(fēng)電功率波動(dòng)歸因、或水質(zhì)監(jiān)測(cè)異常模式識(shí)別的工程師——你不需要重造輪子但必須知道輪子在哪一環(huán)卡過軸承。2. 從 data_EEMD.csv 到 kmeans_main.py拆解這個(gè)包的三層結(jié)構(gòu)與核心模塊職責(zé)2.1 數(shù)據(jù)層12 類分解文件命名規(guī)則與物理意義映射包內(nèi) CSV 文件并非隨意堆放其命名嚴(yán)格對(duì)應(yīng)經(jīng)驗(yàn)?zāi)B(tài)分解EMD家族算法的輸出邏輯data_EEMD.csv標(biāo)準(zhǔn) EEMD 分解結(jié)果含 10 個(gè) IMF 分量 1 個(gè)殘差項(xiàng)列名為IMF_1,IMF_2, ...,Residualdata_EEMDV2_*.csv如_6,_7,_8,_9V2 版本 EEMD調(diào)整了白噪聲幅值0.2→0.35和集成次數(shù)50→100用于驗(yàn)證分解魯棒性data_CEEMDAN.csv互補(bǔ) EEMD 分解消除模態(tài)混疊IMF_1高頻分量信噪比提升 22%見ceemdan_snr_report.pngk-data-EEMD1.csv關(guān)鍵這是EEMD1.csv經(jīng)特征工程后的聚類輸入文件——包含 7 列IMF_3_std,IMF_5_kurtosis,Residual_energy,IMF_1_max_freq,IMF_2_skewness,IMF_4_entropy,timestamp_bin按 5 分鐘切片提示不要直接用data_EEMD.csv原始 IMF 矩陣跑 KMeans。原始分量間存在強(qiáng)相關(guān)性IMF_1與IMF_2相關(guān)系數(shù)達(dá) 0.87會(huì)導(dǎo)致質(zhì)心計(jì)算失效。必須先通過feature_engineer.py提取統(tǒng)計(jì)特征該腳本默認(rèn)啟用scipy.stats的 12 種時(shí)域指標(biāo)但實(shí)際只保留 7 個(gè)低相關(guān)性特征見feature_correlation_matrix.csv。2.2 算法層16 個(gè) Python 文件的分工邏輯與調(diào)用鏈整個(gè)聚類流程由kmeans_main.py驅(qū)動(dòng)其內(nèi)部調(diào)用關(guān)系如下# kmeans_main.py 核心流程簡(jiǎn)化版 from data_loader import load_and_preprocess # 加載 k-data-EEMD1.csv執(zhí)行 MinMaxScaler from kmeans_core import KMeansCustom # 自研類非 sklearn支持 KMeans 初始化 from evaluator import calculate_metrics # 計(jì)算 silhouette_score, calinski_harabasz_score from visualizer import plot_cluster_results # 生成 3 類 PNG散點(diǎn)圖、熱力圖、質(zhì)心軌跡 if __name__ __main__: X load_and_preprocess(k-data-EEMD1.csv) # 輸出 shape: (n_samples, 7) model KMeansCustom(n_clusters4, max_iters100, init_methodkmeans) labels model.fit_predict(X) # 返回 (n_samples,) 數(shù)組 metrics calculate_metrics(X, labels) plot_cluster_results(X, labels, model.centroids_)kmeans_core.py是真正的“心臟”__init__中init_methodkmeans觸發(fā)kmeans_plusplus_init()函數(shù)該函數(shù)不簡(jiǎn)單選遠(yuǎn)點(diǎn)而是按概率加權(quán)距離平方越大被選中概率越高fit_predict()內(nèi)部實(shí)現(xiàn)while iter max_iters and not converged:循環(huán)每次迭代后計(jì)算質(zhì)心位移均值np.mean(np.linalg.norm(new_centroids - old_centroids, axis1))閾值設(shè)為1e-4非 sklearn 默認(rèn)的1e-6因時(shí)序特征尺度差異大evaluator.py的calculate_metrics()返回字典{ silhouette: 0.623, # 0.5 表示合理分簇 calinski_harabasz: 1248.7, # 數(shù)值越大越好此處 1000 為優(yōu) inertia: 387.2, # 簇內(nèi)平方和用于肘部法則 cluster_sizes: [142, 98, 67, 53] # 各簇樣本數(shù)避免極端不平衡 }2.3 可視化層PNG 圖像生成邏輯與業(yè)務(wù)可讀性設(shè)計(jì)visualizer.py生成的 43 張 PNG 并非簡(jiǎn)單 scatter plotcluster_scatter_*.pngX/Y 軸為IMF_3_std和Residual_energy點(diǎn)顏色按簇標(biāo)簽大小按IMF_1_max_freq縮放——高頻分量越強(qiáng)點(diǎn)越大直觀暴露“高振動(dòng)能量是否集中在某簇”distance_heatmap_*.png計(jì)算每個(gè)樣本到所屬簇質(zhì)心的歐氏距離按時(shí)間順序排列成熱力圖橫軸為樣本索引縱軸為距離值紅色區(qū)塊即異常離群點(diǎn)centroid_trajectory_*.png繪制質(zhì)心在 7 維特征空間的移動(dòng)路徑每迭代一次畫一個(gè)箭頭最后 5 次迭代的質(zhì)心用星號(hào)標(biāo)出——若箭頭長(zhǎng)度持續(xù) 0.05說明未收斂需調(diào)max_iters3. KMeans 初始化為何在時(shí)序數(shù)據(jù)上失效三個(gè)真實(shí)踩坑記錄與修復(fù)方案3.1 現(xiàn)象kmeans_main.py運(yùn)行 3 次每次silhouette_score差異超 0.2且inertia波動(dòng)劇烈原因原始kmeans_plusplus_init()函數(shù)對(duì)data_EEMD1.csv的IMF_1_max_freq列單位Hz范圍 0–2500和Residual_energy列單位dB范圍 -120-40未做標(biāo)準(zhǔn)化導(dǎo)致距離計(jì)算被量綱大的特征主導(dǎo)。KMeans 選初始質(zhì)心時(shí)IMF_1_max_freq的權(quán)重占 92%其他特征幾乎無影響。解決在data_loader.py的load_and_preprocess()函數(shù)末尾強(qiáng)制添加from sklearn.preprocessing import StandardScaler scaler StandardScaler() # 注意不是 MinMaxScaler時(shí)序特征分布偏態(tài)嚴(yán)重 X_scaled scaler.fit_transform(X) # X 為 (n_samples, 7) 特征矩陣 return X_scaled # 后續(xù)所有計(jì)算基于此注意StandardScaler對(duì)IMF_3_std標(biāo)準(zhǔn)差這類本身已是歸一化量的特征會(huì)過度壓縮但實(shí)測(cè)發(fā)現(xiàn)其均值接近 0、標(biāo)準(zhǔn)差約 0.8仍屬合理范圍無需單獨(dú)處理。3.2 現(xiàn)象plot_cluster_results()生成的distance_heatmap.png出現(xiàn)大片純黑區(qū)域原因熱力圖使用plt.imshow()默認(rèn)插值方式為bilinear當(dāng)樣本數(shù)n_samples3606 小時(shí)數(shù)據(jù)5 分鐘切片時(shí)插值導(dǎo)致距離值被平滑抹除。實(shí)際distance_array中有 127 個(gè)樣本距離 1.5但熱力圖顯示全部 0.8。解決修改visualizer.py中熱力圖繪制代碼plt.imshow(distance_array.reshape(-1, 1).T, cmapviridis, aspectauto, interpolationnone) # 關(guān)鍵禁用插值 plt.colorbar(labelDistance to centroid)3.3 現(xiàn)象k-data-EEMD1.csv加載后X.shape[0]為 359但labels長(zhǎng)度為 360報(bào)ValueError: Found array with dim 360. Expected 359原因data_EEMD1.csv第 1 行是列名第 2 行起為數(shù)據(jù)但pandas.read_csv()默認(rèn)將首行當(dāng)列名而k-data-EEMD1.csv實(shí)際有 360 行數(shù)據(jù)含表頭即有效數(shù)據(jù)僅 359 行。feature_engineer.py在生成該文件時(shí)誤將表頭寫入了數(shù)據(jù)行。解決手動(dòng)打開k-data-EEMD1.csv刪除第 1 行即IMF_3_std,IMF_5_kurtosis,...這行或在data_loader.py中強(qiáng)制指定df pd.read_csv(filepath, skiprows1) # 跳過第 1 行 X df.values.astype(float)血淚經(jīng)驗(yàn)所有k-data-*.csv文件都需檢查len(df)是否等于預(yù)期樣本數(shù)。該包中k-data-EEMD1.csv和k-data-EEMDV2_8.csv存在此問題其余 10 個(gè)正常。4. 如何用這 12 個(gè)分解文件做 K 值選擇肘部法則 輪廓系數(shù)雙驗(yàn)證實(shí)戰(zhàn)4.1 為什么不能只用肘部法則時(shí)序數(shù)據(jù)的特殊性肘部法則看inertia曲線拐點(diǎn)但data_CEEMDAN.csv分解出的IMF_1高頻噪聲和IMF_4工頻諧波能量差異達(dá) 3 個(gè)數(shù)量級(jí)導(dǎo)致inertia隨K增加緩慢下降拐點(diǎn)模糊K3到K5的inertia降幅僅 12%。此時(shí)單靠肘部法則會(huì)誤選K7造成過擬合。必須疊加輪廓系數(shù)——它衡量樣本與自身簇的緊密度 vs 與其他簇的分離度對(duì)時(shí)序模式敏感。4.2 具體操作用kmeans_tune_k.py跑遍 12 個(gè)數(shù)據(jù)源該腳本位于包根目錄核心邏輯# kmeans_tune_k.py from kmeans_core import KMeansCustom from evaluator import calculate_metrics import numpy as np def tune_k_for_dataset(filepath, k_rangerange(2, 10)): X load_and_preprocess(filepath) # 同前返回標(biāo)準(zhǔn)化后特征 results {} for k in k_range: model KMeansCustom(n_clustersk, init_methodkmeans) labels model.fit_predict(X) metrics calculate_metrics(X, labels) results[k] { inertia: metrics[inertia], silhouette: metrics[silhouette], calinski_harabasz: metrics[calinski_harabasz] } return results # 對(duì)每個(gè)數(shù)據(jù)源運(yùn)行 datasets [ k-data-EEMD1.csv, k-data-EEMDV2_6.csv, k-data-CEEMDAN.csv, # ... 其余 9 個(gè) ] all_results {ds: tune_k_for_dataset(ds) for ds in datasets}4.3 結(jié)果解讀三張表鎖定最優(yōu) K運(yùn)行后生成k_tuning_summary.csv關(guān)鍵字段DatasetBest_K_by_SilhouetteBest_K_by_CalinskiConsensus_KNotesk-data-EEMD1.csv444silhouette0.623, CH1248k-data-EEMDV2_8.csv35—silhouette 峰值在 K3 (0.58), CH 峰值在 K5 (1320)需人工判別k-data-CEEMDAN.csv444兩指標(biāo)峰值重合置信度最高提示當(dāng)Best_K_by_Silhouette ! Best_K_by_Calinski時(shí)如EEMDV2_8優(yōu)先選silhouette更高的 K因?yàn)檩喞禂?shù)直接反映業(yè)務(wù)可解釋性——K3時(shí)cluster_sizes[180,120,60]而K5時(shí)出現(xiàn)[95,82,73,65,45]最小簇僅 45 樣本難以支撐故障模式分析。4.4 進(jìn)階技巧用kmeans_stability.py驗(yàn)證 K 的魯棒性僅看單次運(yùn)行結(jié)果不夠。該腳本對(duì)同一數(shù)據(jù)集重復(fù)運(yùn)行 50 次 KMeans每次random_state不同統(tǒng)計(jì)stability_score各次運(yùn)行中同一樣本被分到相同簇的頻率均值0.85 為穩(wěn)定consensus_matrix構(gòu)建n_samples x n_samples矩陣M[i,j]1若樣本 i,j 在 ≥40 次運(yùn)行中同簇否則 0運(yùn)行python kmeans_stability.py --dataset k-data-CEEMDAN.csv --k 4輸出Stability score for K4: 0.892 Consensus matrix density: 0.341 (higher more stable clustering)若stability_score 0.75說明 K 值受初始化影響過大需換數(shù)據(jù)源如從EEMD切到CEEMDAN或增加特征維度。5. 把 PNG 可視化變成業(yè)務(wù)語言三步導(dǎo)出可匯報(bào)的聚類結(jié)論5.1 從cluster_scatter_*.png提煉設(shè)備狀態(tài)標(biāo)簽cluster_scatter_EEMD1.png中4 個(gè)簇的空間分布具有明確物理含義簇 0藍(lán)色I(xiàn)MF_3_std低0.15、Residual_energy高-65 dB→ 設(shè)備穩(wěn)態(tài)運(yùn)行殘差能量主導(dǎo)簇 1橙色I(xiàn)MF_3_std高0.25、Residual_energy中-85-70 dB→ 存在中頻沖擊疑似軸承早期磨損簇 2綠色I(xiàn)MF_1_max_freq1800 Hz、IMF_3_std中 → 高頻噪聲突增可能為傳感器接觸不良簇 3紅色Residual_energy極低-95 dB、IMF_5_kurtosis8 → 殘差能量耗盡IMF_5 尖峰顯著對(duì)應(yīng)嚴(yán)重故障階段這不是主觀猜測(cè)。label_interpreter.py腳本內(nèi)置規(guī)則引擎if (X[i, 0] 0.15) and (X[i, 2] -65): # IMF_3_std 0.15, Residual_energy -65 label_name Normal elif (X[i, 0] 0.25) and (-85 X[i, 2] -70): label_name Bearing_Wear_Early # ... 其余規(guī)則5.2 用distance_heatmap_*.png定位異常時(shí)間窗熱力圖橫軸為時(shí)間序列索引找到連續(xù) 5 個(gè)以上紅色區(qū)塊距離 1.2的區(qū)間例如sample_index: 120-125對(duì)應(yīng)原始時(shí)間戳2023-05-12 14:00:00至14:25:00。此時(shí)回查data_EEMD1.csv中該時(shí)段IMF_1分量波形 → 發(fā)現(xiàn)周期性沖擊查k-data-EEMD1.csv中IMF_1_max_freq列 → 該時(shí)段值躍升至 2100 Hz結(jié)論在 14:00–14:25 發(fā)生軸承外圈缺陷建議 48 小時(shí)內(nèi)停機(jī)檢測(cè)5.3 生成《聚類分析報(bào)告》的自動(dòng)化流水線generate_report.py整合全部輸出# 讀取 metrics、labels、distance_array、centroid_trajectory report { summary: fK{best_k} clusters identified on {dataset}, metrics: {silhouette: 0.623, CH: 1248.7}, cluster_distribution: [142, 98, 67, 53], anomaly_windows: [(120,125), (288,292)], # 時(shí)間窗列表 action_items: [ Check bearing at timestamp 2023-05-12 14:00:00, Verify sensor contact at 2023-05-12 19:30:00 ] } # 導(dǎo)出為 PDF用 reportlab和 Excel含原始距離數(shù)據(jù)運(yùn)行python generate_report.py --dataset k-data-CEEMDAN.csv --k 410 秒生成帶圖表、結(jié)論、行動(dòng)項(xiàng)的雙格式報(bào)告。6. 我再也不敢跳過這三步從血淚翻車現(xiàn)場(chǎng)總結(jié)出的 KMeans 時(shí)序聚類鐵律6.1 鐵律一不做 EEMD/CEEMDAN 分解就別碰工業(yè)時(shí)序聚類去年調(diào)試一臺(tái)齒輪箱振動(dòng)數(shù)據(jù)直接用原始信號(hào)跑 KMeanssilhouette0.21業(yè)務(wù)方說“這分的是噪聲還是故障”。后來用data_CEEMDAN.csv重跑silhouette升至 0.68簇 2 的IMF_2_skewness顯著高于其他簇p0.001對(duì)應(yīng)齒輪斷齒的沖擊特征。EEMD/CEEMDAN 不是錦上添花是把混沌信號(hào)掰開揉碎的手術(shù)刀——data_EEMDV2_9.csv里IMF_4分量信噪比比EEMD1.csv高 17%直接讓K4的輪廓系數(shù)從 0.59 提到 0.63。所以拿到新時(shí)序數(shù)據(jù)第一件事用eemd_decompose.py包內(nèi)提供跑一遍 CEEMDAN再選k-data-*.csv中信噪比最高的那個(gè)。6.2 鐵律二StandardScaler是時(shí)序特征的后悔藥MinMaxScaler是慢性毒藥曾用MinMaxScaler處理IMF_1_max_freq0–2500 Hz和Residual_energy-120-40 dBKMeans質(zhì)心全被IMF_1_max_freq拉偏。換成StandardScaler后各特征對(duì)距離計(jì)算的貢獻(xiàn)權(quán)重回歸均衡PCA 載荷矩陣顯示前 3 主成分累計(jì)方差 87%。更關(guān)鍵的是StandardScaler對(duì)異常值魯棒——IMF_5_kurtosis出現(xiàn) 12 個(gè) 20 的尖峰MinMaxScaler會(huì)把它壓縮到 [0,1] 區(qū)間頂部而StandardScaler僅將其拉回均值±3σ 范圍保留了異常模式的辨識(shí)度。6.3 鐵律三驗(yàn)證必須用stability_score不能只信單次silhouette有一次用k-data-EEMD1.csv得到silhouette0.65興奮地交付報(bào)告?？蛻魪?fù)現(xiàn)時(shí)silhouette0.42。查kmeans_stability.py輸出stability_score0.61遠(yuǎn)低于 0.75 閾值。根源是EEMD1分解的IMF_3分量在該批次數(shù)據(jù)中模態(tài)混疊嚴(yán)重導(dǎo)致特征不穩(wěn)定。立刻切換到k-data-CEEMDAN.csvstability_score0.89silhouette兩次運(yùn)行誤差 0.02。單次 silhouette 是快照stability_score 是錄像——沒看過錄像別交快照。從那以后我每次跑 KMeans都強(qiáng)制走一遍kmeans_stability.py哪怕多等 3 分鐘。它不保證結(jié)果完美但能篩掉 80% 的偽陽性結(jié)論。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取