簡介本資源是一套基于Python與TensorFlow實(shí)現(xiàn)的VMD-LSTM時(shí)序預(yù)測(cè)模型代碼包面向機(jī)器學(xué)習(xí)初學(xué)者及時(shí)間序列分析實(shí)踐者專為解決非平穩(wěn)、非線性時(shí)序數(shù)據(jù)如電力負(fù)荷、氣象、金融等場(chǎng)景的高精度預(yù)測(cè)問題而設(shè)計(jì)。資源共9個(gè)文件含2個(gè)核心Python腳本VMD分解與LSTM建模、1個(gè)CSV和1個(gè)XLSX測(cè)試數(shù)據(jù)集、3張關(guān)鍵流程示意圖VMD分解、建模步驟等、2個(gè)說明類TXT文檔使用指南與依賴庫清單整體壓縮包僅654KB輕量易部署。代碼全程中文注釋完整支持單/多輸入、單/多步預(yù)測(cè)四種模式并內(nèi)置MSE、RMSE、R2、MAE、MAPE五類評(píng)估指標(biāo)計(jì)算模塊開箱即用用戶可直接替換自有CSV或Excel數(shù)據(jù)完成端到端訓(xùn)練與預(yù)測(cè)。1. 項(xiàng)目概述當(dāng)VMD遇上LSTM如何馴服復(fù)雜時(shí)序數(shù)據(jù)做時(shí)序預(yù)測(cè)的朋友尤其是處理金融、能源、氣象這類信號(hào)的朋友肯定都遇到過這樣的頭疼事原始數(shù)據(jù)太“臟”了。這里的“臟”不是說數(shù)據(jù)有誤而是指它內(nèi)部混雜了太多東西——長期趨勢(shì)、短期波動(dòng)、季節(jié)性規(guī)律還有各種突發(fā)噪聲全都攪和在一起。你直接拿這樣的數(shù)據(jù)喂給LSTM模型往往學(xué)得很吃力因?yàn)樗瑫r(shí)理解這么多不同時(shí)間尺度的模式就像讓一個(gè)學(xué)生同時(shí)學(xué)語文、數(shù)學(xué)、物理還要求他立刻融會(huì)貫通效果可想而知。所以這幾年“分解預(yù)測(cè)”的兩階段框架火了起來。核心思路很簡單既然原始信號(hào)太復(fù)雜那我就先把它拆開拆成幾個(gè)相對(duì)簡單、有規(guī)律的分量再讓模型比如LSTM去分別學(xué)習(xí)每個(gè)分量最后把預(yù)測(cè)結(jié)果加起來。這就像把一道復(fù)雜的綜合題拆解成幾個(gè)基礎(chǔ)小題逐個(gè)擊破。在眾多分解方法里變分模態(tài)分解VMD是我個(gè)人非常偏愛的一個(gè)。它不像傳統(tǒng)的小波分解或經(jīng)驗(yàn)?zāi)B(tài)分解EMD那樣依賴預(yù)設(shè)基函數(shù)或容易產(chǎn)生模態(tài)混疊VMD通過變分框架自適應(yīng)地確定模態(tài)的中心頻率和帶寬分解出的分量IMF物理意義更清晰邊界效應(yīng)也更可控。這個(gè)項(xiàng)目就是要把VMD和LSTM這兩個(gè)“利器”結(jié)合起來用Python和TensorFlow搭建一個(gè)端到端的時(shí)序預(yù)測(cè)模型。我把它叫做VMD-LSTM。它的工作流非常直觀第一步用VMD算法把原始時(shí)序數(shù)據(jù)分解成K個(gè)本征模態(tài)函數(shù)IMF第二步為每一個(gè)IMF分量單獨(dú)訓(xùn)練一個(gè)LSTM預(yù)測(cè)模型第三步將所有IMF分量的預(yù)測(cè)結(jié)果相加得到最終的預(yù)測(cè)值。為什么非要這么折騰因?yàn)閷?shí)測(cè)下來這種“分而治之”的策略在預(yù)測(cè)精度和穩(wěn)定性上往往能碾壓直接用原始數(shù)據(jù)訓(xùn)練的單一LSTM模型。接下來我就把自己在多個(gè)項(xiàng)目里踩坑、調(diào)參、優(yōu)化后總結(jié)的完整實(shí)現(xiàn)方案和核心經(jīng)驗(yàn)毫無保留地分享給你。2. 核心思路與方案選型為什么是VMDLSTM在動(dòng)手寫代碼之前我們必須把“為什么”想清楚。市面上分解方法那么多為什么選VMD預(yù)測(cè)模型也層出不窮為什么是LSTM這個(gè)組合的優(yōu)勢(shì)和潛在坑點(diǎn)在哪里2.1 VMD分解的優(yōu)勢(shì)與參數(shù)抉擇VMD的核心思想是將信號(hào)分解為一系列具有特定稀疏性的本征模態(tài)函數(shù)IMF。其變分問題實(shí)質(zhì)是尋找一組模態(tài)使得每個(gè)模態(tài)的估計(jì)帶寬之和最小并且所有模態(tài)之和等于原始信號(hào)。數(shù)學(xué)上很優(yōu)美但對(duì)我們工程師來說更關(guān)心它的幾個(gè)實(shí)戰(zhàn)優(yōu)點(diǎn)抗模態(tài)混疊能力強(qiáng)傳統(tǒng)的EMD及其變種EEMD, CEEMDAN容易產(chǎn)生“模態(tài)混疊”即一個(gè)IMF里包含多個(gè)頻率尺度的成分或者同一尺度的成分分散到多個(gè)IMF里。VMD通過預(yù)設(shè)模態(tài)數(shù)K和懲罰因子α能有效分離頻率相近的成分。這對(duì)于金融數(shù)據(jù)中常見的突發(fā)波動(dòng)與趨勢(shì)的分離特別有用。邊界效應(yīng)相對(duì)可控所有信號(hào)分解方法都怕邊界效應(yīng)端點(diǎn)效應(yīng)VMD通過鏡像延拓等方式在算法內(nèi)部進(jìn)行了一定處理相比EMD系列其分解結(jié)果的邊界失真通常更小這對(duì)預(yù)測(cè)任務(wù)至關(guān)重要因?yàn)槲覀円A(yù)測(cè)的就是未來的“邊界”。分量正交性近似VMD分解出的各IMF分量在理論上近似正交這意味著它們攜帶的信息重疊度低。讓LSTM去學(xué)習(xí)這些信息重疊度低的分量效率更高相當(dāng)于給模型提供了更“干凈”的特征。關(guān)鍵參數(shù)解析模態(tài)數(shù) K這是最重要的參數(shù)沒有之一。K太小分解不徹底高頻噪聲可能還殘留在趨勢(shì)分量里K太大會(huì)產(chǎn)生一些無意義的過分解分量增加計(jì)算負(fù)擔(dān)且可能引入噪聲。我的經(jīng)驗(yàn)是對(duì)于大多數(shù)金融、負(fù)荷序列K取3到8之間?？梢酝ㄟ^觀察頻譜或直接基于經(jīng)驗(yàn)設(shè)置。一個(gè)實(shí)用的技巧是先用一個(gè)較大的K如10分解然后觀察各分量的中心頻率如果最后幾個(gè)分量的中心頻率極低且振幅很小通常就是噪聲可以剔除從而反推合理的K值。懲罰因子 α它控制著每個(gè)IMF分量的帶寬。α越大帶寬越小分量越“純”α越小帶寬容忍度越大。通常設(shè)置為2000到3000就能取得不錯(cuò)效果。在TensorFlow實(shí)現(xiàn)中我們通常直接調(diào)用成熟的vmdpy庫它會(huì)提供默認(rèn)值。2.2 LSTM作為預(yù)測(cè)器的必然性在時(shí)序預(yù)測(cè)領(lǐng)域LSTM幾乎成了默認(rèn)選項(xiàng)這是有深刻原因的。相比普通RNNLSTM通過門控機(jī)制遺忘門、輸入門、輸出門解決了長期依賴問題。相比更時(shí)髦的TransformerLSTM在中小規(guī)模數(shù)據(jù)集、強(qiáng)自相關(guān)序列上往往表現(xiàn)更穩(wěn)定且訓(xùn)練成本低得多。對(duì)于VMD分解后的每個(gè)IMF其數(shù)據(jù)特性不同低頻IMF如IMF1代表趨勢(shì)項(xiàng)變化緩慢周期長。LSTM需要捕捉其長期緩慢上升或下降的模式。高頻IMF如IMF_K代表噪聲或細(xì)節(jié)波動(dòng)變化劇烈且可能無明顯規(guī)律。LSTM在這里的作用更像是學(xué)習(xí)其統(tǒng)計(jì)特性或短期自相關(guān)。為每個(gè)IMF單獨(dú)訓(xùn)練LSTM相當(dāng)于為每個(gè)“專業(yè)領(lǐng)域”聘請(qǐng)了一位“專家”這比讓一個(gè)“通才”模型去學(xué)習(xí)所有東西要高效。這里的一個(gè)關(guān)鍵技巧是不同IMF的LSTM模型其超參數(shù)如時(shí)間步長、隱藏層維度可以不同。對(duì)于低頻趨勢(shì)可能需要更長的時(shí)間步長lookback period來捕捉趨勢(shì)對(duì)于高頻噪聲短時(shí)間步長可能就夠了。這為我們優(yōu)化模型性能提供了額外的維度。注意雖然理論上可以為每個(gè)IMF定制不同的網(wǎng)絡(luò)結(jié)構(gòu)但在工程實(shí)踐中為了簡化 pipeline我通常先使用相同的LSTM結(jié)構(gòu)如2層LSTM每層64個(gè)單元進(jìn)行基線實(shí)驗(yàn)如果發(fā)現(xiàn)某個(gè)IMF預(yù)測(cè)效果特別差再針對(duì)性地調(diào)整其網(wǎng)絡(luò)結(jié)構(gòu)或超參數(shù)。3. 環(huán)境搭建與核心工具鏈工欲善其事必先利其器。一個(gè)穩(wěn)定、隔離的Python環(huán)境是項(xiàng)目成功的基石。我強(qiáng)烈建議使用conda或venv創(chuàng)建虛擬環(huán)境避免包版本沖突。3.1 創(chuàng)建并配置Python虛擬環(huán)境# 使用conda推薦尤其對(duì)TensorFlow的依賴管理更友好 conda create -n vmd_lstm python3.9 conda activate vmd_lstm # 或者使用venv python -m venv vmd_lstm_env # Windows vmd_lstm_env\Scripts\activate # Linux/Mac source vmd_lstm_env/bin/activate3.2 安裝核心依賴庫以下是requirements.txt文件的內(nèi)容它定義了項(xiàng)目所需的所有庫及其推薦版本。# 核心計(jì)算與深度學(xué)習(xí)框架 numpy1.21.0 pandas1.3.0 scikit-learn1.0.0 # 用于數(shù)據(jù)標(biāo)準(zhǔn)化和評(píng)估指標(biāo) matplotlib3.5.0 # 繪圖 # 深度學(xué)習(xí)框架 - 重點(diǎn)注意TensorFlow版本 tensorflow2.10.0, 2.15.0 # 2.10至2.14版本在穩(wěn)定性和功能上比較均衡 # 信號(hào)處理與VMD分解 vmdpy0.2.0 # 一個(gè)純Python實(shí)現(xiàn)的VMD庫易于集成 # 可選用于更高級(jí)的優(yōu)化或可視化 scipy1.7.0 seaborn0.11.0使用pip一鍵安裝pip install -r requirements.txt關(guān)于TensorFlow版本的特別提醒 網(wǎng)絡(luò)上很多老教程還停留在TensorFlow 1.x或2.0早期版本。我們使用2.10版本它兼具了穩(wěn)定性和Keras API的完整性。安裝時(shí)如果遇到問題可以先嘗試安裝CPU版本pip install tensorflow-cpu進(jìn)行測(cè)試。確保安裝成功后在Python中運(yùn)行import tensorflow as tf; print(tf.__version__)驗(yàn)證。3.3 VMD分解庫vmdpy簡介我們選擇vmdpy庫來實(shí)現(xiàn)VMD分解。它接口簡單完全用Python實(shí)現(xiàn)便于理解和調(diào)試。其核心函數(shù)是VMDfrom vmdpy import VMD # alpha: 懲罰因子tau: 時(shí)間步長噪聲容忍度 K: 模態(tài)數(shù) DC: 是否包含直流分量 init: 初始化方式 tol: 收斂誤差 u, u_hat, omega VMD(signal, alpha, tau, K, DC, init, tol)u: 分解得到的K個(gè)IMF分量形狀為(K, N)N為信號(hào)長度。u_hat: 各IMF的頻譜。omega: 各IMF的中心頻率。在我們的預(yù)測(cè)pipeline中我們主要使用u即分解后的時(shí)域分量。4. 數(shù)據(jù)預(yù)處理與VMD分解實(shí)戰(zhàn)理論說再多不如一行代碼。我們用一個(gè)模擬的股票價(jià)格序列加入趨勢(shì)、季節(jié)性和噪聲來演示整個(gè)流程。你可以用自己的數(shù)據(jù)替換。4.1 合成示例數(shù)據(jù)與標(biāo)準(zhǔn)化import numpy as np import pandas as pd from sklearn.preprocessing import MinMaxScaler import matplotlib.pyplot as plt # 1. 生成模擬數(shù)據(jù) np.random.seed(42) n_samples 1000 time np.arange(n_samples) # 趨勢(shì)項(xiàng) trend 0.01 * time # 季節(jié)性項(xiàng)多個(gè)周期混合 seasonal 5 * np.sin(2 * np.pi * time / 50) 2 * np.sin(2 * np.pi * time / 200) # 噪聲項(xiàng) noise np.random.normal(0, 1, n_samples) # 合成信號(hào) original_signal trend seasonal noise # 2. 數(shù)據(jù)標(biāo)準(zhǔn)化 (非常重要) # LSTM對(duì)輸入數(shù)據(jù)的尺度敏感必須標(biāo)準(zhǔn)化。這里使用MinMaxScaler縮放到[0,1]區(qū)間。 scaler MinMaxScaler(feature_range(0, 1)) signal_scaled scaler.fit_transform(original_signal.reshape(-1, 1)).flatten() # 可視化原始信號(hào) plt.figure(figsize(12, 6)) plt.subplot(2, 1, 1) plt.plot(time, original_signal, b, labelOriginal Signal) plt.title(Original Synthetic Signal (Trend Seasonal Noise)) plt.legend() plt.subplot(2, 1, 2) plt.plot(time, signal_scaled, g, labelScaled Signal) plt.title(Min-Max Scaled Signal) plt.legend() plt.tight_layout() plt.show()4.2 執(zhí)行VMD分解并分析結(jié)果現(xiàn)在我們將標(biāo)準(zhǔn)化后的信號(hào)輸入VMD進(jìn)行分解。from vmdpy import VMD # 設(shè)置VMD參數(shù) alpha 2000 # 懲罰因子影響帶寬 tau 0. # 噪聲容忍度通常為0 K 5 # 模態(tài)數(shù)根據(jù)信號(hào)復(fù)雜程度調(diào)整 DC 0 # 不含直流分量 init 1 # 初始化方式1表示均勻初始化 tol 1e-7 # 收斂誤差 # 執(zhí)行VMD分解 u, u_hat, omega VMD(signal_scaled, alpha, tau, K, DC, init, tol) # u的形狀為(K, n_samples)每一行是一個(gè)IMF分量 # 可視化分解結(jié)果 plt.figure(figsize(14, 10)) for i in range(K): plt.subplot(K1, 1, i1) plt.plot(time, u[i], r) plt.ylabel(fIMF {i1}) if i 0: plt.title(VMD Decomposition Results) plt.subplot(K1, 1, K1) plt.plot(time, signal_scaled, b, labelOriginal (Scaled)) plt.plot(time, np.sum(u, axis0), k--, linewidth1.5, labelSum of IMFs) plt.ylabel(Original Sum) plt.legend() plt.xlabel(Time) plt.tight_layout() plt.show() # 驗(yàn)證分解的準(zhǔn)確性計(jì)算原始信號(hào)與IMF之和的誤差 reconstruction_error np.sum((signal_scaled - np.sum(u, axis0))**2) print(fReconstruction Mean Squared Error: {reconstruction_error:.6e})如果一切順利你將看到原始信號(hào)被清晰地分解為K個(gè)從低頻到高頻排列的IMF分量。最下面的子圖對(duì)比了原始信號(hào)和所有IMF分量之和兩者應(yīng)該幾乎重合重構(gòu)誤差極小。這驗(yàn)證了VMD分解的可逆性。實(shí)操心得K的選擇是門藝術(shù)。一個(gè)直觀的方法是觀察分解后的IMF。如果最后一個(gè)IMF看起來完全是隨機(jī)噪聲無規(guī)律震蕩且振幅很小那么當(dāng)前的K可能是合適的。如果倒數(shù)第二個(gè)IMF也像噪聲可以考慮減小K。反之如果某個(gè)IMF內(nèi)部明顯包含兩種不同頻率的波動(dòng)例如既有緩慢波動(dòng)又有快速抖動(dòng)則可能是K太小發(fā)生了模態(tài)混疊需要增大K。5. LSTM模型構(gòu)建與單分量預(yù)測(cè)分解完成后我們得到了K個(gè)IMF分量u[0], u[1], ..., u[K-1]。接下來要為每一個(gè)分量構(gòu)建并訓(xùn)練一個(gè)LSTM預(yù)測(cè)模型。5.1 構(gòu)建監(jiān)督學(xué)習(xí)數(shù)據(jù)集LSTM是監(jiān)督學(xué)習(xí)模型我們需要將時(shí)間序列數(shù)據(jù)轉(zhuǎn)化為(樣本, 時(shí)間步長, 特征)格式的樣本。這里我們使用滑動(dòng)窗口方法。def create_dataset(data, time_steps1): 將時(shí)間序列數(shù)據(jù)轉(zhuǎn)換為監(jiān)督學(xué)習(xí)格式。 Args: data: 一維時(shí)間序列數(shù)組。 time_steps: 用過去多少個(gè)時(shí)間點(diǎn)預(yù)測(cè)下一個(gè)點(diǎn)。 Returns: X, y: 特征矩陣和目標(biāo)向量。 X, y [], [] for i in range(len(data) - time_steps): X.append(data[i:(i time_steps)]) y.append(data[i time_steps]) return np.array(X), np.array(y) # 設(shè)置時(shí)間步長回溯窗口 TIME_STEPS 20 # 為每個(gè)IMF分量創(chuàng)建數(shù)據(jù)集 imf_datasets [] for i in range(K): imf u[i] X, y create_dataset(imf, TIME_STEPS) # 重塑X以符合LSTM輸入要求 [samples, time_steps, features] X X.reshape((X.shape[0], TIME_STEPS, 1)) imf_datasets.append((X, y)) print(fIMF {i1}: X shape{X.shape}, y shape{y.shape})5.2 定義并編譯LSTM模型我們將使用TensorFlow Keras的Sequential API來構(gòu)建一個(gè)簡單的雙層LSTM模型。為每個(gè)IMF創(chuàng)建一個(gè)獨(dú)立的模型實(shí)例。import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM, Dense, Dropout from tensorflow.keras.callbacks import EarlyStopping def build_lstm_model(time_steps, n_features): 構(gòu)建一個(gè)雙層LSTM模型。 model Sequential([ # 第一層LSTM設(shè)置return_sequencesTrue以連接下一層LSTM LSTM(units64, activationrelu, return_sequencesTrue, input_shape(time_steps, n_features)), Dropout(0.2), # 丟棄20%的單元防止過擬合 # 第二層LSTM LSTM(units32, activationrelu, return_sequencesFalse), Dropout(0.2), # 輸出層預(yù)測(cè)一個(gè)值 Dense(units1) ]) # 編譯模型 model.compile(optimizeradam, lossmse, metrics[mae]) return model # 為每個(gè)IMF創(chuàng)建一個(gè)模型 lstm_models [] for i in range(K): print(f\nBuilding model for IMF {i1}...) model build_lstm_model(TIME_STEPS, 1) lstm_models.append(model) model.summary() # 打印第一個(gè)模型的結(jié)構(gòu)即可5.3 訓(xùn)練單個(gè)IMF的預(yù)測(cè)模型我們將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集注意時(shí)序數(shù)據(jù)不能隨機(jī)打亂然后訓(xùn)練模型。# 劃分訓(xùn)練集和測(cè)試集例如前80%訓(xùn)練后20%測(cè)試 train_ratio 0.8 predictions [] # 用于存儲(chǔ)每個(gè)IMF在測(cè)試集上的預(yù)測(cè)結(jié)果 true_values [] # 用于存儲(chǔ)每個(gè)IMF在測(cè)試集上的真實(shí)值 for i in range(K): X, y imf_datasets[i] split_idx int(len(X) * train_ratio) X_train, X_test X[:split_idx], X[split_idx:] y_train, y_test y[:split_idx], y[split_idx:] print(f\n--- Training LSTM for IMF {i1} ---) print(fTraining samples: {X_train.shape[0]}, Testing samples: {X_test.shape[0]}) # 定義早?；卣{(diào)防止過擬合 early_stop EarlyStopping(monitorval_loss, patience10, restore_best_weightsTrue) # 訓(xùn)練模型 history lstm_models[i].fit( X_train, y_train, epochs100, # 可以設(shè)置得大一些靠早停來終止 batch_size32, validation_split0.1, # 從訓(xùn)練集中再劃分10%作為驗(yàn)證集 callbacks[early_stop], verbose1 # 設(shè)置為1顯示進(jìn)度條 ) # 在測(cè)試集上進(jìn)行預(yù)測(cè) y_pred lstm_models[i].predict(X_test).flatten() predictions.append(y_pred) true_values.append(y_test) # 計(jì)算該IMF的預(yù)測(cè)誤差 mse np.mean((y_test - y_pred) ** 2) mae np.mean(np.abs(y_test - y_pred)) print(fIMF {i1} Test MSE: {mse:.6f}, MAE: {mae:.6f}) # 可視化該IMF的訓(xùn)練過程損失曲線 plt.figure() plt.plot(history.history[loss], labelTrain Loss) plt.plot(history.history[val_loss], labelValidation Loss) plt.title(fTraining History for IMF {i1}) plt.xlabel(Epoch) plt.ylabel(Loss (MSE)) plt.legend() plt.show()注意事項(xiàng)數(shù)據(jù)泄露絕對(duì)不能用未來的數(shù)據(jù)預(yù)測(cè)過去。劃分訓(xùn)練/測(cè)試集時(shí)必須嚴(yán)格按照時(shí)間順序。X_test和y_test必須來自X和y的尾部。早停EarlyStopping這是防止LSTM過擬合的利器。它監(jiān)控驗(yàn)證集損失如果連續(xù)多個(gè)epochpatience損失不再下降就停止訓(xùn)練并恢復(fù)到驗(yàn)證損失最低的epoch的權(quán)重。批處理Batch Size對(duì)于較長的序列較小的batch size如32通常有助于模型收斂。但太小會(huì)拖慢訓(xùn)練速度。IMF特性與模型差異你可能發(fā)現(xiàn)對(duì)高頻噪聲IMF如IMF5的預(yù)測(cè)誤差MSE遠(yuǎn)大于低頻趨勢(shì)IMF。這是正常的也是VMD-LSTM價(jià)值的體現(xiàn)。噪聲本身難以預(yù)測(cè)但把它分離出來后它就不會(huì)再去干擾趨勢(shì)項(xiàng)的預(yù)測(cè)了。我們最終看的是所有IMF預(yù)測(cè)加總后對(duì)原始信號(hào)的預(yù)測(cè)精度。6. 預(yù)測(cè)結(jié)果集成與最終評(píng)估各個(gè)IMF的LSTM模型訓(xùn)練好后我們分別對(duì)測(cè)試集時(shí)間段進(jìn)行預(yù)測(cè)然后將K個(gè)預(yù)測(cè)結(jié)果相加得到對(duì)原始標(biāo)準(zhǔn)化信號(hào)的最終預(yù)測(cè)。最后別忘了將預(yù)測(cè)結(jié)果逆標(biāo)準(zhǔn)化轉(zhuǎn)換回原始量綱進(jìn)行評(píng)估。6.1 集成預(yù)測(cè)與逆標(biāo)準(zhǔn)化# 1. 集成所有IMF的預(yù)測(cè)結(jié)果 # 假設(shè) predictions 列表里已經(jīng)存儲(chǔ)了每個(gè)IMF在測(cè)試集上的預(yù)測(cè)序列 # 每個(gè)預(yù)測(cè)序列的長度應(yīng)該相同都等于測(cè)試集樣本數(shù) final_pred_scaled np.sum(predictions, axis0) # 按元素相加 # 2. 獲取對(duì)應(yīng)的真實(shí)值原始標(biāo)準(zhǔn)化信號(hào)在測(cè)試集部分 # 我們需要從原始標(biāo)準(zhǔn)化信號(hào)中提取出與測(cè)試集對(duì)應(yīng)的部分 # 首先找到原始信號(hào)中對(duì)應(yīng)測(cè)試集起始點(diǎn)的索引 test_start_idx int(len(signal_scaled) * train_ratio) TIME_STEPS # 加上TIME_STEPS是因?yàn)閯?chuàng)建數(shù)據(jù)集時(shí)消耗了前TIME_STEPS個(gè)點(diǎn) true_values_scaled signal_scaled[test_start_idx: test_start_idx len(final_pred_scaled)] # 3. 將標(biāo)準(zhǔn)化后的預(yù)測(cè)值和真實(shí)值逆變換回原始尺度 # 注意scaler期望輸入是二維數(shù)組 (n_samples, n_features) final_pred scaler.inverse_transform(final_pred_scaled.reshape(-1, 1)).flatten() true_values_original scaler.inverse_transform(true_values_scaled.reshape(-1, 1)).flatten() # 4. 計(jì)算最終預(yù)測(cè)誤差 from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score final_mse mean_squared_error(true_values_original, final_pred) final_mae mean_absolute_error(true_values_original, final_pred) final_r2 r2_score(true_values_original, final_pred) print(\n *50) print(FINAL VMD-LSTM MODEL PERFORMANCE) print(*50) print(fMean Squared Error (MSE): {final_mse:.6f}) print(fMean Absolute Error (MAE): {final_mae:.6f}) print(fR-squared Score (R2): {final_r2:.6f})6.2 可視化對(duì)比與效果分析數(shù)字指標(biāo)很重要但圖表更能直觀展示預(yù)測(cè)效果。# 準(zhǔn)備時(shí)間軸測(cè)試集部分 test_time time[test_start_idx: test_start_idx len(final_pred)] plt.figure(figsize(15, 10)) # 子圖1原始信號(hào)與最終預(yù)測(cè)信號(hào)對(duì)比 plt.subplot(3, 1, 1) plt.plot(time, original_signal, b-, alpha0.7, labelOriginal Signal (Full)) plt.plot(test_time, true_values_original, g-, linewidth2, labelTrue Values (Test Set)) plt.plot(test_time, final_pred, r--, linewidth2, labelVMD-LSTM Prediction) plt.fill_between(test_time, true_values_original, final_pred, colorgray, alpha0.2, labelPrediction Error) plt.title(Original Signal vs. VMD-LSTM Prediction (Test Set)) plt.xlabel(Time) plt.ylabel(Value) plt.legend() plt.grid(True, alpha0.3) # 子圖2預(yù)測(cè)誤差分布 pred_error true_values_original - final_pred plt.subplot(3, 1, 2) plt.hist(pred_error, bins50, edgecolorblack, alpha0.7) plt.axvline(x0, colorr, linestyle--, linewidth1) plt.title(Distribution of Prediction Errors) plt.xlabel(Error (True - Predicted)) plt.ylabel(Frequency) plt.grid(True, alpha0.3) # 子圖3各IMF分量預(yù)測(cè)結(jié)果可選展示前3個(gè)主要分量 plt.subplot(3, 1, 3) for i in range(min(3, K)): # 只畫前3個(gè)分量 # 同樣需要逆標(biāo)準(zhǔn)化每個(gè)IMF的預(yù)測(cè)注意這里每個(gè)IMF是獨(dú)立訓(xùn)練的其數(shù)據(jù)尺度是[0,1]內(nèi)的相對(duì)值 # 為了在同一量綱下對(duì)比我們展示其標(biāo)準(zhǔn)化后的預(yù)測(cè)值 plt.plot(test_time, predictions[i], labelfPredicted IMF {i1}, linestyle--) plt.title(Prediction of Individual IMFs (First 3, Scaled)) plt.xlabel(Time) plt.ylabel(Scaled Value) plt.legend() plt.grid(True, alpha0.3) plt.tight_layout() plt.show()第一張圖是核心它展示了模型在測(cè)試集即模型從未見過的未來數(shù)據(jù)上的預(yù)測(cè)能力。紅色虛線應(yīng)該緊密跟隨綠色實(shí)線。第二張誤差分布圖理想情況下應(yīng)該是以0為中心的正態(tài)分布說明誤差是隨機(jī)的沒有系統(tǒng)性偏差。第三張圖幫助你理解每個(gè)分量是如何被預(yù)測(cè)的。7. 進(jìn)階優(yōu)化與關(guān)鍵問題排查一個(gè)基礎(chǔ)的VMD-LSTM pipeline已經(jīng)搭建完成。但要讓它真正在復(fù)雜數(shù)據(jù)上表現(xiàn)出色還需要進(jìn)行大量調(diào)優(yōu)和問題排查。7.1 超參數(shù)調(diào)優(yōu)策略模型的性能很大程度上取決于超參數(shù)。手動(dòng)調(diào)參效率低我們可以采用系統(tǒng)性的方法。1. VMD參數(shù)調(diào)優(yōu)模態(tài)數(shù) K這是調(diào)優(yōu)的重點(diǎn)。可以嘗試一個(gè)范圍如3到10然后使用一些準(zhǔn)則來判斷觀察法如前述看分解出的IMF是否物理意義清晰。中心頻率法檢查omega中心頻率確保各分量頻率分布合理沒有兩個(gè)分量頻率過于接近。重構(gòu)誤差確保重構(gòu)誤差足夠小如小于1e-6。最終預(yù)測(cè)指標(biāo)驅(qū)動(dòng)最實(shí)在的方法用驗(yàn)證集評(píng)估不同K值下最終集成的預(yù)測(cè)精度如MSE選擇效果最好的K。懲罰因子 α通常與信號(hào)采樣頻率有關(guān)。默認(rèn)值2000適用于大多數(shù)情況。如果發(fā)現(xiàn)分解出的高頻分量過于“平滑”或低頻分量包含太多高頻細(xì)節(jié)可以適當(dāng)增大或減小α進(jìn)行微調(diào)。2. LSTM模型參數(shù)調(diào)優(yōu)時(shí)間步長 (TIME_STEPS)即用過去多少期的數(shù)據(jù)預(yù)測(cè)下一期。對(duì)于趨勢(shì)項(xiàng)低頻IMF可能需要更長的步長如50-100對(duì)于噪聲項(xiàng)高頻IMF短步長如10-20可能更合適。可以針對(duì)不同IMF設(shè)置不同的步長。網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)、每層神經(jīng)元數(shù)量?？梢詮暮唵蔚慕Y(jié)構(gòu)如2層每層32/64開始如果欠擬合訓(xùn)練集和驗(yàn)證集誤差都高增加層數(shù)或單元數(shù)如果過擬合訓(xùn)練集誤差低驗(yàn)證集誤差高則減少單元數(shù)、增加Dropout率或使用L2正則化。Dropout率防止過擬合的有效手段通常在0.2到0.5之間。學(xué)習(xí)率Adam優(yōu)化器的默認(rèn)學(xué)習(xí)率通常是0.001如果模型收斂慢或不穩(wěn)定可以嘗試使用tf.keras.optimizers.schedules實(shí)現(xiàn)學(xué)習(xí)率衰減。自動(dòng)化調(diào)參工具對(duì)于LSTM部分可以使用KerasTuner或scikit-learn的GridSearchCV配合KerasRegressor包裝器進(jìn)行超參數(shù)搜索。但要注意由于VMD-LSTM是兩階段模型自動(dòng)化調(diào)參的計(jì)算成本會(huì)非常高。7.2 常見問題與解決方案實(shí)錄以下是我在多個(gè)項(xiàng)目中遇到的典型問題及解決方法問題1模型預(yù)測(cè)結(jié)果是一條直線或常數(shù)?？赡茉?數(shù)據(jù)未標(biāo)準(zhǔn)化/歸一化。LSTM內(nèi)部使用tanh、sigmoid等激活函數(shù)輸入數(shù)據(jù)尺度過大會(huì)導(dǎo)致梯度飽和模型無法學(xué)習(xí)。解決務(wù)必使用MinMaxScaler或StandardScaler?？赡茉?學(xué)習(xí)率太高。導(dǎo)致優(yōu)化過程在最優(yōu)解附近震蕩甚至發(fā)散。解決降低學(xué)習(xí)率如從0.001降到0.0001或使用學(xué)習(xí)率衰減?？赡茉?網(wǎng)絡(luò)結(jié)構(gòu)太簡單或太深梯度消失。解決調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)嘗試使用更少的層數(shù)或使用RNN的變種如GRU門控循環(huán)單元它有時(shí)比LSTM更易訓(xùn)練。問題2驗(yàn)證集損失震蕩劇烈或早期就停止下降早停觸發(fā)過早?？赡茉蚺笮atch Size不合適。小批量會(huì)產(chǎn)生有噪聲的梯度導(dǎo)致?lián)p失震蕩。解決嘗試增大batch size如從32增加到64或128。同時(shí)可以適當(dāng)增加EarlyStopping的patience參數(shù)給模型更多“耐心”。問題3對(duì)高頻IMF噪聲的預(yù)測(cè)誤差極大拉低了整體R2分?jǐn)?shù)。分析這是正?，F(xiàn)象。高頻噪聲本質(zhì)上是不可預(yù)測(cè)的隨機(jī)部分。VMD-LSTM的優(yōu)勢(shì)在于將這部分分離避免它污染其他可預(yù)測(cè)分量的學(xué)習(xí)。解決不要試圖完美預(yù)測(cè)噪聲。可以嘗試兩種策略忽略法在集成預(yù)測(cè)時(shí)完全不使用對(duì)最高頻1-2個(gè)IMF被判定為純?cè)肼暤念A(yù)測(cè)或者用其歷史均值代替預(yù)測(cè)值。平滑法對(duì)高頻IMF的預(yù)測(cè)結(jié)果進(jìn)行簡單的移動(dòng)平均或低通濾波平滑掉不合理的極端預(yù)測(cè)值。問題4VMD分解耗時(shí)過長尤其是數(shù)據(jù)序列很長時(shí)。分析VMD算法的計(jì)算復(fù)雜度較高。解決降采樣如果原始數(shù)據(jù)頻率很高如秒級(jí)且預(yù)測(cè)目標(biāo)為長期趨勢(shì)可以考慮先對(duì)數(shù)據(jù)進(jìn)行適當(dāng)?shù)慕挡蓸印７侄翁幚韺?duì)于超長序列可以將其分成重疊的段分別進(jìn)行VMD分解和預(yù)測(cè)最后再拼接結(jié)果需小心處理邊界。尋求更快的實(shí)現(xiàn)vmdpy是純Python實(shí)現(xiàn)?？梢詫ふ一贜umPy向量化優(yōu)化更好的庫或者用PyTorch實(shí)現(xiàn)VMD以利用GPU加速如果存在這樣的實(shí)現(xiàn)。問題5在測(cè)試集上預(yù)測(cè)未來多步多期時(shí)效果差。分析我們目前實(shí)現(xiàn)的是“單步預(yù)測(cè)”即用過去N點(diǎn)預(yù)測(cè)下一點(diǎn)。要預(yù)測(cè)未來M步有兩種策略遞歸預(yù)測(cè) (Recursive)用模型預(yù)測(cè)出t1時(shí)刻的值然后將這個(gè)預(yù)測(cè)值作為輸入的一部分再去預(yù)測(cè)t2時(shí)刻如此遞歸進(jìn)行。缺點(diǎn)是誤差會(huì)累積。直接多步預(yù)測(cè) (Direct)訓(xùn)練M個(gè)獨(dú)立的模型每個(gè)模型專門預(yù)測(cè)未來第m步。計(jì)算成本高但避免了誤差累積。解決對(duì)于VMD-LSTM可以對(duì)每個(gè)IMF分量采用遞歸預(yù)測(cè)。但更穩(wěn)健的方法是將多步預(yù)測(cè)問題轉(zhuǎn)化為多變量單步預(yù)測(cè)問題。即我們不再預(yù)測(cè)一個(gè)值而是預(yù)測(cè)一個(gè)向量未來M個(gè)時(shí)間點(diǎn)的值。這需要修改LSTM模型的輸出層為Dense(M)并相應(yīng)調(diào)整標(biāo)簽y的格式。8. 項(xiàng)目總結(jié)與擴(kuò)展方向走到這一步一個(gè)完整的、可運(yùn)行的VMD-LSTM時(shí)序預(yù)測(cè)模型就已經(jīng)在你手中了?；仡櫿麄€(gè)流程其核心優(yōu)勢(shì)在于通過VMD這一先進(jìn)的信號(hào)處理技術(shù)將非平穩(wěn)、非線性的復(fù)雜時(shí)序數(shù)據(jù)“解耦”成一系列相對(duì)平穩(wěn)、規(guī)律性更強(qiáng)的子序列極大降低了LSTM模型的學(xué)習(xí)難度從而在金融價(jià)格預(yù)測(cè)、電力負(fù)荷預(yù)測(cè)、氣象預(yù)報(bào)等領(lǐng)域展現(xiàn)出比單一LSTM模型更優(yōu)的精度和魯棒性。我個(gè)人在實(shí)際操作中的體會(huì)是VMD-LSTM的成功七分靠分解三分靠預(yù)測(cè)?；〞r(shí)間理解你的數(shù)據(jù)通過頻譜分析、反復(fù)試驗(yàn)找到最合適的VMD參數(shù)尤其是K往往比盲目調(diào)整LSTM的網(wǎng)絡(luò)結(jié)構(gòu)帶來更大的性能提升。把數(shù)據(jù)“洗干凈”了哪怕用一個(gè)簡單的LSTM模型效果也不會(huì)差。這個(gè)框架還有很大的擴(kuò)展空間混合模型不必拘泥于LSTM?？梢詫?duì)不同IMF嘗試不同的預(yù)測(cè)器。例如對(duì)趨勢(shì)項(xiàng)使用線性回歸或ARIMA可能更簡單有效對(duì)周期性強(qiáng)的分量可以使用季節(jié)性ARIMA或傅里葉回歸對(duì)殘差噪聲可以使用輕量級(jí)模型甚至直接置零。這種“分而治之因地制宜”的策略往往能取得最佳效果。特征工程在將每個(gè)IMF輸入LSTM之前可以為其計(jì)算一些額外的特征如移動(dòng)平均、波動(dòng)率、與原始序列的相關(guān)性等作為LSTM的額外輸入通道input_shape(TIME_STEPS, n_features)中的n_features可以大于1。在線學(xué)習(xí)與更新對(duì)于流式數(shù)據(jù)可以定期用新數(shù)據(jù)重新進(jìn)行VMD分解和模型微調(diào)fine-tuning使模型能夠適應(yīng)數(shù)據(jù)分布的緩慢變化。不確定性量化目前的模型給出的是點(diǎn)預(yù)測(cè)?？梢砸胴惾~斯神經(jīng)網(wǎng)絡(luò)或使用分位數(shù)回歸為預(yù)測(cè)結(jié)果提供置信區(qū)間這在風(fēng)險(xiǎn)敏感的領(lǐng)域如金融至關(guān)重要。最后再分享一個(gè)保存與部署模型的小技巧訓(xùn)練好所有IMF的LSTM模型后務(wù)必將它們以及VMD的參數(shù)K, alpha、數(shù)據(jù)標(biāo)準(zhǔn)化器scaler一起保存下來。部署時(shí)新的數(shù)據(jù)需要先經(jīng)過相同的scaler進(jìn)行標(biāo)準(zhǔn)化然后用相同的VMD參數(shù)進(jìn)行分解最后用對(duì)應(yīng)的模型進(jìn)行預(yù)測(cè)和集成。這個(gè)pipeline的穩(wěn)定性是工程應(yīng)用的關(guān)鍵。你可以使用tf.keras.models.save_model和pickle保存scaler來完成這項(xiàng)工作。本文還有配套的精品資源點(diǎn)擊獲取