簡(jiǎn)介基于MATLAB的一維卷積神經(jīng)網(wǎng)絡(luò)識(shí)別系統(tǒng)設(shè)計(jì)是一份面向深度學(xué)習(xí)初學(xué)者以及信號(hào)處理、音頻分析等從業(yè)者的完整工程資源主要解決一維序列數(shù)據(jù)在模式識(shí)別與分類任務(wù)中的落地問題。壓縮包共包含7個(gè)文件以腳本文件、數(shù)據(jù)文件、文本說明為主要類型整個(gè)資源包約217KB腳本負(fù)責(zé)模型構(gòu)建與數(shù)據(jù)預(yù)處理數(shù)據(jù)文件保存訓(xùn)練樣本和已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)參數(shù)文本文件則記錄實(shí)驗(yàn)過程中的參數(shù)設(shè)置與代碼注釋有助于理解并復(fù)現(xiàn)完整流程。目前已有388人學(xué)習(xí)瀏覽。該資源從數(shù)據(jù)加載、歸一化處理、模型搭建、超參數(shù)調(diào)整、訓(xùn)練評(píng)估到模型保存以及可視化界面的使用覆蓋了一維卷積神經(jīng)網(wǎng)絡(luò)項(xiàng)目的核心環(huán)節(jié)。借助自帶的訓(xùn)練后網(wǎng)絡(luò)模型讀者可直接進(jìn)行預(yù)測(cè)或遷移學(xué)習(xí)也可以在此模板上修改網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)開展其他序列數(shù)據(jù)挖掘任務(wù)兼具教學(xué)參考與二次開發(fā)價(jià)值。1. 一個(gè)值得復(fù)現(xiàn)的MATLAB一維CNN識(shí)別系統(tǒng)從文件到訓(xùn)練再到部署的完整鏈路我是在調(diào)音頻信號(hào)分類的時(shí)候發(fā)現(xiàn)這個(gè)項(xiàng)目的。手里有一批傳感器采集的一維序列數(shù)據(jù)長(zhǎng)度幾千點(diǎn)類別有七八種之前用特征工程加SVM做到頭也就是九成出頭換了一維CNN直接推到98%以上。這個(gè)基于MATLAB的一維CNN識(shí)別系統(tǒng)設(shè)計(jì)核心就是把一維卷積神經(jīng)網(wǎng)絡(luò)用在序列數(shù)據(jù)上完整覆蓋了數(shù)據(jù)加載、預(yù)處理、模型構(gòu)建、訓(xùn)練、模型保存到GUI可視化整個(gè)流程。適合兩類人一是正在做音頻、振動(dòng)、肌電、光譜這類一維信號(hào)分類的從業(yè)者想看看MATLAB里1DCNN的工程實(shí)現(xiàn)長(zhǎng)什么樣二是剛接觸深度學(xué)習(xí)、手里只有MATLAB不想折騰Python環(huán)境的學(xué)生。整個(gè)項(xiàng)目文件不大但trainCnn.m、getData.m、data.mat、兩個(gè)訓(xùn)練好的網(wǎng)絡(luò)模型加兩個(gè)文本說明文件把一條完整的技術(shù)鏈路擺得很清楚值得花一個(gè)下午逐行拆一遍。2. 拆開文件清單再看1DCNN選型為什么這個(gè)場(chǎng)景用一維卷積而不是LSTM或SVM2.1 文件結(jié)構(gòu)和每個(gè)文件的定位先看壓縮包里到底有什么。trainCnn.m是整個(gè)系統(tǒng)的訓(xùn)練入口負(fù)責(zé)構(gòu)建網(wǎng)絡(luò)、設(shè)置訓(xùn)練參數(shù)、跑訓(xùn)練循環(huán)getData.m是數(shù)據(jù)預(yù)處理腳本從data.mat里把數(shù)據(jù)讀出來做歸一化或標(biāo)準(zhǔn)化再劃分訓(xùn)練集驗(yàn)證集cnnNet.mat和net.mat是兩個(gè)已經(jīng)訓(xùn)練完的模型存檔trainCnn.txt和getData.txt是對(duì)應(yīng)的代碼說明或參數(shù)備注data.mat是存放原始數(shù)據(jù)和標(biāo)簽的MATLAB數(shù)據(jù)文件。這個(gè)組織結(jié)構(gòu)非常典型——訓(xùn)練腳本和數(shù)據(jù)預(yù)處理分開模型單獨(dú)存盤說明文本緊跟著代碼走。% 查看data.mat里的變量結(jié)構(gòu) load(data.mat, -mat); whos(-file, data.mat);用whos命令先看data.mat里有什么變量、什么維度、什么類型這是接手任何MATLAB深度學(xué)習(xí)項(xiàng)目的第一步。上面這段命令不會(huì)加載數(shù)據(jù)到工作區(qū)只是列出文件內(nèi)的變量信息省內(nèi)存也不會(huì)污染當(dāng)前工作區(qū)。常見情況是data.mat里面存著data和label兩個(gè)變量data維度可能是numChannels×numObservations或numObservations×sequenceLength看你數(shù)據(jù)本身的組織方式而定。2.2 為什么一維CNN適合序列識(shí)別任務(wù)一維CNN和一維序列數(shù)據(jù)是天然的匹配關(guān)系。二維CNN在圖像上通過卷積核捕捉局部空間特征一維CNN做的事完全一樣只是把卷積核從二維壓成一維沿著序列長(zhǎng)度方向滑動(dòng)捕捉的是局部的時(shí)序模式。相比LSTM1DCNN訓(xùn)練速度快、參數(shù)少、不容易過擬合而且在特征提取階段是并行計(jì)算的對(duì)中短長(zhǎng)度的序列數(shù)據(jù)性價(jià)比非常高。相比手工特征加SVMCNN把特征提取和分類合成了一個(gè)端到端模型不用再糾結(jié)提取哪些統(tǒng)計(jì)特征、要不要做小波包分解、SVM的核函數(shù)選RBF還是多項(xiàng)式。% 一維CNN的典型層結(jié)構(gòu) layers [ sequenceInputLayer(1) convolution1dLayer(16, 32, Padding, same) batchNormalizationLayer reluLayer maxPooling1dLayer(2, Stride, 2) convolution1dLayer(8, 64, Padding, same) batchNormalizationLayer reluLayer globalAveragePooling1dLayer fullyConnectedLayer(numClasses) softmaxLayer classificationLayer];sequenceInputLayer(1)表示每個(gè)時(shí)間步只有一個(gè)通道的輸入如果你的數(shù)據(jù)是多通道的比如三軸加速度傳感器或兩通道肌電就把1改成對(duì)應(yīng)通道數(shù)。convolution1dLayer(16, 32)這里第一個(gè)參數(shù)16是卷積核長(zhǎng)度第二個(gè)32是濾波器個(gè)數(shù)也就是輸出通道數(shù)。Padding, same保證卷積后序列長(zhǎng)度不變后面接池化層時(shí)才不會(huì)出現(xiàn)維度對(duì)不上的問題。globalAveragePooling1dLayer的作用是把整個(gè)序列的特征圖壓縮成一個(gè)向量替代了傳統(tǒng)的flatten加全連接的做法參數(shù)更少且不容易過擬合這個(gè)設(shè)計(jì)在序列分類里非常實(shí)用。2.3 trainCnn.m里的網(wǎng)絡(luò)定義思路實(shí)際項(xiàng)目里trainCnn.m通常不光定義了上面那套層結(jié)構(gòu)還會(huì)用analyzeNetwork來檢查網(wǎng)絡(luò)結(jié)構(gòu)、用trainingOptions設(shè)置訓(xùn)練超參數(shù)、用trainNetwork執(zhí)行訓(xùn)練。我在拆這個(gè)項(xiàng)目時(shí)比較關(guān)心的是它有沒有用layerGraph來做更復(fù)雜的結(jié)構(gòu)比如殘差連接或分支結(jié)構(gòu)如果只用簡(jiǎn)單sequential的layers數(shù)組說明這個(gè)項(xiàng)目的網(wǎng)絡(luò)設(shè)計(jì)比較基礎(chǔ)適合作為入門模板。3. 數(shù)據(jù)管線怎么搭getData.m的數(shù)據(jù)預(yù)處理和訓(xùn)練參數(shù)設(shè)置3.1 getData.m里的預(yù)處理流程數(shù)據(jù)預(yù)處理是深度學(xué)習(xí)里最容易被低估的一環(huán)。getData.m做的事通常是這樣的流程load數(shù)據(jù)、檢查維度、歸一化、劃分訓(xùn)練集和測(cè)試集、整理成trainNetwork需要的格式。歸一化的方式選擇上我一般先看數(shù)據(jù)量綱——如果數(shù)據(jù)是電壓值或加速度值范圍可能從負(fù)數(shù)到正數(shù)用z-score標(biāo)準(zhǔn)化更合適如果是像素值或0到1之間的數(shù)據(jù)用min-max歸一化就夠了。這個(gè)項(xiàng)目里大概率用的是mapminmax或直接手動(dòng)算均值方差。% getData.m中的數(shù)據(jù)預(yù)處理核心邏輯按常見做法補(bǔ)全 load(data.mat); % 假設(shè)data是numSamples×seqLengthlabel是numSamples×1 % 轉(zhuǎn)置成MATLAB深度學(xué)習(xí)工具箱要求的格式seqLength×numSamples data data; % 每個(gè)樣本是seqLength×1的序列cell數(shù)組里每個(gè)元素是一個(gè)樣本 dataCell cell(1, size(data, 2)); for i 1:size(data, 2) dataCell{i} data(:, i); end % z-score標(biāo)準(zhǔn)化按整個(gè)訓(xùn)練集的均值和標(biāo)準(zhǔn)差做 mu mean([dataCell{:}], all); sigma std([dataCell{:}], 0, all); for i 1:length(dataCell) dataCell{i} (dataCell{i} - mu) / sigma; end % 標(biāo)簽轉(zhuǎn)成categorical類型 labelCategorical categorical(label); % 劃分訓(xùn)練集和測(cè)試集8:2 cv cvpartition(length(dataCell), HoldOut, 0.2); idxTrain training(cv); idxTest test(cv); dataTrain dataCell(idxTrain); labelTrain labelCategorical(idxTrain); dataTest dataCell(idxTest); labelTest labelCategorical(idxTest);這段代碼里最關(guān)鍵的操作是維度轉(zhuǎn)置和cell數(shù)組封裝。MATLAB的trainNetwork要求序列數(shù)據(jù)以序列長(zhǎng)度×通道數(shù)×樣本數(shù)的組織方式存但很多.mat文件里的原始數(shù)據(jù)是樣本數(shù)×序列長(zhǎng)度不轉(zhuǎn)置直接喂進(jìn)去會(huì)得到一堆維度錯(cuò)誤。標(biāo)準(zhǔn)化用的mu和sigma必須只從訓(xùn)練集統(tǒng)計(jì)這是深度學(xué)習(xí)中一個(gè)非常經(jīng)典的細(xì)節(jié)——如果把測(cè)試集的統(tǒng)計(jì)信息混進(jìn)來驗(yàn)證結(jié)果就會(huì)虛高部署到真實(shí)數(shù)據(jù)上性能直接跳水。3.2 訓(xùn)練超參數(shù)怎么設(shè)trainCnn.m里trainingOptions的設(shè)置直接決定訓(xùn)練的質(zhì)量和時(shí)長(zhǎng)。% trainCnn.m中的訓(xùn)練參數(shù)設(shè)置按常見做法補(bǔ)全 options trainingOptions(adam, ... InitialLearnRate, 0.001, ... LearnRateSchedule, piecewise, ... LearnRateDropPeriod, 20, ... LearnRateDropFactor, 0.5, ... MiniBatchSize, 64, ... MaxEpochs, 80, ... Shuffle, every-epoch, ... ValidationData, {dataTest, labelTest}, ... ValidationFrequency, 10, ... Verbose, true, ... Plots, training-progress, ... ExecutionEnvironment, auto);關(guān)于這段參數(shù)有幾點(diǎn)實(shí)際經(jīng)驗(yàn)值得展開。InitialLearnRate的0.001是Adam優(yōu)化器的默認(rèn)值但如果你的數(shù)據(jù)量很小或類別不平衡建議降到0.0005甚至0.0001否則容易出現(xiàn)訓(xùn)練剛開始loss就卡住不動(dòng)的現(xiàn)象。MiniBatchSize和MaxEpochs是一對(duì)互相牽連的參數(shù)batch越大每個(gè)epoch的迭代次數(shù)越少同樣的epoch數(shù)下模型看到的樣本重復(fù)次數(shù)就完全不同數(shù)據(jù)量幾千條時(shí)64的batch配80個(gè)epoch是合理的起點(diǎn)數(shù)據(jù)量上萬時(shí)batch可以提到128。ValidationFrequency設(shè)成10的意思是每10次迭代跑一次驗(yàn)證集這個(gè)值設(shè)太大會(huì)導(dǎo)致訓(xùn)練過程里看不到驗(yàn)證曲線變化、無法及時(shí)判斷過擬合。ExecutionEnvironment設(shè)auto是讓MATLAB自己挑GPU還是CPU如果你的機(jī)器沒有GPU它會(huì)自動(dòng)退回CPU有GPU但顯存不夠時(shí)把MiniBatchSize減半通常是第一個(gè)排查動(dòng)作。3.3 訓(xùn)練和驗(yàn)證的完整流程訓(xùn)練過程本身的代碼在trainCnn.m里通常只有兩三行net trainNetwork(dataTrain, labelTrain, layers, options); save(cnnNet.mat, net);trainNetwork返回的net是一個(gè)訓(xùn)練好的網(wǎng)絡(luò)對(duì)象包含了所有層的權(quán)重、偏差和訓(xùn)練信息。save命令把網(wǎng)絡(luò)存成.mat文件下次要用時(shí)直接load就能做預(yù)測(cè)不用重新訓(xùn)練。如果trainCnn.m里訓(xùn)練完還順手畫了混淆矩陣或計(jì)算準(zhǔn)確率那這份代碼的完整性就很高了適合作為復(fù)現(xiàn)模板直接改數(shù)據(jù)就跑。4. 避坑手冊(cè)MATLAB一維CNN訓(xùn)練實(shí)戰(zhàn)中的六個(gè)常見坑4.1 sequenceInputLayer的輸入維度對(duì)不上現(xiàn)象運(yùn)行trainNetwork時(shí)報(bào)錯(cuò)提示輸入層期望的維度與實(shí)際輸入數(shù)據(jù)維度不一致錯(cuò)誤信息里出現(xiàn)類似Invalid input data的字樣。原因MATLAB深度學(xué)習(xí)工具箱要求序列輸入是N×C×S的格式而大多數(shù)人手里的原始數(shù)據(jù)是S×N每個(gè)樣本一行。解決把數(shù)據(jù)轉(zhuǎn)置后用cell數(shù)組按樣本逐個(gè)封裝。我自己的習(xí)慣是在getData.m里轉(zhuǎn)置后加一行size檢查assert(size(dataCell{1}, 1) sequenceLength, 序列長(zhǎng)度與輸入層不匹配);這行斷言省得訓(xùn)練跑到一半才發(fā)現(xiàn)維度問題浪費(fèi)幾十分鐘。4.2 學(xué)習(xí)率設(shè)太大導(dǎo)致loss爆炸現(xiàn)象訓(xùn)練剛開始幾輪迭代loss就沖到NaN訓(xùn)練曲線直接掉到地板上。原因?qū)W習(xí)率超出數(shù)據(jù)分布能承受的范圍梯度更新步長(zhǎng)過大參數(shù)發(fā)散。解決先把學(xué)習(xí)率降到0.0001重新跑如果還炸檢查數(shù)據(jù)里有沒有inf或極端異常值歸一化是否真的生效。一個(gè)血淚經(jīng)驗(yàn)有時(shí)候爆炸不是學(xué)習(xí)率的問題而是label里有NaN訓(xùn)練前用isfinite檢查一下標(biāo)簽數(shù)組省得排查半天方向全錯(cuò)。4.3 驗(yàn)證集準(zhǔn)確率遠(yuǎn)低于訓(xùn)練集現(xiàn)象訓(xùn)練集準(zhǔn)確率一路漲到99%以上驗(yàn)證集卡在80%上下紋絲不動(dòng)。原因典型過擬合模型把訓(xùn)練集里的細(xì)節(jié)記住了而不是學(xué)到泛化規(guī)律。解決先加dropout層或增大L2正則再看是不是訓(xùn)練集和測(cè)試集劃分時(shí)有泄漏——getData.m里標(biāo)準(zhǔn)化如果用了全數(shù)據(jù)的均值和方差驗(yàn)證集被污染了這個(gè)坑比過擬合更難發(fā)現(xiàn)。排查方法是只對(duì)訓(xùn)練集計(jì)算mu和sigma然后應(yīng)用到測(cè)試集上。4.4 ValidationPatience設(shè)太小導(dǎo)致訓(xùn)練提前終止現(xiàn)象訓(xùn)練在第30個(gè)epoch左右就報(bào)Validation accuracy has reached its maximum value并自動(dòng)停止。原因MATLAB的trainingOptions里默認(rèn)開啟ValidationPatience連續(xù)多次驗(yàn)證準(zhǔn)確率沒有提升就提前終止。解決如果數(shù)據(jù)本身噪聲大驗(yàn)證準(zhǔn)確率有波動(dòng)是正常的把ValidationPatience從默認(rèn)值改大ValidationPatience, 20這樣允許模型在驗(yàn)證集上多徘徊幾次再下結(jié)論避免在局部波谷被誤判為收斂。4.5 GPU顯存不足現(xiàn)象報(bào)錯(cuò)Out of memory on device訓(xùn)練中斷。原因MiniBatchSize太大、序列長(zhǎng)度太長(zhǎng)或者GPU是幾年前的2GB老卡。解決先檢查ExecutionEnvironment是不是設(shè)了gpu但沒有判斷GPU是否可用然后把MiniBatchSize減半或縮短序列長(zhǎng)度最直接的辦法是if gpuDeviceCount 0 options.ExecutionEnvironment gpu; else options.ExecutionEnvironment cpu; end保證代碼在沒GPU的機(jī)器上也能跑通別人復(fù)現(xiàn)時(shí)不至于一上來就卡在硬件上。4.6 .mat模型文件load之后predict維度對(duì)不上現(xiàn)象加載cnnNet.mat后做預(yù)測(cè)輸入新樣本時(shí)報(bào)維度錯(cuò)誤。原因訓(xùn)練時(shí)的輸入格式是sequenceLength×1的序列預(yù)測(cè)時(shí)也必須保持同樣的格式——不是直接喂一個(gè)1×sequenceLength的行向量而是要裝成cell數(shù)組或保持一致的維度順序。解決用zeros(sequenceLength, 1)來創(chuàng)建輸入保證與訓(xùn)練數(shù)據(jù)格式完全一致。5. 模型部署與GUI可視化訓(xùn)練完的模型如何在真實(shí)場(chǎng)景里跑起來5.1 模型存檔從cnnNet.mat里加載并使用訓(xùn)練完成后模型部署的第一步是把網(wǎng)絡(luò)從.mat文件里恢復(fù)到工作區(qū)然后對(duì)新樣本做預(yù)測(cè)。MATLAB里這一步很直接% 加載訓(xùn)練好的模型 loadedData load(cnnNet.mat); net loadedData.net; % 假設(shè)新來一條真實(shí)采集的序列長(zhǎng)度要跟訓(xùn)練數(shù)據(jù)一致 newSequence sensorData; % 轉(zhuǎn)置成sequenceLength×1 newSequence (newSequence - mu) / sigma; % 用訓(xùn)練集的統(tǒng)計(jì)量標(biāo)準(zhǔn)化 newSequenceCell {newSequence}; % 預(yù)測(cè) predScore predict(net, newSequenceCell); [~, predLabel] max(predScore);predict返回的是每個(gè)類別的概率分布取最大值對(duì)應(yīng)的下標(biāo)就是模型判定出的類別。這段代碼里最容易忽略的是標(biāo)準(zhǔn)化那一步——訓(xùn)練時(shí)用了z-score部署時(shí)新數(shù)據(jù)也必須用完全相同的mu和sigma做變換否則模型看到的分布跟訓(xùn)練時(shí)不一樣準(zhǔn)確率直接打?qū)φ?。如果?xiàng)目里連mu和sigma也一并存進(jìn).mat文件那部署流程就是閉環(huán)的這也是我建議你的trainCnn.m在save時(shí)順手把mu和sigma一起存進(jìn)去的原因。5.2 GUI可視化非專業(yè)用戶也能點(diǎn)按鈕出結(jié)果這個(gè)項(xiàng)目附帶GUI界面核心作用就是讓不會(huì)寫代碼的人也能用訓(xùn)練好的模型。GUI通常由MATLAB的App Designer或GUIDE編寫工程結(jié)構(gòu)上是回調(diào)函數(shù)驅(qū)動(dòng)界面上擺著加載模型按鈕、選擇文件按鈕、開始識(shí)別按鈕和一個(gè)顯示識(shí)別結(jié)果的文本區(qū)。% GUI按鈕回調(diào)函數(shù)的核心邏輯示意 function onPredictButtonPushed(app) % 讀取界面上的文件路徑 filePath app.FilePathEditField.Value; rawData load(filePath); % 與訓(xùn)練時(shí)保持一致的預(yù)處理 seq rawData.signal(:); seq (seq - app.mu) / app.sigma; % 用存儲(chǔ)在網(wǎng)絡(luò)對(duì)象app.net上的模型預(yù)測(cè) scores predict(app.net, {seq}); [~, idx] max(scores); app.ResultLabel.Text sprintf(識(shí)別結(jié)果類別%d置信度%.2f, idx, scores(idx)); end回調(diào)函數(shù)的設(shè)計(jì)要點(diǎn)是模型和預(yù)處理參數(shù)在網(wǎng)絡(luò)打開時(shí)就已經(jīng)加載到app對(duì)象里按鈕回調(diào)只需要讀文件、預(yù)處理、預(yù)測(cè)、顯示四步。好的GUI會(huì)把置信度也顯示出來因?yàn)閷?shí)際使用中低置信度的結(jié)果應(yīng)該交給人工復(fù)核這是工程落地時(shí)一個(gè)非常實(shí)用的細(xì)節(jié)。5.3 驗(yàn)證部署結(jié)果的步驟模型部署后必須做一次盲測(cè)才可信。我的做法是從訓(xùn)練時(shí)完全沒碰過的數(shù)據(jù)里抽一批新樣本逐條喂給GUI或predict函數(shù)把預(yù)測(cè)結(jié)果跟真實(shí)標(biāo)簽比對(duì)算一個(gè)混淆矩陣。如果混淆矩陣對(duì)角線明顯亮、非對(duì)角線稀疏說明模型部署成功。這一步雖然簡(jiǎn)單但能防住很多隱藏問題——比如GUI里預(yù)處理寫錯(cuò)了、模型文件名不對(duì)導(dǎo)致load進(jìn)來的是舊版本、標(biāo)準(zhǔn)化參數(shù)用錯(cuò)等。從那以后我每次做完一個(gè)MATLAB深度學(xué)習(xí)項(xiàng)目都會(huì)強(qiáng)制走一遍這個(gè)閉環(huán)訓(xùn)練完存網(wǎng)路和標(biāo)準(zhǔn)化參數(shù)部署時(shí)從項(xiàng)目文件夾以外的地方拿新數(shù)據(jù)做盲測(cè)確認(rèn)GUI顯示的結(jié)果和predict命令行返回值完全一致再交付給下一個(gè)使用的人——希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取