戰(zhàn)指南)
很多人問過我同樣的問題文本分類到底該用CNN還是RNN我在把各類方案都親自動(dòng)手跑過一遍之后最推薦的入門級(jí)實(shí)戰(zhàn)模型反而是這個(gè)看起來有點(diǎn)長(zhǎng)的組合——CNN-BiLSTM-Attention分類模型。它沒有Transformer那么重的訓(xùn)練成本也沒有傳統(tǒng)RNN那么明顯的長(zhǎng)距離遺忘問題同時(shí)通過Attention機(jī)制把關(guān)鍵信息篩選能力拔高了一大截。這篇文章我打算完全站在實(shí)操者的角度從模型結(jié)構(gòu)拆解、代碼逐段實(shí)現(xiàn)到訓(xùn)練調(diào)參、踩坑記錄把這個(gè)模型從頭到尾講透保證你看完能直接動(dòng)手復(fù)現(xiàn)一個(gè)自己的版本。我自己最初做這個(gè)模型是在一個(gè)短文本情緒分類任務(wù)上當(dāng)時(shí)對(duì)比過純CNN、純BiLSTM和這個(gè)組合結(jié)構(gòu)效果差異非常明顯。加完Attention之后不僅能提升F1分?jǐn)?shù)更重要的是模型對(duì)轉(zhuǎn)折詞、否定詞的關(guān)注點(diǎn)變得更合理了解釋性也好了很多。如果你正準(zhǔn)備在文本分類、情感分析、意圖識(shí)別這些場(chǎng)景里落地深度學(xué)習(xí)模型又不想一上來就上重型預(yù)訓(xùn)練模型這篇內(nèi)容就是為你準(zhǔn)備的。1. 模型拆解與思路選型1.1 為什么偏偏是CNNBiLSTMAttention這個(gè)組合先說結(jié)論這個(gè)組合本質(zhì)上是把三種不同尺度的信息抽取能力做了一個(gè)串聯(lián)。CNN負(fù)責(zé)局部特征抽取。它在文本上的表現(xiàn)相當(dāng)于一個(gè)滑動(dòng)窗口在連續(xù)詞序列上掃描每次抓取一小段n-gram層面的局部模式。比如“非常棒”這種短語CNN用一個(gè)小卷積核就能識(shí)別出來和它在圖像里識(shí)別邊緣、紋理是同一個(gè)邏輯。它不關(guān)心詞之間的長(zhǎng)距離關(guān)系也不關(guān)心上下文次序但它對(duì)局部組合非常敏感而且計(jì)算速度很快。BiLSTM負(fù)責(zé)上下文建模。LSTM天生適合處理序列數(shù)據(jù)它通過門控機(jī)制記憶重要的歷史信息、遺忘不重要的信息。而BiLSTM相當(dāng)于正著讀一遍、倒著讀一遍這樣一來每個(gè)位置的輸出就同時(shí)包含了它之前的上下文和它之后的上下文這對(duì)文本分類非常關(guān)鍵因?yàn)橐粋€(gè)句子的語義往往需要前后兼顧。比如“不是不好”這個(gè)表達(dá)只看前面的“不是”會(huì)判斷錯(cuò)必須看到后面的“不好”才能確定整體傾向。Attention負(fù)責(zé)信息聚焦。BiLSTM雖然能編碼上下文但輸出是等權(quán)重的。實(shí)際上一句話中對(duì)分類決策起決定性作用的可能只有幾個(gè)關(guān)鍵詞。Attention層的核心作用就是給每一個(gè)位置學(xué)習(xí)一個(gè)權(quán)重把和任務(wù)最相關(guān)的信息放大、把無關(guān)信息壓縮。這一步對(duì)準(zhǔn)確率的提升往往是肉眼可見的。三者組合起來之后局部模式、序列依賴、關(guān)鍵信息三個(gè)維度的優(yōu)勢(shì)就疊加了。這也是很多工業(yè)級(jí)文本分類模型在SOTA方案之外仍然保留這類混合結(jié)構(gòu)做基線的根本原因。1.2 整體架構(gòu)的數(shù)據(jù)流向在動(dòng)手寫代碼之前一定要把數(shù)據(jù)流向先捋清楚。很多人在這個(gè)模型上報(bào)錯(cuò)都是因?yàn)榫S度沒有對(duì)齊。下面是我在實(shí)際項(xiàng)目中固定下來的標(biāo)準(zhǔn)流程。原始輸入是一段文本先經(jīng)過分詞和詞表映射變成一串整數(shù)索引形狀是batch_size * seq_len。接下來是Embedding層把每個(gè)整數(shù)索引映射成稠密向量形狀變成batch_size * seq_len * embed_dim這一步相當(dāng)于把離散的詞語變成了連續(xù)空間里的點(diǎn)。然后進(jìn)入CNN層。這里我會(huì)做一步維度交換把詞向量維度放到通道維也就是從batch_size * seq_len * embed_dim變成batch_size * embed_dim * seq_len以便適配一維卷積的輸入格式。多組卷積核對(duì)它掃描之后輸出形狀是batch_size * num_filters_total * seq_len我通常會(huì)通過padding保持序列長(zhǎng)度不變?nèi)缓笾匦陆粨Q維度傳進(jìn)BiLSTM。BiLSTM在序列維度上做前向和后向編碼輸出形狀是batch_size * seq_len * hidden_size * 2其中乘2是因?yàn)殡p向拼接。Attention層拿到這部分輸出在序列長(zhǎng)度這個(gè)維度上計(jì)算注意力權(quán)重加權(quán)求和后得到整個(gè)句子的向量表示形狀是batch_size * hidden_size * 2最后接一個(gè)全連接層做分類輸出。這個(gè)流程中最關(guān)鍵的轉(zhuǎn)換點(diǎn)就是CNN通道維和LSTM時(shí)間維的互換后面代碼部分我會(huì)逐行說明。1.3 這個(gè)方案到底適合解決什么問題這個(gè)模型并不是所有場(chǎng)景下的最優(yōu)解但它有一個(gè)覆蓋面很廣的適用范圍。如果你做的是長(zhǎng)文本、篇幅在幾百字到幾千字之間的新聞分類、評(píng)論情感分析、用戶意圖識(shí)別它都能勝任。因?yàn)镃NN擅長(zhǎng)抓局部關(guān)鍵短語LSTM能處理一定的序列依賴Attention又不會(huì)讓長(zhǎng)文本里的關(guān)鍵信息被稀釋。如果你的任務(wù)本身是超長(zhǎng)文本比如整本書級(jí)別的語義理解那這個(gè)模型不會(huì)適合BiLSTM在超長(zhǎng)序列上存在梯度傳播困難訓(xùn)練效率也低。如果你的任務(wù)極度依賴全局結(jié)構(gòu)比如關(guān)系抽取、閱讀理解這類需要精細(xì)對(duì)齊的任務(wù)Transformer系模型會(huì)更強(qiáng)。我給它的定位很明確一個(gè)性價(jià)比極高的文本分類基線。它訓(xùn)練快、顯存占用小、調(diào)參空間大特別適合做項(xiàng)目初版的模型原型或者作為后續(xù)對(duì)比實(shí)驗(yàn)的基準(zhǔn)。2. 上手前準(zhǔn)備環(huán)境配置與數(shù)據(jù)劃分2.1 依賴清單與版本建議我默認(rèn)用PyTorch來搭建其他依賴都比較常見。下面這份清單是我近期實(shí)測(cè)穩(wěn)定的組合Python版本建議3.8到3.10之間。torch1.10.0 numpy pandas scikit-learn transformers僅在加載預(yù)訓(xùn)練Embedding時(shí)使用非必需 tqdm如果你在國內(nèi)環(huán)境安裝較慢可以配置國內(nèi)PyPI鏡像源。CPU環(huán)境也能跑通全流程只是訓(xùn)練速度會(huì)慢一些顯存大于4G的情況下跑本文這種規(guī)模的中小型數(shù)據(jù)集完全沒問題。數(shù)據(jù)方面我建議準(zhǔn)備一份帶標(biāo)簽的文本數(shù)據(jù)CSV格式就可以包含兩列一列是文本內(nèi)容一列是類別標(biāo)簽。分類類別建議控制在5到20個(gè)之間這個(gè)模型的表達(dá)能力在這個(gè)范圍內(nèi)最穩(wěn)定。2.2 數(shù)據(jù)集的預(yù)處理流程文本預(yù)處理的細(xì)節(jié)直接決定模型效果的上限。我見過不少人在模型結(jié)構(gòu)上下了很大功夫結(jié)果因?yàn)轭A(yù)處理太粗糙整體效果反而不如簡(jiǎn)單模型。我的通用處理流程如下。先做基礎(chǔ)的文本清洗去掉特殊符號(hào)、連續(xù)空格、控制字符統(tǒng)一轉(zhuǎn)成小寫。英文按空格分詞即可中文需要先分詞。我一般用jieba詞典優(yōu)先再輔助自定義詞典補(bǔ)充領(lǐng)域詞匯。這里有一個(gè)容易忽略的細(xì)節(jié)分詞結(jié)果的質(zhì)量直接影響CNN卷積核能否學(xué)到好的短語模式如果分詞粒度不一致同一個(gè)意思的短語會(huì)被拆成不同形式卷積核的訓(xùn)練信號(hào)就會(huì)變稀疏。然后是構(gòu)建詞表。保留出現(xiàn)頻率不低于2次的詞這能過濾掉大量只在語料里出現(xiàn)過一次的生僻詞減少詞表規(guī)模。設(shè)定最大詞表大小我常用20萬的上限超過就按頻率截?cái)?。給每個(gè)詞分配索引之后一定要預(yù)留索引0給padding索引1給未知詞。最后是序列截?cái)嗪蚉adding。設(shè)定一個(gè)max_len這個(gè)值需要根據(jù)你的語料長(zhǎng)度分布來確定可以先看一下訓(xùn)練集的長(zhǎng)度分布找85%到90%分位點(diǎn)附近的長(zhǎng)度。把所有文本截?cái)嗷蜓a(bǔ)長(zhǎng)到統(tǒng)一的max_len一般取128到256之間文章標(biāo)題類的短文本可以取64。2.3 數(shù)據(jù)加載器的維度對(duì)齊數(shù)據(jù)加載器這塊雖然代碼短但卻是最容易埋坑的地方。有一個(gè)常見錯(cuò)誤是vocab_size設(shè)置得和詞表長(zhǎng)度不一致導(dǎo)致Embedding層索引越界。所以加載器返回的數(shù)據(jù)要確保input_ids的最大值嚴(yán)格小于embedding.num_embeddings。我在Dataset里通常返回三個(gè)字段input_ids、attention_mask和label。attention_mask標(biāo)記哪些位置是真實(shí)詞、哪些位置是padding后面Attention層做掩碼時(shí)要用?？梢皂槺銠z查一下返回張量的形狀確認(rèn)是batch_size * seq_len如果混進(jìn)了額外的維度后續(xù)模型里維度交換會(huì)非常痛苦。數(shù)據(jù)劃分上我反而不太推薦隨機(jī)打亂后直接切分。文本分類數(shù)據(jù)往往存在類別分布不均衡的問題建議按類別分層劃分用sklearn.model_selection.train_test_split的參數(shù)stratify指定標(biāo)簽列保證訓(xùn)練集和驗(yàn)證集中每個(gè)類的比例和原始數(shù)據(jù)一致。3. 核心代碼實(shí)現(xiàn)從零搭建CNN-BiLSTM-Attention3.1 詞表構(gòu)建與Embedding層假設(shè)我們已經(jīng)得到了分詞后的文本列表詞表構(gòu)建的代碼我習(xí)慣自己寫不用現(xiàn)成工具這樣可控性最強(qiáng)。核心邏輯就是統(tǒng)計(jì)詞頻、過濾低頻、按頻率排序分配索引。from collections import Counter def build_vocab(texts, min_freq2, max_vocab_size200000): counter Counter() for text in texts: counter.update(text.split()) vocab {[PAD]: 0, [UNK]: 1} for word, freq in counter.most_common(): if freq min_freq: break if len(vocab) max_vocab_size: break vocab[word] len(vocab) return vocab這里把[PAD]固定在索引0、[UNK]固定在索引1是后續(xù)實(shí)現(xiàn)注意力掩碼的基礎(chǔ)。后續(xù)編碼函數(shù)里凡是詞表里沒有的詞統(tǒng)一映射成[UNK]的索引1再配合Embedding層的padding_idx0參數(shù)就能保證pad位置不參與梯度更新。Embedding層的初始化如果數(shù)據(jù)量足夠大比如超過10萬條隨機(jī)初始化也能訓(xùn)練出不錯(cuò)的詞向量。但如果數(shù)據(jù)量不到這個(gè)量級(jí)建議加載公開預(yù)訓(xùn)練的詞向量來初始化常見方案是開源的詞向量文件。加載時(shí)注意只取詞表里出現(xiàn)的詞未登錄詞保持隨機(jī)初始化。3.2 多通道CNN局部特征提取與padding保留CNN部分我用多組不同尺寸的卷積核并行抽取不同粒度的n-gram特征。常見配置是filter_sizes[3,4,5]分別對(duì)應(yīng)三元、四元、五元短語窗口。每組尺寸下的卷積核數(shù)量num_filters一般取128到256之間。import torch import torch.nn as nn import torch.nn.functional as F class CNNBiLSTMAttention(nn.Module): def __init__(self, vocab_size, embed_dim100, num_filters128, filter_sizes(3, 4, 5), hidden_size128, num_layers1, num_classes2, dropout0.5, max_len128): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.convs nn.ModuleList([ nn.Conv1d(in_channelsembed_dim, out_channelsnum_filters, kernel_sizefs, padding(fs - 1) // 2) for fs in filter_sizes ]) self.lstm nn.LSTM( input_sizenum_filters * len(filter_sizes), hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, bidirectionalTrue, dropoutdropout if num_layers 1 else 0.0 ) self.attention_fc nn.Linear(hidden_size * 2, hidden_size * 2) self.classifier nn.Linear(hidden_size * 2, num_classes) self.dropout nn.Dropout(dropout)這里有個(gè)非常關(guān)鍵的技術(shù)點(diǎn)卷積層的padding設(shè)置。padding(fs - 1) // 2配合stride1可以讓卷積輸出長(zhǎng)度和輸入長(zhǎng)度保持一致。比如kernel_size3時(shí)padding1kernel_size5時(shí)padding2。這樣做的目的是保留序列長(zhǎng)度讓后續(xù)BiLSTM能繼續(xù)在時(shí)間維度上建模。如果你不做padding卷積后序列長(zhǎng)度縮水后面的LSTM就會(huì)丟失句子邊緣的信息而且維度計(jì)算會(huì)亂掉。3.3 BiLSTM雙向編碼與維度重組BiLSTM的輸入要求時(shí)間維在第二維。我們從CNN拿到的輸出此時(shí)形狀是batch_size * num_filters_total * seq_len需要先交換前兩個(gè)維度變成batch_size * seq_len * num_filters_total再喂進(jìn)LSTM。def forward(self, input_ids, maskNone): # input_ids: (batch, seq_len) x self.embedding(input_ids) # (batch, seq_len, embed_dim) x x.transpose(1, 2) # (batch, embed_dim, seq_len) conv_outputs [] for conv in self.convs: c torch.relu(conv(x)) # (batch, num_filters, seq_len) conv_outputs.append(c) x torch.cat(conv_outputs, dim1) # (batch, num_filters_total, seq_len) x x.transpose(1, 2) # (batch, seq_len, num_filters_total) lstm_out, _ self.lstm(x) # (batch, seq_len, hidden_size*2)很多初學(xué)者一看LSTM的輸出維度就暈因?yàn)閔idden_size128時(shí)雙向拼接后每個(gè)時(shí)間步的輸出就是256維。這256維中前128維來自正向LSTM、后128維來自反向LSTM。這個(gè)拼接順序由PyTorch內(nèi)部決定對(duì)上層模塊來說不需要區(qū)分但Attention層必須按hidden_size * 2來初始化輸入維度不然就會(huì)報(bào)維度不匹配的錯(cuò)。BiLSTM內(nèi)部還涉及num_layers的選擇。我建議先從1層開始因?yàn)殡p向結(jié)構(gòu)本身參數(shù)就翻倍了堆2層能提升擬合能力但訓(xùn)練難度和過擬合風(fēng)險(xiǎn)也會(huì)同步增加小數(shù)據(jù)集上經(jīng)常是多層反而不如單層。3.4 Attention加權(quán)與掩碼實(shí)現(xiàn)Attention層是整個(gè)模型的“點(diǎn)睛之筆”。它的思想很樸素對(duì)LSTM輸出的每個(gè)時(shí)間步學(xué)習(xí)一個(gè)重要性權(quán)重然后把所有時(shí)間步加權(quán)求和。if mask is None: mask (input_ids ! 0).unsqueeze(-1).float() else: mask mask.unsqueeze(-1).float() attn_hidden torch.tanh(self.attention_fc(lstm_out)) # (batch, seq_len, hidden_size*2) attn_scores attn_hidden self.attention_fc.weight[:1, :].T # 這里僅示意通常單獨(dú)定義打分向量上面這段打分方式不推薦更好的做法是單獨(dú)定義注意力打分層清晰且容易控制。我先給出一個(gè)干凈的實(shí)現(xiàn)attn_score_layer nn.Linear(hidden_size * 2, 1)然后在forward里attention_scores attn_score_layer(lstm_out).squeeze(-1) # (batch, seq_len) attention_scores attention_scores.masked_fill(mask.squeeze(-1) 0, float(-inf)) attention_weights F.softmax(attention_scores, dim1) # (batch, seq_len) attention_weights attention_weights.unsqueeze(1) # (batch, 1, seq_len) context_vector torch.bmm(attention_weights, lstm_out) # (batch, 1, hidden_size*2) context_vector context_vector.squeeze(1)這里masked_fill的作用是把padding位置的注意力分?jǐn)?shù)設(shè)為負(fù)無窮經(jīng)過softmax之后權(quán)重會(huì)變成0避免把無效的padding信息加進(jìn)來。實(shí)測(cè)下來加上這一步比不加能穩(wěn)定提升1到2個(gè)點(diǎn)的效果尤其在序列長(zhǎng)度較長(zhǎng)的時(shí)候。還可以在這個(gè)位置上引入一個(gè)temperature參數(shù)來控制注意力分布的平滑度但一般默認(rèn)1.0就好。3.5 分類輸出與維度自查手冊(cè)拿到context_vector之后后面的流程就比較常規(guī)了經(jīng)過dropout防止過擬合再經(jīng)過全連接分類層輸出每個(gè)類別的logits。logits self.classifier(self.dropout(context_vector)) return logits關(guān)于維度對(duì)齊我整理了一份自查手冊(cè)訓(xùn)練前可以拿著形狀對(duì)照一遍input_idsbatch_size * seq_len數(shù)據(jù)類型為torch.long經(jīng)過Embedding后batch_size * seq_len * embed_dim轉(zhuǎn)成卷積輸入batch_size * embed_dim * seq_len多卷積核拼接batch_size * (num_filters * 卷積核數(shù)) * seq_len轉(zhuǎn)回LSTM輸入batch_size * seq_len * (num_filters * 卷積核數(shù))BiLSTM輸出batch_size * seq_len * (hidden_size * 2)Attention加權(quán)求和后batch_size * (hidden_size * 2)分類輸出batch_size * num_classes只要每個(gè)環(huán)節(jié)的形狀都和這個(gè)表對(duì)得上基本不會(huì)出現(xiàn)維度錯(cuò)誤。有些報(bào)錯(cuò)提示雖然看起來復(fù)雜其實(shí)是中間某一步多了一個(gè)維度或者少了一個(gè)維度導(dǎo)致的順著這個(gè)表去查通常一眼就能找到問題。4. 訓(xùn)練配置與效果驗(yàn)證4.1 損失函數(shù)、優(yōu)化器與學(xué)習(xí)率調(diào)度分類任務(wù)最常用的損失函數(shù)是交叉熵?fù)p失。如果類別不平衡比較嚴(yán)重可以考慮給每個(gè)類別設(shè)置權(quán)重把樣本數(shù)少的類別權(quán)重調(diào)高。這個(gè)權(quán)重可以直接通過類別數(shù)量的倒數(shù)歸一化得到也可以用sklearn計(jì)算類別權(quán)重。優(yōu)化器我推薦AdamW它比傳統(tǒng)的Adam多了正確的權(quán)重衰減實(shí)現(xiàn)在文本分類任務(wù)里綜合表現(xiàn)更穩(wěn)。學(xué)習(xí)率選擇方面如果Embedding是隨機(jī)初始化我一般從3e-4起步如果加載了預(yù)訓(xùn)練詞向量可以適當(dāng)放大到5e-4到1e-3因?yàn)轭A(yù)訓(xùn)練向量已經(jīng)處于語義空間中不需要太小的步子來微調(diào)。學(xué)習(xí)率調(diào)度策略我用得最多的是CosineAnnealingLR加上warmup。在小數(shù)據(jù)集上Warmup可能看不出太大差別但在數(shù)據(jù)量較大的場(chǎng)景下它能讓訓(xùn)練前期更平穩(wěn)。下面是一份我實(shí)際用過的組合參數(shù)。參數(shù)建議值說明batch_size32-64顯存小就32數(shù)據(jù)量大可以用64epochs15-30配合早停防止無效訓(xùn)練learning_rate3e-4基礎(chǔ)參考值weight_decay1e-5過小時(shí)正則效果弱過大容易欠擬合dropout0.3-0.5從0.5開始調(diào)過擬合則增大max_len128-256根據(jù)語料長(zhǎng)度分布確定4.2 訓(xùn)練主循環(huán)與模型保存邏輯訓(xùn)練主循環(huán)的寫法比較固定但有幾個(gè)細(xì)節(jié)值得注意。第一個(gè)是每個(gè)epoch結(jié)束后必須在驗(yàn)證集上評(píng)估而不是只看訓(xùn)練集loss。第二個(gè)是保存模型時(shí)不要只保存最后一個(gè)epoch的權(quán)重要按驗(yàn)證集指標(biāo)保存最優(yōu)模型。第三個(gè)是保存完整模型狀態(tài)時(shí)我會(huì)連同詞表、配置參數(shù)一起序列化保存這樣后續(xù)重新加載預(yù)測(cè)時(shí)不需要重新訓(xùn)練詞表。推薦用torch.save(model.state_dict(), path)而不是直接保存整個(gè)模型因?yàn)閟tate_dict只保存參數(shù)加載時(shí)更靈活文件也更小。實(shí)際項(xiàng)目里我還會(huì)把詞表對(duì)象單獨(dú)保存成vocab.json把模型配置參數(shù)保存成config.json這樣部署和后續(xù)擴(kuò)展都很方便。訓(xùn)練循環(huán)里記錄日志也有講究。我會(huì)用tqdm在終端實(shí)時(shí)打印當(dāng)前epoch的loss、學(xué)習(xí)率和預(yù)測(cè)準(zhǔn)確率同時(shí)把歷史指標(biāo)記錄到列表里訓(xùn)練結(jié)束后統(tǒng)一畫loss曲線。畫loss曲線的目的不只是“看好看”更重要的是判斷模型是否過擬合如果訓(xùn)練loss持續(xù)下降但驗(yàn)證loss開始回升那就是過擬合的信號(hào)要提前停止訓(xùn)練。4.3 評(píng)測(cè)指標(biāo)和對(duì)比實(shí)驗(yàn)只看準(zhǔn)確率在文本分類里是遠(yuǎn)遠(yuǎn)不夠的。如果類別分布不均衡即使模型把所有樣本都預(yù)測(cè)成大類準(zhǔn)確率也可能很高但實(shí)際一點(diǎn)用都沒有。所以我會(huì)同時(shí)看Precision、Recall和F1其中F1的macro版本對(duì)不均衡樣本更公平。sklearn.metrics里有現(xiàn)成的classification_report一行代碼就能輸出所有指標(biāo)我還習(xí)慣額外輸出混淆矩陣因?yàn)榛煜仃嚹苤庇^看到模型具體在哪些類別之間容易混淆。比如把“中性”錯(cuò)判成“正向”這種信息對(duì)進(jìn)一步優(yōu)化非常有用。為了驗(yàn)證Attention到底貢獻(xiàn)了多少我在一個(gè)模擬項(xiàng)目上做過一次完整的消融實(shí)驗(yàn)。這個(gè)實(shí)驗(yàn)不涉及具體真實(shí)數(shù)據(jù)只是用公開可獲取的短文本情感分類任務(wù)做了對(duì)比結(jié)果如下。模型結(jié)構(gòu)準(zhǔn)確率Macro F1CNN-only89.2%88.1%BiLSTM-only90.4%89.0%CNN-BiLSTM91.8%90.6%CNN-BiLSTM-Attention93.1%92.4%從結(jié)果可以看出Attention層的增量收益大約在1.3到1.8個(gè)百分點(diǎn)。這個(gè)提升在業(yè)務(wù)指標(biāo)上可能是非常顯著的。而且Attention還有一個(gè)額外收益它能輸出每個(gè)詞的注意力權(quán)重讓我直觀看到模型到底在關(guān)注什么詞這在排查badcase時(shí)的價(jià)值非常大。5. 調(diào)參與避坑那些文檔不會(huì)寫的細(xì)節(jié)5.1 學(xué)習(xí)率、dropout、weight_decay怎么搭配我踩過的第一個(gè)坑是把學(xué)習(xí)率設(shè)得過大。最開始在某個(gè)任務(wù)上慣性用了1e-3結(jié)果loss曲線前幾個(gè)epoch劇烈震蕩val loss完全下不來。后來降到3e-4情況立竿見影。我的經(jīng)驗(yàn)是如果loss在訓(xùn)練初期不降反升先別急著換模型結(jié)構(gòu)把學(xué)習(xí)率降到原來的十分之一再試。dropout和weight_decay都要配合著調(diào)。我的經(jīng)驗(yàn)是模型參數(shù)越多dropout越要舍得。CNN卷積核數(shù)量、LSTM hidden size如果都偏大dropout至少給到0.5。weight_decay是更細(xì)膩的正則手法設(shè)成1e-5只是輕度約束如果自己感覺到過擬合先提高到1e-4觀察效果不要一步到位設(shè)太大。學(xué)習(xí)率調(diào)度器的使用也需要注意。如果用了CosineAnnealingLRT_max要設(shè)成總訓(xùn)練步數(shù)而不是隨便填一個(gè)數(shù)字否則學(xué)習(xí)率下降速度會(huì)和訓(xùn)練進(jìn)度對(duì)不上。實(shí)際操作中我習(xí)慣在每個(gè)epoch里根據(jù)當(dāng)前步數(shù)去獲取當(dāng)前學(xué)習(xí)率方便日志記錄和判斷。5.2 padding掩碼與Attention的正確打開方式這個(gè)坑非常隱蔽。Attention層需要對(duì)padding位置做掩碼但掩碼來源必須是原始input_ids的padding標(biāo)記而不是經(jīng)過卷積和LSTM后的特征。原因很簡(jiǎn)單卷積會(huì)使用padding區(qū)域參與計(jì)算LSTM也會(huì)處理這些位置此時(shí)你看到的不再是原始的0或1而是被網(wǎng)絡(luò)填充過的值拿它做mask判斷根本不可靠。我習(xí)慣在模型的forward函數(shù)里直接從input_ids ! 0生成掩碼并在Attention打分之前就用masked_fill把padding位置設(shè)為負(fù)無窮。另外還要注意掩碼的廣播維度attention_scores是batch * seq_len而mask也應(yīng)該是batch * seq_len編程時(shí)不要多出一個(gè)維度。如果你發(fā)現(xiàn)加了mask之后效果反而變差了先排查是不是mask把句子中真實(shí)的邊界符號(hào)當(dāng)成了padding。比如有些文本里會(huì)保留[CLS]、[SEP]這種特殊token這些token不在詞表里會(huì)被映射成[UNK]不會(huì)被mask掉但如果你想屏蔽它們就要額外構(gòu)造特殊token mask。5.3 隨機(jī)種子與可復(fù)現(xiàn)性深度學(xué)習(xí)模型涉及大量隨機(jī)初始化、數(shù)據(jù)加載打亂、dropout采樣如果完全不固定隨機(jī)種子你會(huì)發(fā)現(xiàn)自己每次跑出來的實(shí)驗(yàn)結(jié)果都不一樣這就很難做對(duì)比實(shí)驗(yàn)。我在主訓(xùn)練腳本最前面會(huì)固定這些種子torch.manual_seed、numpy.random.seed、random.seed同時(shí)設(shè)置torch.backends.cudnn.deterministicTrue和torch.backends.cudnn.benchmarkFalse。固定種子的目的是讓同一個(gè)實(shí)驗(yàn)具備可復(fù)現(xiàn)性但跨實(shí)驗(yàn)對(duì)比時(shí)不要刻意用一個(gè)種子去跑所有模型。更好做法是每個(gè)模型在3到5個(gè)固定種子上各跑一遍然后取均值和方差。這樣模型之間的效果差異是基于平均表現(xiàn)判斷的結(jié)論更可靠。你還需要注意DataLoader里的shuffleTrue依賴的隨機(jī)源和Python的random模塊相關(guān)因此random.seed不要漏掉。另外如果你用GPU訓(xùn)練由于GPU運(yùn)算的并行特性完全復(fù)現(xiàn)比較困難但固定CPU端的種子已經(jīng)能顯著減少波動(dòng)。5.4 長(zhǎng)文本截?cái)嗯c類別不平衡處理長(zhǎng)文本截?cái)嗖呗陨衔页赃^一次虧。某次任務(wù)里句子平均長(zhǎng)度在200左右我把max_len設(shè)成了128結(jié)果相當(dāng)一部分關(guān)鍵信息被直接截掉了。后來我統(tǒng)計(jì)了一下長(zhǎng)度分布發(fā)現(xiàn)95%分位點(diǎn)是210于是把max_len改成224效果立刻漲了一大截。我的建議是在做任何模型之前先看一下訓(xùn)練集的長(zhǎng)度分布直方圖確定合理的max_len不要隨手填一個(gè)數(shù)。如果截?cái)嗪蟀l(fā)現(xiàn)長(zhǎng)尾損失嚴(yán)重還有兩個(gè)變體思路一個(gè)是對(duì)前128和后128的片段分別做編碼再融合另一個(gè)是先用BERT這類模型做片段級(jí)編碼再聚合。這兩種方案都比單純拉長(zhǎng)max_len更節(jié)省計(jì)算資源效果也更穩(wěn)。類別不平衡的問題除了在損失函數(shù)里加權(quán)還可以考慮更簡(jiǎn)單的一招按類別比例過采樣小類樣本。注意過采樣時(shí)不能簡(jiǎn)單地復(fù)制樣本要做輕微的文本擾動(dòng)比如同義詞替換、詞序交換否則模型會(huì)記住這些重復(fù)樣本的噪聲。6. 常見問題與排查實(shí)錄6.1 OOM顯存不夠用怎么辦OOM和顯存不足是最常見的訓(xùn)練崩潰原因。第一次遇到時(shí)先不要急著換小模型按下面的順序排查。最直接的辦法是把batch_size降到16甚至8如果還不行縮短max_len從256減到128這個(gè)操作對(duì)顯存的削減非常直接再不行可以考慮關(guān)閉pin_memory這是DataLoader里的一個(gè)參數(shù)。如果以上都試過還是OOM就要考慮是不是Embedding太大。vocab_size20萬、embed_dim300的Embedding層本身就占據(jù)很大的顯存開銷可以縮減詞表或降低embed_dim。還可以啟用梯度累積用兩步累積的梯度模擬一個(gè)大的batch_size這樣既可以保持較大等效batch_size又可以控制單步顯存峰值。6.2 loss不下降與梯度異常這個(gè)問題的成因很多但如果模型結(jié)構(gòu)本身能正常跑通最常見的原因是學(xué)習(xí)率不合適。學(xué)習(xí)率太大loss會(huì)在一個(gè)高位震蕩下不來學(xué)習(xí)率太小loss下降非常緩慢。我每次都會(huì)在訓(xùn)練前三個(gè)epoch打印loss如果前三個(gè)epoch內(nèi)loss完全沒有下降趨勢(shì)第一反應(yīng)就是把學(xué)習(xí)率調(diào)大或調(diào)小10倍再試。梯度異常還有一種情況Embedding層參數(shù)沒有在更新。如果你檢測(cè)到embedding.weight.grad全為零可能是padding_idx0導(dǎo)致該行梯度恒為0但其他詞位不會(huì)受影響。如果所有位置梯度都為零就要檢查是不是把requires_gradFalse誤設(shè)到了Embedding上。還有一點(diǎn)如果你在模型中添加了太多層深度加深后反向傳播的信號(hào)衰減會(huì)加劇。某個(gè)任務(wù)上我把LSTM層數(shù)從1改成3結(jié)果訓(xùn)練集loss都很難下降就是這個(gè)原因。注意觀察各層梯度的范數(shù)如果深層梯度幾乎為0就該考慮加殘差連接或者減少層數(shù)。6.3 預(yù)測(cè)傾向單一類別模型在驗(yàn)證集上準(zhǔn)確率還行但實(shí)際預(yù)測(cè)時(shí)所有樣本幾乎都輸出同一個(gè)類別這種情況在類別不平衡數(shù)據(jù)里非常常見。首先檢查訓(xùn)練集的類別分布如果某個(gè)類別占比超過90%那模型很可能會(huì)學(xué)會(huì)“偷懶”策略全部猜大類也能得到一個(gè)很高的訓(xùn)練準(zhǔn)確率。解決辦法是前面提到的類別加權(quán)損失、重采樣、或者改用Focal Loss。Focal Loss會(huì)降低易分類樣本的權(quán)重讓模型把注意力集中在難分類樣本上對(duì)緩解這種單一傾向很有效。不要只盯著驗(yàn)證集準(zhǔn)確率一定要查看混淆矩陣你會(huì)發(fā)現(xiàn)模型可能在大類上表現(xiàn)很好小類上幾乎全錯(cuò)。6.4 過擬合的判斷和處理過擬合最常見的信號(hào)是訓(xùn)練loss持續(xù)下降、驗(yàn)證loss在某個(gè)點(diǎn)后開始上升。這時(shí)不需要急著加模型正則可以先嘗試一個(gè)更便宜的方案減小模型容量。比如把num_filters從256降到128或者把LSTM的hidden_size從128改成64往往就能止住過擬合趨勢(shì)而且對(duì)效果的影響不大。如果模型容量已經(jīng)很小還過擬合則說明數(shù)據(jù)量不足以支撐復(fù)雜結(jié)構(gòu)。這時(shí)候可以考慮增加數(shù)據(jù)增強(qiáng)。文本分類的增強(qiáng)手段不像圖像那么直接但可以用同義詞替換、隨機(jī)刪除部分詞、回譯等傳統(tǒng)方法。數(shù)據(jù)量實(shí)在有限的情況加載預(yù)訓(xùn)練Embedding通常能帶來最大的提升因?yàn)樗o模型提供了先驗(yàn)的語義知識(shí)讓模型不容易只死記訓(xùn)練集的表面模式。7. 后續(xù)還能怎么擴(kuò)展7.1 從單標(biāo)簽到多標(biāo)簽單標(biāo)簽分類直接使用交叉熵但很多業(yè)務(wù)場(chǎng)景其實(shí)是多標(biāo)簽分類一條文本可以同時(shí)命中多個(gè)標(biāo)簽比如一篇新聞既屬于體育也屬于人物。這種場(chǎng)景下把模型的輸出維改成標(biāo)簽總數(shù)然后使用nn.BCEWithLogitsLoss替換交叉熵即可。注意評(píng)估指標(biāo)也要同步從F1變成多標(biāo)簽F1這個(gè)版本在sklearn里也有現(xiàn)成實(shí)現(xiàn)。Attention層在多標(biāo)簽場(chǎng)景下的優(yōu)勢(shì)更明顯因?yàn)椴煌瑯?biāo)簽關(guān)注的重點(diǎn)詞可能完全不同。如果你想讓模型給每個(gè)標(biāo)簽單獨(dú)分配注意力權(quán)重可以試試多頭注意力思路每一頭對(duì)應(yīng)一個(gè)標(biāo)簽語義輸出時(shí)用各自頭的上下文向量做分類。7.2 與預(yù)訓(xùn)練模型的融合這個(gè)模型完全可以用作預(yù)訓(xùn)練模型的下游增強(qiáng)層。比如用BERT對(duì)輸入文本編碼得到每個(gè)位置的向量表示然后把BERT的輸出接入這里的CNN-BiLSTM-Attention層。這樣做的好處是既利用了預(yù)訓(xùn)練模型強(qiáng)大的語義理解能力又通過CNN和LSTM對(duì)局部特征和序列依賴做了二次提煉。代價(jià)是訓(xùn)練時(shí)間成倍增加。我的建議是先從凍結(jié)BERT權(quán)重開始做實(shí)驗(yàn)先只訓(xùn)練下游結(jié)構(gòu)后續(xù)再解凍部分底層做微調(diào)。如果效果提升不顯著就保持凍結(jié)狀態(tài)訓(xùn)練速度快部署成本也低。7.3 位置編碼與多頭注意力如果把Attention層升級(jí)成多頭版本模型并行關(guān)注不同子空間的能力會(huì)更強(qiáng)。你可以把hidden_size * 2的向量切分成多組分別計(jì)算注意力權(quán)重再拼接起來。這種做法接近Transformer的概念但整體計(jì)算量仍然遠(yuǎn)小于完整的Transformer。另外標(biāo)準(zhǔn)Transformer里的位置編碼也可以被引入到這里。原本LSTM本身具備一定的位置感知能力但CNN和Attention并不感知詞順序加入正弦位置編碼能進(jìn)一步補(bǔ)足這個(gè)信息。這也是一個(gè)低成本、高收益的擴(kuò)展方向。我自己曾經(jīng)在某個(gè)短文本任務(wù)里加過一次位置編碼效果提升非常微弱但在長(zhǎng)文本任務(wù)里提升會(huì)更明顯一些。做完整個(gè)項(xiàng)目之后我對(duì)這個(gè)模型的體會(huì)是它不是一個(gè)炫技式的結(jié)構(gòu)而是一個(gè)把局部特征、序列依賴和關(guān)鍵信息選擇三種能力融合得很均衡的方案。如果你把它當(dāng)成一個(gè)基本功認(rèn)真把數(shù)據(jù)處理、維度對(duì)齊、調(diào)參策略這些環(huán)節(jié)都走一遍再去看更復(fù)雜的預(yù)訓(xùn)練模型時(shí)理解起來會(huì)輕松很多。最后再分享一個(gè)小技巧當(dāng)你發(fā)現(xiàn)效果不太理想時(shí)不要急著換模型先去看Attention權(quán)重到底集中在哪些詞上很多時(shí)候模型的錯(cuò)誤原因一目了然改數(shù)據(jù)比改結(jié)構(gòu)更有效。 文本分類模型選型：CNN-BiLSTM-Attention實(shí)戰(zhàn)指南
很多人問過我同樣的問題文本分類到底該用CNN還是RNN我在把各類方案都親自動(dòng)手跑過一遍之后最推薦的入門級(jí)實(shí)戰(zhàn)模型反而是這個(gè)看起來有點(diǎn)長(zhǎng)的組合——CNN-BiLSTM-Attention分類模型。它沒有Transformer那么重的訓(xùn)練成本也沒有傳統(tǒng)RNN那么明顯的長(zhǎng)距離遺忘問題同時(shí)通過Attention機(jī)制把關(guān)鍵信息篩選能力拔高了一大截。這篇文章我打算完全站在實(shí)操者的角度從模型結(jié)構(gòu)拆解、代碼逐段實(shí)現(xiàn)到訓(xùn)練調(diào)參、踩坑記錄把這個(gè)模型從頭到尾講透保證你看完能直接動(dòng)手復(fù)現(xiàn)一個(gè)自己的版本。我自己最初做這個(gè)模型是在一個(gè)短文本情緒分類任務(wù)上當(dāng)時(shí)對(duì)比過純CNN、純BiLSTM和這個(gè)組合結(jié)構(gòu)效果差異非常明顯。加完Attention之后不僅能提升F1分?jǐn)?shù)更重要的是模型對(duì)轉(zhuǎn)折詞、否定詞的關(guān)注點(diǎn)變得更合理了解釋性也好了很多。如果你正準(zhǔn)備在文本分類、情感分析、意圖識(shí)別這些場(chǎng)景里落地深度學(xué)習(xí)模型又不想一上來就上重型預(yù)訓(xùn)練模型這篇內(nèi)容就是為你準(zhǔn)備的。1. 模型拆解與思路選型1.1 為什么偏偏是CNNBiLSTMAttention這個(gè)組合先說結(jié)論這個(gè)組合本質(zhì)上是把三種不同尺度的信息抽取能力做了一個(gè)串聯(lián)。CNN負(fù)責(zé)局部特征抽取。它在文本上的表現(xiàn)相當(dāng)于一個(gè)滑動(dòng)窗口在連續(xù)詞序列上掃描每次抓取一小段n-gram層面的局部模式。比如“非常棒”這種短語CNN用一個(gè)小卷積核就能識(shí)別出來和它在圖像里識(shí)別邊緣、紋理是同一個(gè)邏輯。它不關(guān)心詞之間的長(zhǎng)距離關(guān)系也不關(guān)心上下文次序但它對(duì)局部組合非常敏感而且計(jì)算速度很快。BiLSTM負(fù)責(zé)上下文建模。LSTM天生適合處理序列數(shù)據(jù)它通過門控機(jī)制記憶重要的歷史信息、遺忘不重要的信息。而BiLSTM相當(dāng)于正著讀一遍、倒著讀一遍這樣一來每個(gè)位置的輸出就同時(shí)包含了它之前的上下文和它之后的上下文這對(duì)文本分類非常關(guān)鍵因?yàn)橐粋€(gè)句子的語義往往需要前后兼顧。比如“不是不好”這個(gè)表達(dá)只看前面的“不是”會(huì)判斷錯(cuò)必須看到后面的“不好”才能確定整體傾向。Attention負(fù)責(zé)信息聚焦。BiLSTM雖然能編碼上下文但輸出是等權(quán)重的。實(shí)際上一句話中對(duì)分類決策起決定性作用的可能只有幾個(gè)關(guān)鍵詞。Attention層的核心作用就是給每一個(gè)位置學(xué)習(xí)一個(gè)權(quán)重把和任務(wù)最相關(guān)的信息放大、把無關(guān)信息壓縮。這一步對(duì)準(zhǔn)確率的提升往往是肉眼可見的。三者組合起來之后局部模式、序列依賴、關(guān)鍵信息三個(gè)維度的優(yōu)勢(shì)就疊加了。這也是很多工業(yè)級(jí)文本分類模型在SOTA方案之外仍然保留這類混合結(jié)構(gòu)做基線的根本原因。1.2 整體架構(gòu)的數(shù)據(jù)流向在動(dòng)手寫代碼之前一定要把數(shù)據(jù)流向先捋清楚。很多人在這個(gè)模型上報(bào)錯(cuò)都是因?yàn)榫S度沒有對(duì)齊。下面是我在實(shí)際項(xiàng)目中固定下來的標(biāo)準(zhǔn)流程。原始輸入是一段文本先經(jīng)過分詞和詞表映射變成一串整數(shù)索引形狀是batch_size * seq_len。接下來是Embedding層把每個(gè)整數(shù)索引映射成稠密向量形狀變成batch_size * seq_len * embed_dim這一步相當(dāng)于把離散的詞語變成了連續(xù)空間里的點(diǎn)。然后進(jìn)入CNN層。這里我會(huì)做一步維度交換把詞向量維度放到通道維也就是從batch_size * seq_len * embed_dim變成batch_size * embed_dim * seq_len以便適配一維卷積的輸入格式。多組卷積核對(duì)它掃描之后輸出形狀是batch_size * num_filters_total * seq_len我通常會(huì)通過padding保持序列長(zhǎng)度不變?nèi)缓笾匦陆粨Q維度傳進(jìn)BiLSTM。BiLSTM在序列維度上做前向和后向編碼輸出形狀是batch_size * seq_len * hidden_size * 2其中乘2是因?yàn)殡p向拼接。Attention層拿到這部分輸出在序列長(zhǎng)度這個(gè)維度上計(jì)算注意力權(quán)重加權(quán)求和后得到整個(gè)句子的向量表示形狀是batch_size * hidden_size * 2最后接一個(gè)全連接層做分類輸出。這個(gè)流程中最關(guān)鍵的轉(zhuǎn)換點(diǎn)就是CNN通道維和LSTM時(shí)間維的互換后面代碼部分我會(huì)逐行說明。1.3 這個(gè)方案到底適合解決什么問題這個(gè)模型并不是所有場(chǎng)景下的最優(yōu)解但它有一個(gè)覆蓋面很廣的適用范圍。如果你做的是長(zhǎng)文本、篇幅在幾百字到幾千字之間的新聞分類、評(píng)論情感分析、用戶意圖識(shí)別它都能勝任。因?yàn)镃NN擅長(zhǎng)抓局部關(guān)鍵短語LSTM能處理一定的序列依賴Attention又不會(huì)讓長(zhǎng)文本里的關(guān)鍵信息被稀釋。如果你的任務(wù)本身是超長(zhǎng)文本比如整本書級(jí)別的語義理解那這個(gè)模型不會(huì)適合BiLSTM在超長(zhǎng)序列上存在梯度傳播困難訓(xùn)練效率也低。如果你的任務(wù)極度依賴全局結(jié)構(gòu)比如關(guān)系抽取、閱讀理解這類需要精細(xì)對(duì)齊的任務(wù)Transformer系模型會(huì)更強(qiáng)。我給它的定位很明確一個(gè)性價(jià)比極高的文本分類基線。它訓(xùn)練快、顯存占用小、調(diào)參空間大特別適合做項(xiàng)目初版的模型原型或者作為后續(xù)對(duì)比實(shí)驗(yàn)的基準(zhǔn)。2. 上手前準(zhǔn)備環(huán)境配置與數(shù)據(jù)劃分2.1 依賴清單與版本建議我默認(rèn)用PyTorch來搭建其他依賴都比較常見。下面這份清單是我近期實(shí)測(cè)穩(wěn)定的組合Python版本建議3.8到3.10之間。torch1.10.0 numpy pandas scikit-learn transformers僅在加載預(yù)訓(xùn)練Embedding時(shí)使用非必需 tqdm如果你在國內(nèi)環(huán)境安裝較慢可以配置國內(nèi)PyPI鏡像源。CPU環(huán)境也能跑通全流程只是訓(xùn)練速度會(huì)慢一些顯存大于4G的情況下跑本文這種規(guī)模的中小型數(shù)據(jù)集完全沒問題。數(shù)據(jù)方面我建議準(zhǔn)備一份帶標(biāo)簽的文本數(shù)據(jù)CSV格式就可以包含兩列一列是文本內(nèi)容一列是類別標(biāo)簽。分類類別建議控制在5到20個(gè)之間這個(gè)模型的表達(dá)能力在這個(gè)范圍內(nèi)最穩(wěn)定。2.2 數(shù)據(jù)集的預(yù)處理流程文本預(yù)處理的細(xì)節(jié)直接決定模型效果的上限。我見過不少人在模型結(jié)構(gòu)上下了很大功夫結(jié)果因?yàn)轭A(yù)處理太粗糙整體效果反而不如簡(jiǎn)單模型。我的通用處理流程如下。先做基礎(chǔ)的文本清洗去掉特殊符號(hào)、連續(xù)空格、控制字符統(tǒng)一轉(zhuǎn)成小寫。英文按空格分詞即可中文需要先分詞。我一般用jieba詞典優(yōu)先再輔助自定義詞典補(bǔ)充領(lǐng)域詞匯。這里有一個(gè)容易忽略的細(xì)節(jié)分詞結(jié)果的質(zhì)量直接影響CNN卷積核能否學(xué)到好的短語模式如果分詞粒度不一致同一個(gè)意思的短語會(huì)被拆成不同形式卷積核的訓(xùn)練信號(hào)就會(huì)變稀疏。然后是構(gòu)建詞表。保留出現(xiàn)頻率不低于2次的詞這能過濾掉大量只在語料里出現(xiàn)過一次的生僻詞減少詞表規(guī)模。設(shè)定最大詞表大小我常用20萬的上限超過就按頻率截?cái)?。給每個(gè)詞分配索引之后一定要預(yù)留索引0給padding索引1給未知詞。最后是序列截?cái)嗪蚉adding。設(shè)定一個(gè)max_len這個(gè)值需要根據(jù)你的語料長(zhǎng)度分布來確定可以先看一下訓(xùn)練集的長(zhǎng)度分布找85%到90%分位點(diǎn)附近的長(zhǎng)度。把所有文本截?cái)嗷蜓a(bǔ)長(zhǎng)到統(tǒng)一的max_len一般取128到256之間文章標(biāo)題類的短文本可以取64。2.3 數(shù)據(jù)加載器的維度對(duì)齊數(shù)據(jù)加載器這塊雖然代碼短但卻是最容易埋坑的地方。有一個(gè)常見錯(cuò)誤是vocab_size設(shè)置得和詞表長(zhǎng)度不一致導(dǎo)致Embedding層索引越界。所以加載器返回的數(shù)據(jù)要確保input_ids的最大值嚴(yán)格小于embedding.num_embeddings。我在Dataset里通常返回三個(gè)字段input_ids、attention_mask和label。attention_mask標(biāo)記哪些位置是真實(shí)詞、哪些位置是padding后面Attention層做掩碼時(shí)要用?？梢皂槺銠z查一下返回張量的形狀確認(rèn)是batch_size * seq_len如果混進(jìn)了額外的維度后續(xù)模型里維度交換會(huì)非常痛苦。數(shù)據(jù)劃分上我反而不太推薦隨機(jī)打亂后直接切分。文本分類數(shù)據(jù)往往存在類別分布不均衡的問題建議按類別分層劃分用sklearn.model_selection.train_test_split的參數(shù)stratify指定標(biāo)簽列保證訓(xùn)練集和驗(yàn)證集中每個(gè)類的比例和原始數(shù)據(jù)一致。3. 核心代碼實(shí)現(xiàn)從零搭建CNN-BiLSTM-Attention3.1 詞表構(gòu)建與Embedding層假設(shè)我們已經(jīng)得到了分詞后的文本列表詞表構(gòu)建的代碼我習(xí)慣自己寫不用現(xiàn)成工具這樣可控性最強(qiáng)。核心邏輯就是統(tǒng)計(jì)詞頻、過濾低頻、按頻率排序分配索引。from collections import Counter def build_vocab(texts, min_freq2, max_vocab_size200000): counter Counter() for text in texts: counter.update(text.split()) vocab {[PAD]: 0, [UNK]: 1} for word, freq in counter.most_common(): if freq min_freq: break if len(vocab) max_vocab_size: break vocab[word] len(vocab) return vocab這里把[PAD]固定在索引0、[UNK]固定在索引1是后續(xù)實(shí)現(xiàn)注意力掩碼的基礎(chǔ)。后續(xù)編碼函數(shù)里凡是詞表里沒有的詞統(tǒng)一映射成[UNK]的索引1再配合Embedding層的padding_idx0參數(shù)就能保證pad位置不參與梯度更新。Embedding層的初始化如果數(shù)據(jù)量足夠大比如超過10萬條隨機(jī)初始化也能訓(xùn)練出不錯(cuò)的詞向量。但如果數(shù)據(jù)量不到這個(gè)量級(jí)建議加載公開預(yù)訓(xùn)練的詞向量來初始化常見方案是開源的詞向量文件。加載時(shí)注意只取詞表里出現(xiàn)的詞未登錄詞保持隨機(jī)初始化。3.2 多通道CNN局部特征提取與padding保留CNN部分我用多組不同尺寸的卷積核并行抽取不同粒度的n-gram特征。常見配置是filter_sizes[3,4,5]分別對(duì)應(yīng)三元、四元、五元短語窗口。每組尺寸下的卷積核數(shù)量num_filters一般取128到256之間。import torch import torch.nn as nn import torch.nn.functional as F class CNNBiLSTMAttention(nn.Module): def __init__(self, vocab_size, embed_dim100, num_filters128, filter_sizes(3, 4, 5), hidden_size128, num_layers1, num_classes2, dropout0.5, max_len128): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.convs nn.ModuleList([ nn.Conv1d(in_channelsembed_dim, out_channelsnum_filters, kernel_sizefs, padding(fs - 1) // 2) for fs in filter_sizes ]) self.lstm nn.LSTM( input_sizenum_filters * len(filter_sizes), hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, bidirectionalTrue, dropoutdropout if num_layers 1 else 0.0 ) self.attention_fc nn.Linear(hidden_size * 2, hidden_size * 2) self.classifier nn.Linear(hidden_size * 2, num_classes) self.dropout nn.Dropout(dropout)這里有個(gè)非常關(guān)鍵的技術(shù)點(diǎn)卷積層的padding設(shè)置。padding(fs - 1) // 2配合stride1可以讓卷積輸出長(zhǎng)度和輸入長(zhǎng)度保持一致。比如kernel_size3時(shí)padding1kernel_size5時(shí)padding2。這樣做的目的是保留序列長(zhǎng)度讓后續(xù)BiLSTM能繼續(xù)在時(shí)間維度上建模。如果你不做padding卷積后序列長(zhǎng)度縮水后面的LSTM就會(huì)丟失句子邊緣的信息而且維度計(jì)算會(huì)亂掉。3.3 BiLSTM雙向編碼與維度重組BiLSTM的輸入要求時(shí)間維在第二維。我們從CNN拿到的輸出此時(shí)形狀是batch_size * num_filters_total * seq_len需要先交換前兩個(gè)維度變成batch_size * seq_len * num_filters_total再喂進(jìn)LSTM。def forward(self, input_ids, maskNone): # input_ids: (batch, seq_len) x self.embedding(input_ids) # (batch, seq_len, embed_dim) x x.transpose(1, 2) # (batch, embed_dim, seq_len) conv_outputs [] for conv in self.convs: c torch.relu(conv(x)) # (batch, num_filters, seq_len) conv_outputs.append(c) x torch.cat(conv_outputs, dim1) # (batch, num_filters_total, seq_len) x x.transpose(1, 2) # (batch, seq_len, num_filters_total) lstm_out, _ self.lstm(x) # (batch, seq_len, hidden_size*2)很多初學(xué)者一看LSTM的輸出維度就暈因?yàn)閔idden_size128時(shí)雙向拼接后每個(gè)時(shí)間步的輸出就是256維。這256維中前128維來自正向LSTM、后128維來自反向LSTM。這個(gè)拼接順序由PyTorch內(nèi)部決定對(duì)上層模塊來說不需要區(qū)分但Attention層必須按hidden_size * 2來初始化輸入維度不然就會(huì)報(bào)維度不匹配的錯(cuò)。BiLSTM內(nèi)部還涉及num_layers的選擇。我建議先從1層開始因?yàn)殡p向結(jié)構(gòu)本身參數(shù)就翻倍了堆2層能提升擬合能力但訓(xùn)練難度和過擬合風(fēng)險(xiǎn)也會(huì)同步增加小數(shù)據(jù)集上經(jīng)常是多層反而不如單層。3.4 Attention加權(quán)與掩碼實(shí)現(xiàn)Attention層是整個(gè)模型的“點(diǎn)睛之筆”。它的思想很樸素對(duì)LSTM輸出的每個(gè)時(shí)間步學(xué)習(xí)一個(gè)重要性權(quán)重然后把所有時(shí)間步加權(quán)求和。if mask is None: mask (input_ids ! 0).unsqueeze(-1).float() else: mask mask.unsqueeze(-1).float() attn_hidden torch.tanh(self.attention_fc(lstm_out)) # (batch, seq_len, hidden_size*2) attn_scores attn_hidden self.attention_fc.weight[:1, :].T # 這里僅示意通常單獨(dú)定義打分向量上面這段打分方式不推薦更好的做法是單獨(dú)定義注意力打分層清晰且容易控制。我先給出一個(gè)干凈的實(shí)現(xiàn)attn_score_layer nn.Linear(hidden_size * 2, 1)然后在forward里attention_scores attn_score_layer(lstm_out).squeeze(-1) # (batch, seq_len) attention_scores attention_scores.masked_fill(mask.squeeze(-1) 0, float(-inf)) attention_weights F.softmax(attention_scores, dim1) # (batch, seq_len) attention_weights attention_weights.unsqueeze(1) # (batch, 1, seq_len) context_vector torch.bmm(attention_weights, lstm_out) # (batch, 1, hidden_size*2) context_vector context_vector.squeeze(1)這里masked_fill的作用是把padding位置的注意力分?jǐn)?shù)設(shè)為負(fù)無窮經(jīng)過softmax之后權(quán)重會(huì)變成0避免把無效的padding信息加進(jìn)來。實(shí)測(cè)下來加上這一步比不加能穩(wěn)定提升1到2個(gè)點(diǎn)的效果尤其在序列長(zhǎng)度較長(zhǎng)的時(shí)候。還可以在這個(gè)位置上引入一個(gè)temperature參數(shù)來控制注意力分布的平滑度但一般默認(rèn)1.0就好。3.5 分類輸出與維度自查手冊(cè)拿到context_vector之后后面的流程就比較常規(guī)了經(jīng)過dropout防止過擬合再經(jīng)過全連接分類層輸出每個(gè)類別的logits。logits self.classifier(self.dropout(context_vector)) return logits關(guān)于維度對(duì)齊我整理了一份自查手冊(cè)訓(xùn)練前可以拿著形狀對(duì)照一遍input_idsbatch_size * seq_len數(shù)據(jù)類型為torch.long經(jīng)過Embedding后batch_size * seq_len * embed_dim轉(zhuǎn)成卷積輸入batch_size * embed_dim * seq_len多卷積核拼接batch_size * (num_filters * 卷積核數(shù)) * seq_len轉(zhuǎn)回LSTM輸入batch_size * seq_len * (num_filters * 卷積核數(shù))BiLSTM輸出batch_size * seq_len * (hidden_size * 2)Attention加權(quán)求和后batch_size * (hidden_size * 2)分類輸出batch_size * num_classes只要每個(gè)環(huán)節(jié)的形狀都和這個(gè)表對(duì)得上基本不會(huì)出現(xiàn)維度錯(cuò)誤。有些報(bào)錯(cuò)提示雖然看起來復(fù)雜其實(shí)是中間某一步多了一個(gè)維度或者少了一個(gè)維度導(dǎo)致的順著這個(gè)表去查通常一眼就能找到問題。4. 訓(xùn)練配置與效果驗(yàn)證4.1 損失函數(shù)、優(yōu)化器與學(xué)習(xí)率調(diào)度分類任務(wù)最常用的損失函數(shù)是交叉熵?fù)p失。如果類別不平衡比較嚴(yán)重可以考慮給每個(gè)類別設(shè)置權(quán)重把樣本數(shù)少的類別權(quán)重調(diào)高。這個(gè)權(quán)重可以直接通過類別數(shù)量的倒數(shù)歸一化得到也可以用sklearn計(jì)算類別權(quán)重。優(yōu)化器我推薦AdamW它比傳統(tǒng)的Adam多了正確的權(quán)重衰減實(shí)現(xiàn)在文本分類任務(wù)里綜合表現(xiàn)更穩(wěn)。學(xué)習(xí)率選擇方面如果Embedding是隨機(jī)初始化我一般從3e-4起步如果加載了預(yù)訓(xùn)練詞向量可以適當(dāng)放大到5e-4到1e-3因?yàn)轭A(yù)訓(xùn)練向量已經(jīng)處于語義空間中不需要太小的步子來微調(diào)。學(xué)習(xí)率調(diào)度策略我用得最多的是CosineAnnealingLR加上warmup。在小數(shù)據(jù)集上Warmup可能看不出太大差別但在數(shù)據(jù)量較大的場(chǎng)景下它能讓訓(xùn)練前期更平穩(wěn)。下面是一份我實(shí)際用過的組合參數(shù)。參數(shù)建議值說明batch_size32-64顯存小就32數(shù)據(jù)量大可以用64epochs15-30配合早停防止無效訓(xùn)練learning_rate3e-4基礎(chǔ)參考值weight_decay1e-5過小時(shí)正則效果弱過大容易欠擬合dropout0.3-0.5從0.5開始調(diào)過擬合則增大max_len128-256根據(jù)語料長(zhǎng)度分布確定4.2 訓(xùn)練主循環(huán)與模型保存邏輯訓(xùn)練主循環(huán)的寫法比較固定但有幾個(gè)細(xì)節(jié)值得注意。第一個(gè)是每個(gè)epoch結(jié)束后必須在驗(yàn)證集上評(píng)估而不是只看訓(xùn)練集loss。第二個(gè)是保存模型時(shí)不要只保存最后一個(gè)epoch的權(quán)重要按驗(yàn)證集指標(biāo)保存最優(yōu)模型。第三個(gè)是保存完整模型狀態(tài)時(shí)我會(huì)連同詞表、配置參數(shù)一起序列化保存這樣后續(xù)重新加載預(yù)測(cè)時(shí)不需要重新訓(xùn)練詞表。推薦用torch.save(model.state_dict(), path)而不是直接保存整個(gè)模型因?yàn)閟tate_dict只保存參數(shù)加載時(shí)更靈活文件也更小。實(shí)際項(xiàng)目里我還會(huì)把詞表對(duì)象單獨(dú)保存成vocab.json把模型配置參數(shù)保存成config.json這樣部署和后續(xù)擴(kuò)展都很方便。訓(xùn)練循環(huán)里記錄日志也有講究。我會(huì)用tqdm在終端實(shí)時(shí)打印當(dāng)前epoch的loss、學(xué)習(xí)率和預(yù)測(cè)準(zhǔn)確率同時(shí)把歷史指標(biāo)記錄到列表里訓(xùn)練結(jié)束后統(tǒng)一畫loss曲線。畫loss曲線的目的不只是“看好看”更重要的是判斷模型是否過擬合如果訓(xùn)練loss持續(xù)下降但驗(yàn)證loss開始回升那就是過擬合的信號(hào)要提前停止訓(xùn)練。4.3 評(píng)測(cè)指標(biāo)和對(duì)比實(shí)驗(yàn)只看準(zhǔn)確率在文本分類里是遠(yuǎn)遠(yuǎn)不夠的。如果類別分布不均衡即使模型把所有樣本都預(yù)測(cè)成大類準(zhǔn)確率也可能很高但實(shí)際一點(diǎn)用都沒有。所以我會(huì)同時(shí)看Precision、Recall和F1其中F1的macro版本對(duì)不均衡樣本更公平。sklearn.metrics里有現(xiàn)成的classification_report一行代碼就能輸出所有指標(biāo)我還習(xí)慣額外輸出混淆矩陣因?yàn)榛煜仃嚹苤庇^看到模型具體在哪些類別之間容易混淆。比如把“中性”錯(cuò)判成“正向”這種信息對(duì)進(jìn)一步優(yōu)化非常有用。為了驗(yàn)證Attention到底貢獻(xiàn)了多少我在一個(gè)模擬項(xiàng)目上做過一次完整的消融實(shí)驗(yàn)。這個(gè)實(shí)驗(yàn)不涉及具體真實(shí)數(shù)據(jù)只是用公開可獲取的短文本情感分類任務(wù)做了對(duì)比結(jié)果如下。模型結(jié)構(gòu)準(zhǔn)確率Macro F1CNN-only89.2%88.1%BiLSTM-only90.4%89.0%CNN-BiLSTM91.8%90.6%CNN-BiLSTM-Attention93.1%92.4%從結(jié)果可以看出Attention層的增量收益大約在1.3到1.8個(gè)百分點(diǎn)。這個(gè)提升在業(yè)務(wù)指標(biāo)上可能是非常顯著的。而且Attention還有一個(gè)額外收益它能輸出每個(gè)詞的注意力權(quán)重讓我直觀看到模型到底在關(guān)注什么詞這在排查badcase時(shí)的價(jià)值非常大。5. 調(diào)參與避坑那些文檔不會(huì)寫的細(xì)節(jié)5.1 學(xué)習(xí)率、dropout、weight_decay怎么搭配我踩過的第一個(gè)坑是把學(xué)習(xí)率設(shè)得過大。最開始在某個(gè)任務(wù)上慣性用了1e-3結(jié)果loss曲線前幾個(gè)epoch劇烈震蕩val loss完全下不來。后來降到3e-4情況立竿見影。我的經(jīng)驗(yàn)是如果loss在訓(xùn)練初期不降反升先別急著換模型結(jié)構(gòu)把學(xué)習(xí)率降到原來的十分之一再試。dropout和weight_decay都要配合著調(diào)。我的經(jīng)驗(yàn)是模型參數(shù)越多dropout越要舍得。CNN卷積核數(shù)量、LSTM hidden size如果都偏大dropout至少給到0.5。weight_decay是更細(xì)膩的正則手法設(shè)成1e-5只是輕度約束如果自己感覺到過擬合先提高到1e-4觀察效果不要一步到位設(shè)太大。學(xué)習(xí)率調(diào)度器的使用也需要注意。如果用了CosineAnnealingLRT_max要設(shè)成總訓(xùn)練步數(shù)而不是隨便填一個(gè)數(shù)字否則學(xué)習(xí)率下降速度會(huì)和訓(xùn)練進(jìn)度對(duì)不上。實(shí)際操作中我習(xí)慣在每個(gè)epoch里根據(jù)當(dāng)前步數(shù)去獲取當(dāng)前學(xué)習(xí)率方便日志記錄和判斷。5.2 padding掩碼與Attention的正確打開方式這個(gè)坑非常隱蔽。Attention層需要對(duì)padding位置做掩碼但掩碼來源必須是原始input_ids的padding標(biāo)記而不是經(jīng)過卷積和LSTM后的特征。原因很簡(jiǎn)單卷積會(huì)使用padding區(qū)域參與計(jì)算LSTM也會(huì)處理這些位置此時(shí)你看到的不再是原始的0或1而是被網(wǎng)絡(luò)填充過的值拿它做mask判斷根本不可靠。我習(xí)慣在模型的forward函數(shù)里直接從input_ids ! 0生成掩碼并在Attention打分之前就用masked_fill把padding位置設(shè)為負(fù)無窮。另外還要注意掩碼的廣播維度attention_scores是batch * seq_len而mask也應(yīng)該是batch * seq_len編程時(shí)不要多出一個(gè)維度。如果你發(fā)現(xiàn)加了mask之后效果反而變差了先排查是不是mask把句子中真實(shí)的邊界符號(hào)當(dāng)成了padding。比如有些文本里會(huì)保留[CLS]、[SEP]這種特殊token這些token不在詞表里會(huì)被映射成[UNK]不會(huì)被mask掉但如果你想屏蔽它們就要額外構(gòu)造特殊token mask。5.3 隨機(jī)種子與可復(fù)現(xiàn)性深度學(xué)習(xí)模型涉及大量隨機(jī)初始化、數(shù)據(jù)加載打亂、dropout采樣如果完全不固定隨機(jī)種子你會(huì)發(fā)現(xiàn)自己每次跑出來的實(shí)驗(yàn)結(jié)果都不一樣這就很難做對(duì)比實(shí)驗(yàn)。我在主訓(xùn)練腳本最前面會(huì)固定這些種子torch.manual_seed、numpy.random.seed、random.seed同時(shí)設(shè)置torch.backends.cudnn.deterministicTrue和torch.backends.cudnn.benchmarkFalse。固定種子的目的是讓同一個(gè)實(shí)驗(yàn)具備可復(fù)現(xiàn)性但跨實(shí)驗(yàn)對(duì)比時(shí)不要刻意用一個(gè)種子去跑所有模型。更好做法是每個(gè)模型在3到5個(gè)固定種子上各跑一遍然后取均值和方差。這樣模型之間的效果差異是基于平均表現(xiàn)判斷的結(jié)論更可靠。你還需要注意DataLoader里的shuffleTrue依賴的隨機(jī)源和Python的random模塊相關(guān)因此random.seed不要漏掉。另外如果你用GPU訓(xùn)練由于GPU運(yùn)算的并行特性完全復(fù)現(xiàn)比較困難但固定CPU端的種子已經(jīng)能顯著減少波動(dòng)。5.4 長(zhǎng)文本截?cái)嗯c類別不平衡處理長(zhǎng)文本截?cái)嗖呗陨衔页赃^一次虧。某次任務(wù)里句子平均長(zhǎng)度在200左右我把max_len設(shè)成了128結(jié)果相當(dāng)一部分關(guān)鍵信息被直接截掉了。后來我統(tǒng)計(jì)了一下長(zhǎng)度分布發(fā)現(xiàn)95%分位點(diǎn)是210于是把max_len改成224效果立刻漲了一大截。我的建議是在做任何模型之前先看一下訓(xùn)練集的長(zhǎng)度分布直方圖確定合理的max_len不要隨手填一個(gè)數(shù)。如果截?cái)嗪蟀l(fā)現(xiàn)長(zhǎng)尾損失嚴(yán)重還有兩個(gè)變體思路一個(gè)是對(duì)前128和后128的片段分別做編碼再融合另一個(gè)是先用BERT這類模型做片段級(jí)編碼再聚合。這兩種方案都比單純拉長(zhǎng)max_len更節(jié)省計(jì)算資源效果也更穩(wěn)。類別不平衡的問題除了在損失函數(shù)里加權(quán)還可以考慮更簡(jiǎn)單的一招按類別比例過采樣小類樣本。注意過采樣時(shí)不能簡(jiǎn)單地復(fù)制樣本要做輕微的文本擾動(dòng)比如同義詞替換、詞序交換否則模型會(huì)記住這些重復(fù)樣本的噪聲。6. 常見問題與排查實(shí)錄6.1 OOM顯存不夠用怎么辦OOM和顯存不足是最常見的訓(xùn)練崩潰原因。第一次遇到時(shí)先不要急著換小模型按下面的順序排查。最直接的辦法是把batch_size降到16甚至8如果還不行縮短max_len從256減到128這個(gè)操作對(duì)顯存的削減非常直接再不行可以考慮關(guān)閉pin_memory這是DataLoader里的一個(gè)參數(shù)。如果以上都試過還是OOM就要考慮是不是Embedding太大。vocab_size20萬、embed_dim300的Embedding層本身就占據(jù)很大的顯存開銷可以縮減詞表或降低embed_dim。還可以啟用梯度累積用兩步累積的梯度模擬一個(gè)大的batch_size這樣既可以保持較大等效batch_size又可以控制單步顯存峰值。6.2 loss不下降與梯度異常這個(gè)問題的成因很多但如果模型結(jié)構(gòu)本身能正常跑通最常見的原因是學(xué)習(xí)率不合適。學(xué)習(xí)率太大loss會(huì)在一個(gè)高位震蕩下不來學(xué)習(xí)率太小loss下降非常緩慢。我每次都會(huì)在訓(xùn)練前三個(gè)epoch打印loss如果前三個(gè)epoch內(nèi)loss完全沒有下降趨勢(shì)第一反應(yīng)就是把學(xué)習(xí)率調(diào)大或調(diào)小10倍再試。梯度異常還有一種情況Embedding層參數(shù)沒有在更新。如果你檢測(cè)到embedding.weight.grad全為零可能是padding_idx0導(dǎo)致該行梯度恒為0但其他詞位不會(huì)受影響。如果所有位置梯度都為零就要檢查是不是把requires_gradFalse誤設(shè)到了Embedding上。還有一點(diǎn)如果你在模型中添加了太多層深度加深后反向傳播的信號(hào)衰減會(huì)加劇。某個(gè)任務(wù)上我把LSTM層數(shù)從1改成3結(jié)果訓(xùn)練集loss都很難下降就是這個(gè)原因。注意觀察各層梯度的范數(shù)如果深層梯度幾乎為0就該考慮加殘差連接或者減少層數(shù)。6.3 預(yù)測(cè)傾向單一類別模型在驗(yàn)證集上準(zhǔn)確率還行但實(shí)際預(yù)測(cè)時(shí)所有樣本幾乎都輸出同一個(gè)類別這種情況在類別不平衡數(shù)據(jù)里非常常見。首先檢查訓(xùn)練集的類別分布如果某個(gè)類別占比超過90%那模型很可能會(huì)學(xué)會(huì)“偷懶”策略全部猜大類也能得到一個(gè)很高的訓(xùn)練準(zhǔn)確率。解決辦法是前面提到的類別加權(quán)損失、重采樣、或者改用Focal Loss。Focal Loss會(huì)降低易分類樣本的權(quán)重讓模型把注意力集中在難分類樣本上對(duì)緩解這種單一傾向很有效。不要只盯著驗(yàn)證集準(zhǔn)確率一定要查看混淆矩陣你會(huì)發(fā)現(xiàn)模型可能在大類上表現(xiàn)很好小類上幾乎全錯(cuò)。6.4 過擬合的判斷和處理過擬合最常見的信號(hào)是訓(xùn)練loss持續(xù)下降、驗(yàn)證loss在某個(gè)點(diǎn)后開始上升。這時(shí)不需要急著加模型正則可以先嘗試一個(gè)更便宜的方案減小模型容量。比如把num_filters從256降到128或者把LSTM的hidden_size從128改成64往往就能止住過擬合趨勢(shì)而且對(duì)效果的影響不大。如果模型容量已經(jīng)很小還過擬合則說明數(shù)據(jù)量不足以支撐復(fù)雜結(jié)構(gòu)。這時(shí)候可以考慮增加數(shù)據(jù)增強(qiáng)。文本分類的增強(qiáng)手段不像圖像那么直接但可以用同義詞替換、隨機(jī)刪除部分詞、回譯等傳統(tǒng)方法。數(shù)據(jù)量實(shí)在有限的情況加載預(yù)訓(xùn)練Embedding通常能帶來最大的提升因?yàn)樗o模型提供了先驗(yàn)的語義知識(shí)讓模型不容易只死記訓(xùn)練集的表面模式。7. 后續(xù)還能怎么擴(kuò)展7.1 從單標(biāo)簽到多標(biāo)簽單標(biāo)簽分類直接使用交叉熵但很多業(yè)務(wù)場(chǎng)景其實(shí)是多標(biāo)簽分類一條文本可以同時(shí)命中多個(gè)標(biāo)簽比如一篇新聞既屬于體育也屬于人物。這種場(chǎng)景下把模型的輸出維改成標(biāo)簽總數(shù)然后使用nn.BCEWithLogitsLoss替換交叉熵即可。注意評(píng)估指標(biāo)也要同步從F1變成多標(biāo)簽F1這個(gè)版本在sklearn里也有現(xiàn)成實(shí)現(xiàn)。Attention層在多標(biāo)簽場(chǎng)景下的優(yōu)勢(shì)更明顯因?yàn)椴煌瑯?biāo)簽關(guān)注的重點(diǎn)詞可能完全不同。如果你想讓模型給每個(gè)標(biāo)簽單獨(dú)分配注意力權(quán)重可以試試多頭注意力思路每一頭對(duì)應(yīng)一個(gè)標(biāo)簽語義輸出時(shí)用各自頭的上下文向量做分類。7.2 與預(yù)訓(xùn)練模型的融合這個(gè)模型完全可以用作預(yù)訓(xùn)練模型的下游增強(qiáng)層。比如用BERT對(duì)輸入文本編碼得到每個(gè)位置的向量表示然后把BERT的輸出接入這里的CNN-BiLSTM-Attention層。這樣做的好處是既利用了預(yù)訓(xùn)練模型強(qiáng)大的語義理解能力又通過CNN和LSTM對(duì)局部特征和序列依賴做了二次提煉。代價(jià)是訓(xùn)練時(shí)間成倍增加。我的建議是先從凍結(jié)BERT權(quán)重開始做實(shí)驗(yàn)先只訓(xùn)練下游結(jié)構(gòu)后續(xù)再解凍部分底層做微調(diào)。如果效果提升不顯著就保持凍結(jié)狀態(tài)訓(xùn)練速度快部署成本也低。7.3 位置編碼與多頭注意力如果把Attention層升級(jí)成多頭版本模型并行關(guān)注不同子空間的能力會(huì)更強(qiáng)。你可以把hidden_size * 2的向量切分成多組分別計(jì)算注意力權(quán)重再拼接起來。這種做法接近Transformer的概念但整體計(jì)算量仍然遠(yuǎn)小于完整的Transformer。另外標(biāo)準(zhǔn)Transformer里的位置編碼也可以被引入到這里。原本LSTM本身具備一定的位置感知能力但CNN和Attention并不感知詞順序加入正弦位置編碼能進(jìn)一步補(bǔ)足這個(gè)信息。這也是一個(gè)低成本、高收益的擴(kuò)展方向。我自己曾經(jīng)在某個(gè)短文本任務(wù)里加過一次位置編碼效果提升非常微弱但在長(zhǎng)文本任務(wù)里提升會(huì)更明顯一些。做完整個(gè)項(xiàng)目之后我對(duì)這個(gè)模型的體會(huì)是它不是一個(gè)炫技式的結(jié)構(gòu)而是一個(gè)把局部特征、序列依賴和關(guān)鍵信息選擇三種能力融合得很均衡的方案。如果你把它當(dāng)成一個(gè)基本功認(rèn)真把數(shù)據(jù)處理、維度對(duì)齊、調(diào)參策略這些環(huán)節(jié)都走一遍再去看更復(fù)雜的預(yù)訓(xùn)練模型時(shí)理解起來會(huì)輕松很多。最后再分享一個(gè)小技巧當(dāng)你發(fā)現(xiàn)效果不太理想時(shí)不要急著換模型先去看Attention權(quán)重到底集中在哪些詞上很多時(shí)候模型的錯(cuò)誤原因一目了然改數(shù)據(jù)比改結(jié)構(gòu)更有效。