簡介面向中文命名實體識別任務(wù)融合BERT、BiLSTM與CRF的Python實現(xiàn)方案可對中文文本中的人名、地名、組織機(jī)構(gòu)等實體進(jìn)行端到端識別包含完整源碼、項目說明、預(yù)訓(xùn)練模型與標(biāo)注數(shù)據(jù)適合計算機(jī)、人工智能等專業(yè)學(xué)生用于畢業(yè)設(shè)計、課程設(shè)計或NLP實戰(zhàn)練習(xí)。壓縮包共58個文件以16個py源碼、19個pyc編譯文件、9個txt說明為主輔以png結(jié)構(gòu)圖、md筆記、xml工程配置和csv數(shù)據(jù)整體13.75MB目錄按模型、數(shù)據(jù)處理、訓(xùn)練等模塊劃分便于按圖索驥。從現(xiàn)有瀏覽數(shù)據(jù)看已有1209人學(xué)習(xí)下載。工程內(nèi)提供BILSTM_CRF、IDCNN_CRF、BILSTM_Attention_CRF、BERT_BILSTM_CRF等多種對比模型附帶人民日報和MSRA數(shù)據(jù)集預(yù)處理腳本可直接運行訓(xùn)練與測試項目說明詳細(xì)且經(jīng)測試運行成功既適合小白逐步練習(xí)也可作為課設(shè)、畢設(shè)或初期項目立項演示能幫助深入理解NER中序列標(biāo)注、特征融合與解碼的完整流程。1. 一個zip里裝著的成熟技術(shù)棧BERTBiLSTMCRF 到底是做什么的看到“基于BERTBILSTMCRF進(jìn)行中文命名實體識別python源碼項目說明模型數(shù)據(jù).zip”這個打包名字懂行的人會先松一口氣這不是什么玩具 demo而是目前中文命名實體識別NER領(lǐng)域最經(jīng)典、最不容易翻車的三層結(jié)構(gòu)。BERT負(fù)責(zé)把每個字的語義編碼成向量BiLSTM在整句話里再做一輪上下文精修CRF在最后給標(biāo)簽序列套上合規(guī)約束。三者的關(guān)系有點像“閱讀理解 上下文潤色 校對排版”。這套技術(shù)棧能解決的具體問題很直接從一段中文文本里自動抽出人名、地名、機(jī)構(gòu)名、時間、藥品名、案件名等實體片段。對畢業(yè)設(shè)計、法律文書抽取、醫(yī)療病歷結(jié)構(gòu)化、客服工單打標(biāo)這些場景它都是最穩(wěn)的起點方案。在動手之前我要先幫你看清楚這個結(jié)構(gòu)為什么值得搭、每一步怎么落地、以及哪些地方會白白浪費你兩三天時間。2. 三層神經(jīng)網(wǎng)絡(luò)各司其職為什么非要把 BERT、BiLSTM、CRF 拼在一起2.1 中文NER難在哪邊界、歧義和嵌套中文命名實體識別和英文最大的差別在于“字”和“詞”的關(guān)系。英文里詞天然有空格分隔實體邊界基本等于詞邊界中文沒有這個天然分隔符所以中文NER通常退化成“序列標(biāo)注”問題——每個字給一個標(biāo)簽連起來才構(gòu)成實體。比如“我 在 北 京 上 班”這六個字需要給“北”“京”分別打上“B-LOC”“I-LOC”模型才能拼出“北京”這個地名。邊界還不是唯一難點。中文的歧義很要命“南京市長江大橋”既可以切成“南京市/長江大橋”也可以理解為“南京市長/江大橋”“小米上市了”里的“小米”是公司還是糧食要看句子上下文。更麻煩的是嵌套實體比如“北京大學(xué)附屬醫(yī)院”里同時存在“北京大學(xué)”和“北京大學(xué)附屬醫(yī)院”兩個實體但扁平式標(biāo)注只能選一層。所以一個能干活的NER系統(tǒng)必須同時擁有“理解語義”和“利用上下文修正”的能力這正是三層結(jié)構(gòu)存在的理由。如果把NER比作流水線BERT是看懂了全文語義的閱讀者BiLSTM是把前后文線索反復(fù)咀嚼的校稿人CRF則是最后那道不許標(biāo)簽亂跳的質(zhì)檢閘門。三層各管一段去掉任何一層效果都會肉眼可見地變差。2.2 為什么不能只用 BERT也不能只用 BiLSTMCRF先看只用BERT的情況。BERT經(jīng)過預(yù)訓(xùn)練之后每個字會得到一個帶著整句上下文信息的向量理論上可以直接把這些向量喂給一個全連接層輸出每個字屬于每種標(biāo)簽的概率。這樣做能出結(jié)果但在長句上問題很明顯BERT的解碼端沒有“記住剛才那個字是什么標(biāo)簽”的能力。比如“李華在北京工作”中“李”被識別成B-PER后下一個“華”大概率也應(yīng)該是I-PER但如果只看BERT輸出的概率向量“華”也可能被誤判成B-PER因為詞向量層面它并沒有“我是不是前一個實體的延續(xù)”這個信息。再看只用BiLSTMCRF的情況。BiLSTM能從兩個方向讀取序列信息CRF能約束標(biāo)簽轉(zhuǎn)移這套經(jīng)典組合在十年前是標(biāo)配。但它的天花板在于輸入特征如果還是用隨機(jī)初始化的字向量模型對語義的理解非常淺碰到“蘋果發(fā)布新手機(jī)”這種句子它很難把“蘋果”歸到ORG還是MISC因為沒有足夠的預(yù)訓(xùn)練知識告訴它“蘋果”在科技新聞里指公司。在實際項目中我見過不少團(tuán)隊把這三層拆開做對比實驗。結(jié)論很一致BERT單層F1大約在82-86BiLSTMCRF單跑大概在75-80三層疊加能上到90左右。差異來源主要就是“語義理解”和“標(biāo)簽序列約束”這兩個能力缺一不可。另外BERT內(nèi)部其實包含12層Transformer已經(jīng)具備很強(qiáng)的特征提取能力所以疊加的BiLSTM通?？梢宰龅脺\一些單層即可作用是對BERT輸出做一次序列級別的平滑聚合而不是重新提取特征。2.3 CRF的轉(zhuǎn)移矩陣沒有它標(biāo)簽會亂跳CRF條件隨機(jī)場在NER里的核心作用是一個詞約束。它會學(xué)習(xí)一個標(biāo)簽轉(zhuǎn)移矩陣比如“B-PER后面只能跟I-PER或者O不能直接跟B-LOC”“I-LOC前面必須是B-LOC或者I-LOC”。這種約束用代碼很難手寫全因為標(biāo)簽組合太多而CRF會從訓(xùn)練數(shù)據(jù)里自動統(tǒng)計這些轉(zhuǎn)移概率。具體來說BERTBiLSTM輸出的每個字的標(biāo)簽概率會被送入CRF層CRF會結(jié)合“當(dāng)前字的概率”和“前一個字的標(biāo)簽”這兩部分信息利用維特比算法找出整條句子最優(yōu)的標(biāo)簽路徑。舉個例子“我 在 北 京 上 班”如果沒有CRF模型可能給“北”打B-LOC、給“京”打O因為單獨看每個字“京”被識別成O的概率也不低但CRF知道“B-LOC 后面接 O”的轉(zhuǎn)移概率極低所以會把“京”強(qiáng)行糾正為I-LOC。注意CRF不是用來提升實體識別概率的它是用來壓制不合法序列的。訓(xùn)練過程中你是否正確實現(xiàn)了“損失 真實路徑分?jǐn)?shù) - log(所有路徑分?jǐn)?shù)和)”這個公式直接決定了最終實體邊界是否整齊。理解了這個原理你在調(diào)參時才不會把“CRF的學(xué)習(xí)率”和“BERT的學(xué)習(xí)率”混為一談——這是后面實操里非常關(guān)鍵的坑。3. 本地跑通最小源碼環(huán)境、數(shù)據(jù)格式與第一個訓(xùn)練循環(huán)3.1 環(huán)境準(zhǔn)備依賴與預(yù)訓(xùn)練模型下載在你打開那個zip之前先確認(rèn)機(jī)器上已經(jīng)有了最基本的Python環(huán)境。這里的要求不算苛刻Python 3.8以上就可以顯卡有的話最好沒有也能用CPU硬跑只是訓(xùn)練速度會慢很多。下面是我常用的創(chuàng)建環(huán)境命令# 創(chuàng)建獨立環(huán)境并激活避免把系統(tǒng)Python搞亂 conda create -n ner python3.8 -y conda activate ner # 安裝核心依賴按順序執(zhí)行 pip install torch --index-url https://download.pytorch.org/whl/cu118 pip install transformers4.21.3 pip install datasets pip install seqeval pip install tqdm numpy pandas說一下每個依賴為什么要裝torch是BERT和BiLSTM的底層框架transformers負(fù)責(zé)加載預(yù)訓(xùn)練模型比如bert-base-chinese注意版本不要追新4.2x系列足夠新版本API差異反而容易讓你從網(wǎng)上抄來的訓(xùn)練代碼報錯datasets用來把原始標(biāo)注文件轉(zhuǎn)成pytorch能讀的Dataset對象seqeval是專門做序列標(biāo)注評估的庫比手寫F1計算省心得多。預(yù)訓(xùn)練模型這塊是很多人卡住的地方。HuggingFace上的bert-base-chinese大約400M如果網(wǎng)絡(luò)不穩(wěn)定建議設(shè)置鏡像環(huán)境變量# Linux/Mac下執(zhí)行 pip install -U huggingface_hub export HF_ENDPOINThttps://hf-mirror.com python -c from transformers import BertTokenizer, BertModel; BertTokenizer.from_pretrained(bert-base-chinese); BertModel.from_pretrained(bert-base-chinese)提示鏡像環(huán)境變量只對當(dāng)前終端有效。如果你用pycharm跑代碼需要在運行配置里同樣把HF_ENDPOINT加進(jìn)去否則代碼里from_pretrained會重新走默認(rèn)源卡在下載。判斷預(yù)訓(xùn)練模型有沒有下載成功看緩存目錄即可。Windows默認(rèn)在C:\Users\你的用戶名\.cache\huggingface\Linux在~/.cache/huggingface/。看到模型文件完整躺在那里后面訓(xùn)練就不會再為下載來回折騰。3.2 數(shù)據(jù)標(biāo)注格式BIOES是什么意思你的數(shù)據(jù)要長什么樣中文NER的數(shù)據(jù)格式通常是“字標(biāo)簽”逐行排列不同句子之間用空行隔開。標(biāo)簽體系有BIO和BIOES兩種BIO標(biāo)簽將所有實體的第一個字標(biāo)為B-后續(xù)字標(biāo)為I-非實體標(biāo)為OBIOES在BIO基礎(chǔ)上多了E和S分別表示實體的結(jié)束字和單字實體。我在項目里優(yōu)先推薦BIOES因為它在實體邊界上的信息量更明確。舉個例子“我在北京上班”這句話的BIOES標(biāo)注長這樣我 O 在 O 北 B-LOC 京 E-LOC 上 O 班 O而“王小明去北京”這種含單字實體的句子就必須用S來標(biāo)單字人名王 S-PER 小 I-PER 明 E-PER 去 O 北 B-LOC 京 E-LOC如果你拿到的是BIO格式可以用一段小腳本轉(zhuǎn)成BIOES但轉(zhuǎn)換邏輯要小心處理“連續(xù)實體緊挨著”的情況BIO里連續(xù)兩個實體“北京上?！钡臉?biāo)注是“B-LOC I-LOC B-LOC I-LOC”轉(zhuǎn)BIOES時不能只看實體首尾必須判斷上一個字的標(biāo)簽是B還是I否則會把“北京上”誤標(biāo)成一個地名。這個轉(zhuǎn)換函數(shù)建議寫完以后用“北京市朝陽區(qū)”這種帶連續(xù)實體的句子手動驗一遍。3.3 數(shù)據(jù)讀取與標(biāo)簽對齊數(shù)據(jù)格式讀完下一步是把文本轉(zhuǎn)成模型能吃的張量。這一步是整個項目里最容易出錯的地方核心原因是BERT的tokenizer給每個漢字可能拆成多個subword片段而你的標(biāo)注是按“字”給的兩者對不上。我先展示一個最常見的數(shù)據(jù)讀取代碼然后解釋為什么要注意對齊# -*- coding: utf-8 -*- from transformers import BertTokenizer import torch MAX_LEN 128 def load_data(file_path): sentences, labels [], [] with open(file_path, r, encodingutf-8) as f: sentence, label [], [] for line in f: line line.strip() if line : if sentence: sentences.append(sentence.copy()) labels.append(label.copy()) sentence, label [], [] else: parts line.split() # 文件可能是“字 空格 標(biāo)簽”也可能用制表符 sentence.append(parts[0]) label.append(parts[-1] if len(parts) 1 else O) return sentences, labels class NERDataset(torch.utils.data.Dataset): def __init__(self, sentences, labels, tokenizer, label2id, max_len128): self.examples [] for sent, tag in zip(sentences, labels): # 關(guān)鍵點設(shè)置return_offsets_mappingTrue, 才能拿到每個subword對應(yīng)原文字符的映射 encoding tokenizer( sent, is_split_into_wordsTrue, max_lengthmax_len, truncationTrue, paddingmax_length, return_tensorspt, return_offsets_mappingTrue, ) # 標(biāo)簽對齊到subword word_ids encoding.word_ids() aligned_label [] prev_word None for word_id in word_ids: if word_id is None: aligned_label.append(-100) # 特殊token不參與loss計算 elif word_id ! prev_word: aligned_label.append(label2id[tag[word_id]]) else: # 同一個word被拆成多個subword沿用第一個標(biāo)簽 aligned_label.append(label2id[tag[word_id]]) prev_word word_id self.examples.append({ input_ids: encoding[input_ids].squeeze(), attention_mask: encoding[attention_mask].squeeze(), labels: torch.tensor(aligned_label, dtypetorch.long), }) def __len__(self): return len(self.examples) def __getitem__(self, idx): return self.examples[idx]這段代碼的關(guān)鍵在標(biāo)簽對齊邏輯。word_ids()會返回每個token對應(yīng)的原始字索引None表示CLS、SEP、PAD這些特殊token。遇到特殊token時我把標(biāo)簽設(shè)為-100這樣在計算交叉熵?fù)p失的時候PyTorch會自動忽略-100所在的位置。遇到同一個字被拆成多個subword的情況后續(xù)subword直接用第一個subword的標(biāo)簽保證標(biāo)簽不串位。注意上面的代碼里有一個容易埋雷的小地方——tokenizer的is_split_into_wordsTrue參數(shù)。如果不把句子傳成詞列表而是直接傳字符串BERT會按自己的規(guī)則重新分詞原本的“字-標(biāo)簽”對應(yīng)關(guān)系就被打亂了。我在剛開始做項目時就在這里吃過虧換句話說是“標(biāo)簽對不上”里最高頻的原因。數(shù)據(jù)集做好后按照8:1:1的比例劃分訓(xùn)練集、驗證集和測試集。劃分的時候要按句子為單位隨機(jī)打亂不能按字符打亂否則會造成同一句子的標(biāo)簽泄漏到不同集合里評估結(jié)果會虛高。4. 訓(xùn)練參數(shù)這樣調(diào)batch size、max_len 與學(xué)習(xí)率的三方權(quán)衡4.1 一套默認(rèn)能跑的參數(shù)模板模型搭建和訓(xùn)練循環(huán)看起來代碼量不小但結(jié)構(gòu)是固定的。下面是一段可以直接套用的訓(xùn)練核心代碼也是大多數(shù)NER項目的通用寫法# -*- coding: utf-8 -*- import torch from torch.utils.data import DataLoader from transformers import BertModel, BertTokenizer, AdamW, get_linear_schedule_with_warmup import torch.nn as nn class BertBiLSTMCRF(nn.Module): def __init__(self, bert_path, num_labels, lstm_hidden256): super().__init__() self.bert BertModel.from_pretrained(bert_path) self.bilstm nn.LSTM( input_sizeself.bert.config.hidden_size, hidden_sizelstm_hidden, num_layers1, bidirectionalTrue, batch_firstTrue, ) self.fc nn.Linear(lstm_hidden * 2, num_labels) self.crf nn.CRF(num_labels) # 如果使用pytorch-crf庫 def forward(self, input_ids, attention_mask, labelsNone): bert_out self.bert(input_idsinput_ids, attention_maskattention_mask) sequence_output bert_out.last_hidden_state lstm_out, _ self.bilstm(sequence_output) emissions self.fc(lstm_out) if labels is not None: loss -self.crf(emissions, labels, maskattention_mask.bool()) return loss else: return self.crf.decode(emissions, maskattention_mask.bool())這段代碼的層次關(guān)系很清晰BERT的輸出維度是768BiLSTM的hidden_size設(shè)為256雙向拼接后是512維再通過全連接層映射到標(biāo)簽數(shù)量。注意CRF層直接放在了模型內(nèi)部loss計算時取負(fù)對數(shù)似然解碼時直接調(diào)用decode方法。如果你用的不是pytorch-crf庫也可以手寫維特比算法但既然有成熟的庫我建議直接用pip install pytorch-crf裝上省時又不愛出錯。提示上面對CRF的調(diào)用基于pytorch-crf這個庫。如果你拿到手的zip里是自己實現(xiàn)的手寫CRF類注意檢查它的decode是否接收了mask參數(shù)有些舊版實現(xiàn)不接收mask在padding部分會出現(xiàn)幻覺標(biāo)簽這類問題特別隱蔽。4.2 學(xué)習(xí)率與BERT層凍結(jié)微調(diào)的重心應(yīng)該放在哪訓(xùn)練參數(shù)的首選清單看這張表參數(shù)推薦值說明batch_size16GPU/ 8CPU顯存不夠就減半不要硬扛learning_rateBERT2e-5微調(diào)預(yù)訓(xùn)練模型的標(biāo)準(zhǔn)學(xué)習(xí)率太大容易災(zāi)難性遺忘learning_rateBiLSTMCRF1e-3下游隨機(jī)初始化的層需要用更大的學(xué)習(xí)率max_len128超過128的真實句子占少數(shù)長了切掉短了補(bǔ)齊epochs20-30存best模型不需要訓(xùn)滿全部warmup_ratio0.1前10%的step線性升學(xué)習(xí)率穩(wěn)定BERT微調(diào)有關(guān)鍵設(shè)計是分組學(xué)習(xí)率。BERT層用2e-5BiLSTM和CRF這些隨機(jī)初始化的層用1e-3這兩組參數(shù)放進(jìn)同一個優(yōu)化器卻要用不同學(xué)習(xí)率。常規(guī)做法是在構(gòu)造optimizer時傳一個參數(shù)組列表# 構(gòu)造分組參數(shù)BERT層和下游層用不同學(xué)習(xí)率 optimizer_grouped_parameters [ {params: [p for n, p in model.named_parameters() if bert in n], lr: 2e-5}, {params: [p for n, p in model.named_parameters() if bert not in n], lr: 1e-3}, ] optimizer AdamW(optimizer_grouped_parameters, weight_decay0.01)還有一個常被忽略的選項是“凍結(jié)BERT的一部分層”。前幾層Transformer學(xué)習(xí)到的是通用字面特征對領(lǐng)域遷移幫助不大微調(diào)預(yù)算有限的話把第1到第8層的參數(shù)requires_gradFalse只訓(xùn)練后幾層和下游結(jié)構(gòu)往往能省一半顯存、速度提升30%以上效果只掉零點幾個點。第一次把項目跑通時我不建議凍結(jié)先全量訓(xùn)練拿到一個基線成績再說。4.3 訓(xùn)練過程的監(jiān)控指標(biāo)直接點說光看loss是不夠的。BERTBiLSTMCRF這類模型在訓(xùn)練前期loss下降很快到了第3個epoch以后loss就“玄學(xué)”了震蕩到面無波瀾但實體F1還在漲。原因是CRF的loss分母是所有可能路徑的分?jǐn)?shù)和這個值天然很大loss雖然不再好看但序列約束正在慢慢起作用。正確的監(jiān)控方式是每個epoch結(jié)束后在驗證集上計算實體級F1而不是整個標(biāo)簽級準(zhǔn)確率。標(biāo)簽級準(zhǔn)確率會被“O”標(biāo)簽主導(dǎo)模型全部預(yù)測成O也能有接近80%的準(zhǔn)確率數(shù)值毫無意義。我習(xí)慣在每個epoch跑一遍from seqeval.metrics import classification_report, f1_score def evaluate(model, dataloader, id2label): model.eval() all_true, all_pred [], [] with torch.no_grad(): for batch in dataloader: input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) true_labels batch[labels].numpy() pred model(input_ids, attention_mask) # 去掉特殊token和padding只看實際標(biāo)簽 for b_idx, word_idx in enumerate(true_labels): true_seq, pred_seq [], [] for i in range(len(word_idx)): if word_idx[i] ! -100: true_seq.append(id2label[word_idx[i]]) pred_seq.append(id2label[pred[b_idx][i]]) all_true.append(true_seq) all_pred.append(pred_seq) print(classification_report(all_true, all_pred, digits4)) return f1_score(all_true, all_pred)注意這里有兩個細(xì)節(jié)一是all_true和all_pred里存的是每句話的標(biāo)簽序列不是單個樣本的平鋪數(shù)組因為seqeval要求對每個句子分別計算實體匹配二是跑模型前先model.eval()再包torch.no_grad()否則顯存會被推理時保存的梯度撐爆。如果你希望訓(xùn)練中途自動存最好的模型可以維護(hù)一個best_f1變量每輪結(jié)束后對比一次超過就torch.save(model.state_dict(), best_model.bin)?？窟@個機(jī)制我?guī)缀鯊牟恍枰獮椤癳poch設(shè)多少”糾結(jié)。5. 避坑記錄中文NER最常見的四個翻車現(xiàn)場5.1 標(biāo)簽錯位預(yù)測結(jié)果全是對的但實體全都湊不齊現(xiàn)象模型在訓(xùn)練集上loss正常下降驗證集F1卻一直徘徊在20分以下。把預(yù)測結(jié)果打印出來發(fā)現(xiàn)每個字的標(biāo)簽看起來都有道理但組合成的實體要么缺頭、要么缺尾甚至有“I-PER”開頭的序列。原因這就是“標(biāo)簽對齊”翻車了。最常見的情況是is_split_into_words參數(shù)漏傳tokenizer把“北京”這種連續(xù)字符當(dāng)成了一個詞導(dǎo)致word_ids映射錯位原本“北B-LOC 京I-LOC”的標(biāo)簽被錯誤地跟BERT的piece一一對應(yīng)整個序列往后錯一位。還有一個變體是用了return_offsets_mappingTrue卻完全沒用它等于白拿映射做裝飾。解決在數(shù)據(jù)讀取階段把encoding[word_ids()]打印出來對照原始句子人工檢查前3條樣本。看到[None, 0, 1, 1, 2, None]這種結(jié)構(gòu)就該意識到第1和第2號字被合并成了同一個word。標(biāo)簽對齊那一段代碼不要直接復(fù)制要逐行理解后敲一遍。5.2 顯存OOM一跑就爆batch減半還是爆現(xiàn)象顯存8G的卡batch_size設(shè)16直接OOM改成8還在OOM最后改到2才勉強(qiáng)跑起來速度又慢得讓人想放棄。原因BERT本身占用不小尤其是max_len設(shè)成512時attention矩陣是平方級增長。8G顯存下batch_size16、max_len512幾乎是必爆配置。另外還有兩個隱形兇手一是paddingmax_length把短句也全補(bǔ)齊到128長度浪費大量顯存二是訓(xùn)練時沒有設(shè)置torch.cuda.empty_cache()碎片累積偶爾也會頂爆顯存。解決把max_len降到128batch_size先設(shè)8短句padding策略臨時改成paddingTrue讓每個batch內(nèi)部對齊不全局補(bǔ)齊。如果想提速可以嘗試在模型里用gradient_accumulation_steps2相當(dāng)于batch_size16但顯存占用只有8。注意梯度累積時loss要除以累積步數(shù)再回傳。5.3 預(yù)訓(xùn)練模型下載失敗每次跑到一半就卡住現(xiàn)象第一次運行BertModel.from_pretrained(bert-base-chinese)進(jìn)度條走到99%就超時或者直接報ConnectionError。重試幾次大概率仍失敗偶爾成功一次又會發(fā)現(xiàn)下載不完整。原因從HuggingFace官方源下載連接不穩(wěn)定文件接近400M中斷后緩存里的臨時文件會把后續(xù)下載也污染掉。這個問題的根源是網(wǎng)絡(luò)環(huán)境跟代碼沒有任何關(guān)系。解決換鏡像源下載在運行代碼前先執(zhí)行export HF_ENDPOINThttps://hf-mirror.comWindows在命令行里用set HF_ENDPOINThttps://hf-mirror.compycharm需要重啟kernel讓環(huán)境變量生效。如果鏡像也出問題先手動把模型文件下載到本地目錄然后在代碼里指定本地路徑model BertModel.from_pretrained(./chinese_bert_wwm_ext_pytorch/) tokenizer BertTokenizer.from_pretrained(./chinese_bert_wwm_ext_pytorch/)用本地路徑加載時目錄下面至少要包含config.json、pytorch_model.bin、vocab.txt三個文件缺一不可。這也是你從別人那里拷來預(yù)訓(xùn)練模型時最愛踩的坑——他們給你的是一個壓縮包你解壓后發(fā)現(xiàn)缺了vocab.txt代碼跑不了一點。5.4 每個類別的F1差距離譜O標(biāo)簽主導(dǎo)真實實體幾乎被淹沒現(xiàn)象訓(xùn)練20個epoch驗證集標(biāo)簽準(zhǔn)確率96%但entity-level的F1只有55。翻看classification_report發(fā)現(xiàn)模型把幾乎所有token都預(yù)測成了O。原因數(shù)據(jù)里實體占比太少。一個典型的法律文書里“當(dāng)事人”段落人名集中但全文正文大量是“O”標(biāo)簽如果按句子隨機(jī)劃分?jǐn)?shù)據(jù)集可能出現(xiàn)實體稀疏到?jīng)]法學(xué)的局面。更深層的原因是類別不均衡在序列標(biāo)注里被滾動放大了O標(biāo)簽在每個位置都成為超高先驗概率。解決這個現(xiàn)象要從數(shù)據(jù)配比入手。先把實體密度實體字符數(shù)/總字符數(shù)打印出來如果低于10%要考慮換數(shù)據(jù)源或調(diào)整驗證集劃分方式。其次可以在損失函數(shù)里給非O標(biāo)簽更大的權(quán)重但我直接說結(jié)果——調(diào)權(quán)重只能提升1-2個點治標(biāo)不治本。更正經(jīng)的辦法是引入真實實體詞典做注入或者在預(yù)測階段限制維特比解碼器禁止出現(xiàn)I開頭和孤立的E標(biāo)簽。用代碼實現(xiàn)的話前者是在訓(xùn)練前標(biāo)記詞典命中詞的位置并替換那些位置的loss權(quán)重后者是自定義CRF約束條件普通項目用不到那么深。6. 從訓(xùn)練到推理把模型接進(jìn)真實文本的批量預(yù)測鏈路6.1 加載權(quán)重做單句預(yù)測訓(xùn)練結(jié)束后best_model.bin就是全部成果。加載它做推理時最容易被坑的一點是必須用和訓(xùn)練時完全一樣的tokenizer配置和標(biāo)簽映射表。下面這段代碼是我的標(biāo)準(zhǔn)推理模板# -*- coding: utf-8 -*- from transformers import BertTokenizer import torch def predict_single(text, model, tokenizer, id2label, max_len128): model.eval() # 逐字拆成列表和訓(xùn)練時的is_split_into_words保持完全一致 chars list(text) encoding tokenizer( chars, is_split_into_wordsTrue, max_lengthmax_len, truncationTrue, return_tensorspt, ) with torch.no_grad(): pred_ids model(encoding[input_ids], encoding[attention_mask])[0] # pred_ids是token級別的需要過濾掉特殊token再映射回原文 word_ids encoding.word_ids() entities [] current_entity None for token_id, word_id in enumerate(word_ids): if word_id is None: continue label id2label[pred_ids[token_id]] char chars[word_id] if label.startswith(B-): if current_entity is not None: entities.append(current_entity) current_entity {text: char, label: label[2:], start: word_id, end: word_id} elif label.startswith(I-) and current_entity is not None and current_entity[label] label[2:]: current_entity[text] char current_entity[end] word_id elif label.startswith(E-) and current_entity is not None and current_entity[label] label[2:]: current_entity[text] char current_entity[end] word_id entities.append(current_entity) current_entity None else: if current_entity is not None: entities.append(current_entity) current_entity None if current_entity is not None: entities.append(current_entity) # 去重避免S和B-E并存時重復(fù)輸出 return {text: text, entities: entities}這段推理邏輯最核心的地方在于按B-、I-、E-的標(biāo)簽順序來拼裝實體。注意幾個邊界條件遇到O必須立刻結(jié)束當(dāng)前實體遇到新實體緊挨著舊實體比如一個B-PER后面直接跟一個B-LOC要先把舊實體落盤再開新實體。如果你的標(biāo)簽體系是BIO而不是BIOES格式判斷邏輯要相應(yīng)簡化——但要小心“I實體跨界”的問題也就是I-PER后面接I-LOC這種情況只能靠CRF在訓(xùn)練時從數(shù)據(jù)里學(xué)到轉(zhuǎn)移懲罰推理代碼里沒法徹底兜底。6.2 把實體序列映射回原文字符位置訓(xùn)練時的tokenizer給定的是一個list輸出predict_single里的start/end已經(jīng)是原始字符下標(biāo)了。但如果你想對一整段長文本做批量識別先切句再逐句推理必須記錄每個句子在原段落里的偏移量否則所有實體的start/end都是從0開始的。# 簡單的切句與偏移量對齊策略 import re def segment_with_offset(text): segments [] offset 0 for sent in re.split(r([。]), text): if not sent.strip(): continue segments.append((sent, offset)) offset len(sent) return segments def predict_long_text(text, model, tokenizer, id2label): result [] for sent, offset in segment_with_offset(text): pred predict_single(sent, model, tokenizer, id2label) for ent in pred[entities]: result.append({ text: ent[text], label: ent[label], start: ent[start] offset, end: ent[end] offset, }) return result這個方案只是按標(biāo)點切句如果你處理的文本是PDF抽取出來的注意整段文本因為換行符被切碎的問題——遇到換行符時先做拼接再切句。還有offset的累加邏輯必須基于原始字符串的字符數(shù)不能基于去空格后的文本否則最終位置全部錯位。6.3 用測試集衡量真實召回最后一件事不是寫代碼而是用你的測試集做一次全量推理并看一眼錯誤樣例。我見過太多人訓(xùn)練完只看訓(xùn)練集F1這一看不要緊上線發(fā)現(xiàn)真實文本里大量實體漏檢。正確的姿勢是把測試集的預(yù)測結(jié)果和真實標(biāo)簽逐句打印出來對照閱讀漏檢的句子大多長什么樣是實體長度普遍超過10個字還是大量嵌套結(jié)構(gòu)誤報的實體集中在哪幾個類別比如把“華為”預(yù)測成PER還是ORG模型在短句上的表現(xiàn)和長句上的差異是否巨大對于長實體識別率低的現(xiàn)象最簡單的補(bǔ)救是提高max_len上限到192或256因為BERT在長文本上的注意力分配會稀釋尾部的字符特征。如果仍然無法根治就要考慮對實體做重疊窗口推理——把長文本切出部分重疊的窗口分別預(yù)測再合并結(jié)果合并時以重疊區(qū)域的投票結(jié)果為準(zhǔn)。我自己的習(xí)慣是每個實驗跑完后都把最好的checkpoint單獨保存一份把對應(yīng)的tokenizer和label映射表打個zip放在旁邊日期寫清楚。因為幾周后再回來你大概率會忘記自己的label2id順序是什么忘掉的后果就是推理結(jié)果整個亂了套而且很難定位。保留好一份完整的“模型配置數(shù)據(jù)劃分seed”是這個方向里最實在的后悔藥。這個技術(shù)棧看起來很重但從數(shù)據(jù)準(zhǔn)備好到訓(xùn)出一個能用的模型通常只需要一個晚上。你踩過的坑會讓下一個跑這個項目的人少走很多彎路希望幫到你。本文還有配套的精品資源點擊獲取