前些天和一位做產(chǎn)品經(jīng)理的朋友聊到大語(yǔ)言模型他拋來(lái)一句話(huà)“說(shuō)到底不就是個(gè)更聰明的聊天機(jī)器人嘛能聊聊天、寫(xiě)寫(xiě)文案還能翻出什么花來(lái)”我當(dāng)場(chǎng)就搖頭。用了這么久的大模型如果還把它定位成聊天機(jī)器人那對(duì)“語(yǔ)言模型”這四個(gè)字的誤解可就太深了。它真正讓人興奮的地方在于“語(yǔ)言”這個(gè)載體本身——理解、生成、轉(zhuǎn)換信息的能力一旦被通用化能做的事情遠(yuǎn)不止陪人聊天。這篇是“語(yǔ)言模型揭秘”系列的第一篇我打算先把最核心的認(rèn)知框架給大家搭起來(lái)它到底是什么、為什么能超越聊天機(jī)器人、底層原理是怎么運(yùn)轉(zhuǎn)的、訓(xùn)練過(guò)程經(jīng)歷了什么以及我們實(shí)際使用和評(píng)估時(shí)最容易踩的坑。如果你是在做開(kāi)發(fā)、做產(chǎn)品或者只是好奇這玩意兒的工作原理這篇都能幫你從“用過(guò)”進(jìn)階到“理解”。之后再有第二篇、第三篇就可以往更細(xì)的架構(gòu)、部署和行業(yè)應(yīng)用里鉆了。1. 超越聊天機(jī)器人它到底超越了哪里1.1 聊天機(jī)器人是界面不是本質(zhì)傳統(tǒng)意義上的聊天機(jī)器人不管是早期網(wǎng)頁(yè)右下角彈出的客服小窗還是電話(huà)語(yǔ)音助手核心邏輯基本都是“規(guī)則 檢索”。開(kāi)發(fā)者先定義好意圖再寫(xiě)好回復(fù)話(huà)術(shù)用戶(hù)說(shuō)“我要查快遞”系統(tǒng)匹配到“查快遞”意圖然后去數(shù)據(jù)庫(kù)里拉物流信息按模板拼出一句話(huà)。整個(gè)過(guò)程是確定的、預(yù)設(shè)的、可窮舉的。大語(yǔ)言模型不是這個(gè)路子。它不需要你預(yù)先定義意圖列表也沒(méi)有寫(xiě)死的回復(fù)模板。你給它一段話(huà)它根據(jù)自己從海量文本里學(xué)到的語(yǔ)言規(guī)律逐字逐句“生成”后面的內(nèi)容。這個(gè)差別特別關(guān)鍵前者是“查答案”后者是“寫(xiě)答案”。查答案的天花板在于數(shù)據(jù)庫(kù)里有什么寫(xiě)答案的天花板在于這個(gè)模型對(duì)世界知識(shí)的理解深度和語(yǔ)言組織能力。打個(gè)比方。傳統(tǒng)聊天機(jī)器人像一本帶目錄的說(shuō)明書(shū)你得按章節(jié)去找內(nèi)容找不到就沒(méi)辦法了。語(yǔ)言模型像一個(gè)讀過(guò)很多書(shū)的助手你問(wèn)的時(shí)候它沒(méi)法翻書(shū)但它腦子里已經(jīng)裝了很多東西會(huì)根據(jù)你的問(wèn)題當(dāng)場(chǎng)組織語(yǔ)言回答你。哪怕問(wèn)題它沒(méi)見(jiàn)過(guò)也能根據(jù)理解給出合理反饋。1.2 語(yǔ)言模型真正強(qiáng)在“語(yǔ)言任務(wù)的一體化”過(guò)去做聊天機(jī)器人你其實(shí)做的是一個(gè)機(jī)器客服。但語(yǔ)言模型能做的是把各種語(yǔ)言任務(wù)全部裝進(jìn)同一個(gè)模型里執(zhí)行翻譯一段英文合同它行寫(xiě)一段Python代碼它行把會(huì)議紀(jì)要提煉成待辦事項(xiàng)它行把雜亂日志里的關(guān)鍵錯(cuò)誤信息提取成結(jié)構(gòu)化字段它行模擬某個(gè)角色的語(yǔ)氣寫(xiě)一封回信它也行這些任務(wù)如果放在過(guò)去每一個(gè)都需要單獨(dú)搭一套系統(tǒng)、訓(xùn)練一個(gè)模型?，F(xiàn)在你只需要一個(gè)語(yǔ)言模型換換提示詞就能在不同任務(wù)之間橫跳。我見(jiàn)過(guò)有開(kāi)發(fā)者把語(yǔ)言模型直接用作公司內(nèi)部的信息抽取引擎一周內(nèi)把幾千份發(fā)票的品名、金額、稅號(hào)全抽了出來(lái)以前這活需要一個(gè)外包小組干半個(gè)月。1.3 “語(yǔ)言模型”這個(gè)名字本身就說(shuō)明了目標(biāo)你仔細(xì)品一下“語(yǔ)言模型”這個(gè)名字。它沒(méi)有被叫做“問(wèn)答模型”或者“聊天模型”因?yàn)樗膶W(xué)習(xí)目標(biāo)從來(lái)就不是“如何聊天”而是“如何像人一樣理解和生成語(yǔ)言”?！傲奶臁敝皇钦Z(yǔ)言能力的一個(gè)應(yīng)用出口而且是門(mén)檻最低的那一個(gè)。真正值錢(qián)的是模型內(nèi)部對(duì)語(yǔ)言結(jié)構(gòu)、事實(shí)知識(shí)、邏輯關(guān)系的分布式表達(dá)。理解到這一層你才算摸到了“超越聊天機(jī)器人”的門(mén)檻。2. 它的核心原理把語(yǔ)言變成概率的算術(shù)題2.1 預(yù)測(cè)下一個(gè)詞這是一切的起點(diǎn)如果你只從語(yǔ)言模型里記住一個(gè)公式那就是P(下一個(gè)詞 | 前面的詞)。模型訓(xùn)練時(shí)干的事簡(jiǎn)單說(shuō)就是不斷根據(jù)前面的內(nèi)容去預(yù)測(cè)下一個(gè)詞出現(xiàn)得對(duì)不對(duì)。比如給模型看一句話(huà)“我今天中午吃了____”正確答案是“飯”的概率大于“坦克”它會(huì)不斷調(diào)整內(nèi)部參數(shù)讓“飯”的概率更高。這個(gè)邏輯看起來(lái)簡(jiǎn)單得過(guò)分但它非常強(qiáng)大。因?yàn)橹灰邦A(yù)測(cè)下一個(gè)詞”足夠準(zhǔn)模型就可以自己寫(xiě)文章它寫(xiě)完“我今天中午吃了”之后根據(jù)概率挑一個(gè)詞“飯”然后繼續(xù)預(yù)測(cè)“味道不錯(cuò)”再接著預(yù)測(cè)。一個(gè)詞接一個(gè)詞一段完整的輸出就出來(lái)了。所謂“生成”本質(zhì)上是機(jī)械式地反復(fù)執(zhí)行“預(yù)測(cè) → 采樣 → 再預(yù)測(cè)”這個(gè)過(guò)程。2.2 Token模型眼里的文字和你眼里的不一樣很多人第一次用模型時(shí)都會(huì)數(shù)錯(cuò)字符因?yàn)槟Ｐ透静皇前础白帧眮?lái)理解文本的而是按“詞元”。中文里一個(gè)“詞”可能是一個(gè)詞元也可能是幾個(gè)字拼成一個(gè)詞元。比如“自然語(yǔ)言處理”這六個(gè)字分詞后會(huì)變成“自然”“語(yǔ)言”“處理”這樣的詞元組合。不同詞的拆分策略由“詞表”決定模型一開(kāi)始訓(xùn)練時(shí)就鎖定了這套規(guī)則。這也解釋了為什么上下文窗口的數(shù)字那么重要。標(biāo)稱(chēng)“8K上下文”的意思是說(shuō)模型最多只能同時(shí)“看到”八千個(gè)詞元左右不是八千個(gè)漢字更不是八千個(gè)中文字符。你輸入的內(nèi)容再多也只能截取一部分交給模型超了的就被丟在窗口外模型完全不知道它存在。后面講長(zhǎng)文本應(yīng)用時(shí)這個(gè)細(xì)節(jié)會(huì)頻繁出來(lái)坑人。2.3 自注意力機(jī)制模型閱讀時(shí)一直在“回看”Transformer架構(gòu)里的自注意力機(jī)制是整個(gè)模型的發(fā)動(dòng)機(jī)。我用大白話(huà)講模型處理每個(gè)詞的時(shí)候不是孤立地看這個(gè)詞而是會(huì)去“回看”前面所有詞并且動(dòng)態(tài)判斷哪些詞對(duì)理解當(dāng)前這個(gè)詞有幫助。比如看到“蘋(píng)果”這個(gè)詞如果前面的內(nèi)容是“喬布斯發(fā)布了一款叫iPhone的蘋(píng)果手機(jī)”那么“蘋(píng)果”大概率指公司如果前面的內(nèi)容是“昨天買(mǎi)的水果里有一個(gè)蘋(píng)果”那就是指水果。模型通過(guò)注意力分?jǐn)?shù)給不同位置的詞賦予不同權(quán)重從而在上下文中準(zhǔn)確理解“蘋(píng)果”的含義。這種能力就是我前面說(shuō)的“理解”本質(zhì)上是把上下文信息動(dòng)態(tài)編碼進(jìn)每一個(gè)詞元里。實(shí)際模型里有幾十層這樣的注意力計(jì)算層層疊加之后它甚至可以捕獲相隔幾千詞之間的關(guān)聯(lián)。長(zhǎng)距離依賴(lài)比如前面埋了一個(gè)伏筆幾百字后才用到對(duì)傳統(tǒng)模型是大難題對(duì)帶注意力的Transformer卻是基礎(chǔ)能力。2.4 能力“涌現(xiàn)”和規(guī)模的關(guān)系為什么模型小的時(shí)候只會(huì)胡言亂語(yǔ)模型大到一定程度突然就能寫(xiě)代碼、做推理了這個(gè)現(xiàn)象叫“涌現(xiàn)”。它不是開(kāi)發(fā)者故意設(shè)計(jì)出來(lái)的而是參數(shù)規(guī)模、數(shù)據(jù)規(guī)模、計(jì)算規(guī)模堆到某個(gè)臨界點(diǎn)之后模型內(nèi)部自發(fā)形成了一些高層次能力。我自己是這么理解的小模型像一個(gè)小型工具箱里面只有扳手和螺絲刀很多活干不了。當(dāng)你把工具箱擴(kuò)充成大型車(chē)間各種工具開(kāi)始互相配合就能完成整條流水線(xiàn)的工作。語(yǔ)言模型在超大參數(shù)下會(huì)自發(fā)學(xué)會(huì)“分解任務(wù)”“類(lèi)比推理”“舉一反三”這類(lèi)原先被認(rèn)為只有人類(lèi)才有的能力。這也是為什么2022年之后大模型成了唯一主線(xiàn)因?yàn)轶w量小一點(diǎn)的模型再努力也夠不到那條質(zhì)變曲線(xiàn)。3. 訓(xùn)練一個(gè)語(yǔ)言模型的三個(gè)階段3.1 預(yù)訓(xùn)練從海量文本里“泛讀”模型剛出生時(shí)內(nèi)部參數(shù)是隨機(jī)值連一句完整的話(huà)都輸出不了。第一階段叫預(yù)訓(xùn)練目標(biāo)是讓模型學(xué)會(huì)“像人話(huà)”。做法是喂給它天文數(shù)字級(jí)別的文本——書(shū)籍、論文、網(wǎng)頁(yè)、代碼、論壇、百科所有這些內(nèi)容整理清洗后按批次輸入模型然后讓它不斷做前面說(shuō)的“預(yù)測(cè)下一個(gè)詞”的任務(wù)。這個(gè)階段有幾個(gè)關(guān)鍵詞數(shù)據(jù)規(guī)模、參數(shù)量、算力。一個(gè)中等模型可能喂了萬(wàn)億級(jí)詞元的數(shù)據(jù)在幾千張加速卡上跑幾個(gè)月。我常跟朋友說(shuō)預(yù)訓(xùn)練其實(shí)就是在做“語(yǔ)感培養(yǎng)”類(lèi)似你讓一個(gè)人泡在海量書(shū)堆里閱讀不求他記住每個(gè)細(xì)節(jié)只求他說(shuō)出來(lái)的話(huà)、寫(xiě)出來(lái)的句子符合人類(lèi)表達(dá)習(xí)慣。這個(gè)階段模型已經(jīng)能續(xù)寫(xiě)文本、補(bǔ)全句子但它還不能回答問(wèn)題——因?yàn)樗粚W(xué)會(huì)了“接著寫(xiě)”沒(méi)學(xué)會(huì)“一問(wèn)一答”。3.2 指令微調(diào)把“會(huì)說(shuō)話(huà)”變成“會(huì)應(yīng)答”GPT這種模型最開(kāi)始面世時(shí)大家發(fā)現(xiàn)它會(huì)聊天但很容易答非所問(wèn)因?yàn)樗哪J(rèn)行為是“續(xù)寫(xiě)”而不是“精準(zhǔn)回應(yīng)”。于是第二階段來(lái)了叫指令微調(diào)。做法是構(gòu)造大量“用戶(hù)指令 理想回答”這樣的配對(duì)數(shù)據(jù)讓模型學(xué)習(xí)當(dāng)人類(lèi)像這樣說(shuō)時(shí)我應(yīng)該這樣答。這些數(shù)據(jù)一部分是人工寫(xiě)的一部分來(lái)自對(duì)已有文本的改寫(xiě)重組。微調(diào)時(shí)模型依然在做“預(yù)測(cè)下一個(gè)詞”但這次給它看的是標(biāo)準(zhǔn)的問(wèn)答句式它需要學(xué)會(huì)的是“回應(yīng)一段指令”的格式。我打個(gè)比方預(yù)訓(xùn)練階段像是教人讀書(shū)識(shí)字指令微調(diào)階段像是教人聽(tīng)懂問(wèn)題、組織答案。這兩個(gè)階段缺一不可跳過(guò)微調(diào)的模型用起來(lái)會(huì)非常“飄”你問(wèn)它問(wèn)題它給你續(xù)寫(xiě)一段小說(shuō)純屬牛頭不對(duì)馬嘴。3.3 人類(lèi)反饋對(duì)齊讓回答更符合“心坎”前兩個(gè)階段之后模型已經(jīng)能回答問(wèn)題但回答質(zhì)量的“口味”還不夠好。有的回答啰嗦有的答非所問(wèn)有的雖然沒(méi)毛病但就是讓人不舒服。第三階段叫人類(lèi)反饋對(duì)齊核心思路是讓人來(lái)打分把“什么是好回答”教給模型。具體做法一般是針對(duì)同一個(gè)問(wèn)題讓模型生成多個(gè)候選回答然后標(biāo)注者對(duì)這些回答排序——第一個(gè)最好第二個(gè)其次第三個(gè)最差。這些排序數(shù)據(jù)再用來(lái)訓(xùn)練一個(gè)“獎(jiǎng)勵(lì)模型”獎(jiǎng)勵(lì)模型學(xué)會(huì)判斷答案好壞之后再反過(guò)來(lái)指導(dǎo)語(yǔ)言模型調(diào)整自己的輸出讓它盡量生成那些排序靠前的答案。這一套流程下來(lái)模型不僅知道“怎么說(shuō)對(duì)”還知道“怎么說(shuō)好”。注意不同模型的“對(duì)齊”程度差異很大。有些模型能力很強(qiáng)但你總覺(jué)得它油腔滑調(diào)有些模型能力一般但回答老老實(shí)實(shí)。這就是各家在對(duì)齊策略和數(shù)據(jù)上側(cè)重點(diǎn)不同導(dǎo)致的。3.4 三個(gè)階段橫向?qū)Ρ入A段核心目標(biāo)輸入數(shù)據(jù)訓(xùn)練方式產(chǎn)生的能力預(yù)訓(xùn)練學(xué)會(huì)語(yǔ)言規(guī)律海量文本/代碼自監(jiān)督預(yù)測(cè)下一個(gè)詞續(xù)寫(xiě)、語(yǔ)言理解基礎(chǔ)指令微調(diào)學(xué)會(huì)問(wèn)答交互人工編寫(xiě)的指令-回答對(duì)監(jiān)督式微調(diào)聽(tīng)懂問(wèn)題、組織回答對(duì)齊學(xué)會(huì)符合人類(lèi)偏好人工排序的答案質(zhì)量數(shù)據(jù)獎(jiǎng)勵(lì)模型策略?xún)?yōu)化輸出更自然、更可靠三個(gè)階段層層遞進(jìn)缺了哪一環(huán)最后的產(chǎn)品體驗(yàn)都會(huì)出問(wèn)題。比如只有預(yù)訓(xùn)練沒(méi)有微調(diào)模型就是個(gè)文本補(bǔ)全工具有了微調(diào)沒(méi)有對(duì)齊回答質(zhì)量參差不齊。4. 怎么“用”語(yǔ)言模型從提問(wèn)到評(píng)估的實(shí)操心法4.1 提示詞的本質(zhì)是“設(shè)定條件”你寫(xiě)的每一句提示詞本質(zhì)上是模型接下來(lái)生成內(nèi)容的“前綴條件”。前面說(shuō)過(guò)模型是條件概率生成器它只能根據(jù)你提供的上下文推導(dǎo)后續(xù)內(nèi)容。所以提示詞寫(xiě)得好不好直接決定了輸出的上限。我見(jiàn)過(guò)一個(gè)很典型的對(duì)比。有人問(wèn)“幫我寫(xiě)個(gè)方案”模型給出來(lái)一段非?？辗旱哪０逵腥藛?wèn)“幫我寫(xiě)一份面向初創(chuàng)團(tuán)隊(duì)的季度內(nèi)容運(yùn)營(yíng)方案預(yù)算三萬(wàn)重點(diǎn)放在公眾號(hào)和小紅書(shū)要求包含目標(biāo)拆解、選題日歷、KPI和風(fēng)險(xiǎn)提示”模型給出來(lái)的方案直接能拿去和同事過(guò)會(huì)。區(qū)別就在于后者給足了“條件”受眾人群、預(yù)算、渠道、結(jié)構(gòu)要求。模型能基于這些條件做概率篩選自然輸出更有針對(duì)性。我在實(shí)際使用中的經(jīng)驗(yàn)是寫(xiě)提示詞時(shí)先把自己代入“給實(shí)習(xí)生布置任務(wù)”的角色。你會(huì)不會(huì)只跟實(shí)習(xí)生說(shuō)“寫(xiě)個(gè)方案”不會(huì)。你會(huì)告訴他背景、邊界、格式和驗(yàn)收標(biāo)準(zhǔn)。那就應(yīng)該用同樣的標(biāo)準(zhǔn)去“布置”模型任務(wù)。4.2 模型參數(shù)的幾個(gè)坑大多數(shù)人用模型沒(méi)碰過(guò)參數(shù)但如果你想做批量處理或者嵌到系統(tǒng)里下面幾個(gè)參數(shù)就繞不開(kāi)了溫度控制輸出的隨機(jī)性。溫度越高模型越喜歡挑一些低概率但更“花哨”的詞輸出更多變溫度越低越傾向于挑最高概率的詞輸出更穩(wěn)定保守。做抽取、分類(lèi)、代碼生成溫度設(shè)到0.2以?xún)?nèi)比較靠譜寫(xiě)文案做創(chuàng)意可以放到0.8以上。top_p一種更精細(xì)的采樣子集控制。模型生成時(shí)會(huì)先選出候選詞再按概率累計(jì)到某個(gè)閾值只在這個(gè)范圍內(nèi)采樣。一般和溫度二選一調(diào)別同時(shí)往狠里改不然輸出會(huì)忽高忽低。最大長(zhǎng)度限制輸出詞元數(shù)量。很多人發(fā)現(xiàn)模型回答“戛然而止”大概率是這個(gè)值設(shè)得太低不是模型崩了。系統(tǒng)提示詞設(shè)定模型整體角色和行為準(zhǔn)則。它是長(zhǎng)期存在的“人格背景”比用戶(hù)輸入的指令更穩(wěn)定。做客服機(jī)器人時(shí)最好把公司政策、拒答話(huà)術(shù)、語(yǔ)氣要求都寫(xiě)進(jìn)系統(tǒng)提示詞里而不是讓用戶(hù)消息去帶節(jié)奏。4.3 怎么客觀評(píng)估一個(gè)語(yǔ)言模型我踩過(guò)最深的坑就是憑感覺(jué)試模型。某個(gè)模型聊起來(lái)感覺(jué)不錯(cuò)真到批量處理文檔時(shí)發(fā)現(xiàn)提取格式一會(huì)兒帶括號(hào)一會(huì)兒不帶穩(wěn)定性差得離譜。后來(lái)學(xué)乖了做任何選型之前先跑一套固定的評(píng)估集。具體的做法不復(fù)雜準(zhǔn)備覆蓋不同任務(wù)的測(cè)試集每個(gè)任務(wù)固定好提示詞模板對(duì)候選模型輸出同一批問(wèn)題然后人工或半自動(dòng)地核對(duì)結(jié)果?？梢詫?xiě)一個(gè)小腳本把結(jié)果統(tǒng)一存成表格再逐項(xiàng)打分。我貼一個(gè)極簡(jiǎn)的評(píng)估腳本思路tasks { 信息抽取: 從下面文本中提取日期、金額、聯(lián)系人用JSON返回。\n文本{}, 邏輯推理: 小明有10個(gè)蘋(píng)果給了小紅3個(gè)又買(mǎi)了5個(gè)現(xiàn)在有幾個(gè), 代碼生成: 寫(xiě)一個(gè)Python函數(shù)輸入字符串列表返回按長(zhǎng)度排序后的新列表。, } for model_name, model_api in candidate_models.items(): for task_name, prompt_template in tasks.items(): output model_api.generate(prompt_template.format(test_text)) # 在這里記錄輸出結(jié)果人工或規(guī)則判定是否合格這套方法雖然樸素但可以避免“哎呀這個(gè)模型好聰明”的主觀誤判。評(píng)估時(shí)我會(huì)特別看三件事格式是否穩(wěn)定、邊界場(chǎng)景是否得體、同樣的輸入跑兩次結(jié)果是否一致。尤其是最后一點(diǎn)很多模型在低溫度下依然有隨機(jī)性如果兩次結(jié)果差異很大對(duì)接業(yè)務(wù)系統(tǒng)就很危險(xiǎn)。5. 容易踩的認(rèn)知誤區(qū)從幻覺(jué)到萬(wàn)能論5.1 幻覺(jué)不是bug是工作方式幾乎每個(gè)剛接觸語(yǔ)言模型的人都會(huì)吐槽“它怎么一本正經(jīng)地胡說(shuō)八道”這個(gè)現(xiàn)象叫幻覺(jué)就是模型生成了一段語(yǔ)法通順、語(yǔ)氣自信、但內(nèi)容完全不對(duì)的文本。你要明白模型的目標(biāo)是“生成概率最高的文本”不是“檢索事實(shí)”。它沒(méi)有我們想象中的“知識(shí)庫(kù)查詢(xún)”動(dòng)作你問(wèn)它“某公司去年的營(yíng)收是多少”它是在憑語(yǔ)言規(guī)律推斷這段文本應(yīng)該長(zhǎng)什么樣而不是去查一個(gè)事實(shí)數(shù)據(jù)庫(kù)。所以當(dāng)模型對(duì)某件事的把握不足時(shí)它依然會(huì)硬寫(xiě)一個(gè)看起來(lái)合理的答案。這不是它不老實(shí)而是它的運(yùn)行機(jī)制決定的。應(yīng)對(duì)方法也很直白涉及關(guān)鍵事實(shí)、數(shù)字、法規(guī)類(lèi)問(wèn)題一定要讓模型給你引用的原始內(nèi)容或者直接在答案前標(biāo)注“僅供參考”更流程化的做法是引入檢索增強(qiáng)先檢索資料再讓模型基于資料做總結(jié)而不是裸奔式提問(wèn)。5.2 上下文窗口不是內(nèi)存很多人以為標(biāo)稱(chēng)“128K上下文”就等于模型能完美處理一本三百頁(yè)的書(shū)。實(shí)際用下來(lái)會(huì)發(fā)現(xiàn)喂進(jìn)去長(zhǎng)文本之后模型會(huì)遺漏中段細(xì)節(jié)有時(shí)甚至開(kāi)始復(fù)讀開(kāi)頭內(nèi)容。原因在于注意力機(jī)制雖然能處理長(zhǎng)距離依賴(lài)但距離越長(zhǎng)信息分散越嚴(yán)重模型對(duì)早期內(nèi)容的“記憶”會(huì)逐漸衰減。我處理長(zhǎng)文檔的常規(guī)做法很樸素把文檔按章節(jié)拆開(kāi)每段內(nèi)容分別做摘要再把摘要匯總成全局概覽?；蛘哚槍?duì)某個(gè)具體問(wèn)題只把文檔中和問(wèn)題最相關(guān)的那幾段喂給模型而不是一股腦把全文都塞進(jìn)去。上下文窗口只是“能裝多少”的問(wèn)題和“能記住多少”是兩個(gè)維度別混為一談。5.3 開(kāi)源模型和商業(yè)接口的取舍很多小團(tuán)隊(duì)一上來(lái)就糾結(jié)自己部署開(kāi)源模型好還是直接調(diào)用商業(yè)接口好我建議先看三件事數(shù)據(jù)敏感程度、預(yù)算、人力。如果數(shù)據(jù)涉及用戶(hù)隱私、合同條款、核心技術(shù)放在外部接口上心理壓力會(huì)很大自己部署更穩(wěn)。如果只是做原型驗(yàn)證、文案生成接口成本低效果還好完全沒(méi)必要折騰自建。維度商業(yè)接口自部署開(kāi)源模型成本按量付費(fèi)快速啟動(dòng)硬件成本高需要運(yùn)維效果通常更強(qiáng)、迭代快取決于選用哪個(gè)模型數(shù)據(jù)隱私數(shù)據(jù)出域需要謹(jǐn)慎數(shù)據(jù)本地可控性強(qiáng)定制空間有限只能靠提示詞可以微調(diào)、蒸餾、改造人力要求幾乎為零需要算法/部署工程師沒(méi)有絕對(duì)的好壞只有適不適合。我見(jiàn)過(guò)好幾個(gè)團(tuán)隊(duì)先調(diào)接口驗(yàn)證需求驗(yàn)證通過(guò)后再找開(kāi)源模型做私有化部署這條路徑最穩(wěn)。6. 既然“超越聊天”還能做什么6.1 代碼與結(jié)構(gòu)化文本生成現(xiàn)在很多開(kāi)發(fā)者已經(jīng)把語(yǔ)言模型嵌進(jìn)日常開(kāi)發(fā)流里讓它把自然語(yǔ)言描述轉(zhuǎn)成SQL查詢(xún)、把一段需求生成單元測(cè)試、把錯(cuò)誤日志翻譯成人話(huà)排查建議。它的強(qiáng)項(xiàng)是“從非結(jié)構(gòu)化描述跳到結(jié)構(gòu)化表達(dá)”這在傳統(tǒng)編程里是需要專(zhuān)門(mén)寫(xiě)解析器的。我舉個(gè)例子。以前要從幾十條日志里挑出報(bào)錯(cuò)原因你得寫(xiě)正則匹配、堆棧分析?，F(xiàn)在你可以把日志片段直接丟給模型讓它輸出“錯(cuò)誤類(lèi)型、觸發(fā)模塊、可能原因、修復(fù)建議”四列格式用JSON固定后面再接一個(gè)解析函數(shù)就能進(jìn)系統(tǒng)。整個(gè)過(guò)程省掉了大部分手工規(guī)則編寫(xiě)而且對(duì)新出現(xiàn)的日志格式有很強(qiáng)的泛化能力。6.2 非結(jié)構(gòu)化信息提取語(yǔ)言模型最實(shí)用的一類(lèi)應(yīng)用就是“文檔材料變數(shù)據(jù)”。合同里的甲方乙方、起止日期、違約金比例簡(jiǎn)歷里的學(xué)歷、工作年限、技能點(diǎn)客服聊天記錄里的用戶(hù)情緒、投訴類(lèi)別、緊急程度。這些抽取任務(wù)如果靠寫(xiě)規(guī)則每來(lái)一種新格式就要改一次代碼累死人。用模型做抽取核心是把“抽取規(guī)則”換成“抽取指令”。指令里寫(xiě)清楚要提取哪些字段、輸出什么格式、遇到缺失怎么處理。模型的泛化能力幫你扛住了格式變化剩下你要做的是抽檢少部分結(jié)果壓低錯(cuò)誤率。我自己在多個(gè)項(xiàng)目里驗(yàn)證下來(lái)中高規(guī)格的開(kāi)源模型配合字段級(jí)校驗(yàn)?zāi)_本抽取準(zhǔn)確率基本可以滿(mǎn)足業(yè)務(wù)流程要求。6.3 把語(yǔ)言模型嵌進(jìn)系統(tǒng)流程而不是擺在聊天窗口里最后一點(diǎn)也是我認(rèn)為“超越聊天機(jī)器人”最準(zhǔn)確的注腳語(yǔ)言模型真正的價(jià)值在于當(dāng)“流程中的一個(gè)智能組件”而不是當(dāng)“用戶(hù)面前的聊天窗口”。舉個(gè)例子。一個(gè)工單系統(tǒng)里用戶(hù)提交一段亂糟糟的問(wèn)題描述語(yǔ)言模型先把描述整理成結(jié)構(gòu)化工單問(wèn)題類(lèi)型、緊急程度、初步歸類(lèi)再根據(jù)歷史工單推薦處理方案最后由人審核確認(rèn)。整個(gè)過(guò)程用戶(hù)沒(méi)覺(jué)得在和機(jī)器人“聊天”但工作流效率明顯提升。這就是嵌入式的價(jià)值——模型不是替代人工的入口而是規(guī)范信息流、壓縮重復(fù)勞動(dòng)的引擎。我在實(shí)際項(xiàng)目中反復(fù)體會(huì)到一個(gè)道理經(jīng)濟(jì)價(jià)值高的場(chǎng)景往往不是“讓模型直接輸出最終答案”而是“讓模型在關(guān)鍵節(jié)點(diǎn)做一次高質(zhì)量的信息重組把人工的注意力留給最需要判斷力的部分”。這一篇把基礎(chǔ)框架講完了。下一篇我打算深入模型的內(nèi)部結(jié)構(gòu)細(xì)節(jié)把“預(yù)測(cè)下一個(gè)詞”這件事背后的數(shù)值運(yùn)算拆開(kāi)看看也會(huì)聊聊更大參數(shù)規(guī)模下涌現(xiàn)出來(lái)的那些連作者都解釋不了的能力現(xiàn)象。到時(shí)候我們?cè)俳又摹?