1. 從零啃下大模型為什么“考點(diǎn)精講”比“速成教程”更值得花時(shí)間很多人第一次接觸大模型路徑都差不多刷到幾篇“三分鐘搞懂Transformer”的短視頻收藏一堆“大模型學(xué)習(xí)路線圖”然后打開某個(gè)開源項(xiàng)目發(fā)現(xiàn)連環(huán)境都跑不起來(lái)。問(wèn)題不在于不夠聰明而在于大模型這個(gè)領(lǐng)域有一個(gè)很特殊的地方——它的知識(shí)結(jié)構(gòu)是“倒金字塔”式的。你如果不知道注意力機(jī)制在算什么就永遠(yuǎn)理解不了為什么上下文長(zhǎng)度會(huì)成為瓶頸你如果不清楚預(yù)訓(xùn)練和微調(diào)的區(qū)別就永遠(yuǎn)搞不明白為什么同一個(gè)模型換個(gè)場(chǎng)景效果就崩了。“零基礎(chǔ)考點(diǎn)精講”這個(gè)方向本質(zhì)上解決的就是這個(gè)問(wèn)題。它不是教你調(diào)一個(gè)API就完事而是把大模型從底層原理到工程落地這條鏈路上那些真正會(huì)被問(wèn)到、真正會(huì)影響你判斷的關(guān)鍵節(jié)點(diǎn)一個(gè)一個(gè)拆開講清楚。適合誰(shuí)看三類人一是準(zhǔn)備面試或考試、需要系統(tǒng)性梳理知識(shí)點(diǎn)的二是剛轉(zhuǎn)行做AI應(yīng)用開發(fā)、被各種框架和術(shù)語(yǔ)繞暈的三是已經(jīng)在用DeepSeek、Dify這類工具但遇到問(wèn)題只能靠搜索和試錯(cuò)、想搞明白背后邏輯的。我自己在這個(gè)領(lǐng)域摸爬滾打的過(guò)程中最大的體會(huì)是大模型的知識(shí)點(diǎn)看起來(lái)多但真正核心的骨架就那么幾根。Transformer是骨架注意力機(jī)制是關(guān)節(jié)預(yù)訓(xùn)練和微調(diào)是肌肉推理優(yōu)化和部署是皮膚。你把這幾塊吃透了剩下的都是在這個(gè)基礎(chǔ)上長(zhǎng)出來(lái)的枝葉。這篇內(nèi)容就按照這個(gè)邏輯把每個(gè)核心考點(diǎn)講透同時(shí)補(bǔ)充那些教程里不會(huì)寫、但實(shí)際工作中一定會(huì)遇到的細(xì)節(jié)。2. Transformer架構(gòu)大模型所有能力的起點(diǎn)2.1 為什么是Transformer而不是RNN要理解Transformer先得知道它替代了什么。在Transformer出現(xiàn)之前處理序列數(shù)據(jù)的主流方案是RNN和LSTM。RNN的思路很直覺(jué)像人讀句子一樣一個(gè)字一個(gè)字往后讀每讀一個(gè)字就把前面的信息壓縮成一個(gè)“記憶狀態(tài)”傳下去。這個(gè)方案的問(wèn)題在于當(dāng)句子變長(zhǎng)時(shí)最早的信息在傳遞過(guò)程中會(huì)被不斷稀釋就像傳話游戲傳了十幾個(gè)人之后原話早就面目全非了。Transformer的解法很暴力既然逐個(gè)傳遞會(huì)丟信息那干脆讓每個(gè)詞直接和句子中所有其他詞建立聯(lián)系。這就是**自注意力機(jī)制Self-Attention**的核心思想。每個(gè)詞都會(huì)生成三個(gè)向量——Query查詢、Key鍵、Value值然后用Query去和所有詞的Key做匹配算出注意力權(quán)重再對(duì)所有Value加權(quán)求和。這個(gè)過(guò)程可以并行計(jì)算不像RNN必須按順序來(lái)所以訓(xùn)練效率大幅提升。用一個(gè)生活化的類比RNN像是一個(gè)人在圖書館里逐本書翻閱看完一本才能看下一本Transformer像是同時(shí)把所有書攤在桌上每本書都和其他書做交叉比對(duì)直接找到最相關(guān)的信息組合。顯然后者更適合處理大規(guī)模數(shù)據(jù)。2.2 自注意力的計(jì)算過(guò)程拆解具體來(lái)看自注意力的計(jì)算。假設(shè)輸入是一個(gè)長(zhǎng)度為n的序列每個(gè)詞的嵌入維度是d那么輸入矩陣X的維度是n×d。通過(guò)三個(gè)可學(xué)習(xí)的權(quán)重矩陣W_Q、W_K、W_V分別得到Q、K、V三個(gè)矩陣Q X · W_Q K X · W_K V X · W_V然后計(jì)算注意力分?jǐn)?shù)Attention(Q, K, V) softmax(Q·K^T / √d_k) · V這里有幾個(gè)關(guān)鍵細(xì)節(jié)。第一除以√d_k是為了防止點(diǎn)積結(jié)果過(guò)大導(dǎo)致softmax梯度消失。第二softmax的作用是把分?jǐn)?shù)歸一化成概率分布讓權(quán)重之和為1。第三這個(gè)計(jì)算是并行化的所有位置的注意力可以同時(shí)算出來(lái)。實(shí)際代碼中PyTorch的實(shí)現(xiàn)大概長(zhǎng)這樣import torch import torch.nn.functional as F def self_attention(Q, K, V, maskNone): d_k Q.size(-1) scores torch.matmul(Q, K.transpose(-2, -1)) / torch.sqrt(torch.tensor(d_k)) if mask is not None: scores scores.masked_fill(mask 0, -1e9) weights F.softmax(scores, dim-1) return torch.matmul(weights, V)這段代碼看起來(lái)簡(jiǎn)單但實(shí)際跑的時(shí)候有幾個(gè)坑。mask的處理很關(guān)鍵尤其是在解碼器中必須用因果掩碼防止模型“偷看”未來(lái)的token。另外√d_k這個(gè)縮放因子如果忘了加訓(xùn)練時(shí)loss會(huì)劇烈震蕩甚至直接發(fā)散。2.3 多頭注意力為什么要“多此一舉”單個(gè)注意力頭只能學(xué)到一種關(guān)注模式但語(yǔ)言中的關(guān)系是多樣的——有的詞關(guān)注語(yǔ)法結(jié)構(gòu)有的詞關(guān)注語(yǔ)義關(guān)聯(lián)有的詞關(guān)注位置鄰近。多頭注意力就是讓模型同時(shí)學(xué)習(xí)多組Q、K、V變換每組關(guān)注不同的模式最后把結(jié)果拼接起來(lái)再做一次線性變換。假設(shè)有h個(gè)頭每個(gè)頭的維度是d_k d_model / h。比如d_model512h8那每個(gè)頭的維度就是64。這樣總計(jì)算量和單頭差不多但表達(dá)能力更強(qiáng)。實(shí)際使用中頭數(shù)不是越多越好8到16個(gè)頭是比較常見的配置再多的話每個(gè)頭的維度太小反而學(xué)不到有效特征。2.4 位置編碼沒(méi)有它Transformer就是個(gè)詞袋自注意力本身不包含位置信息——把句子里的詞打亂順序注意力計(jì)算結(jié)果是一樣的。這顯然不行因?yàn)椤柏堊防鲜蟆焙汀袄鲜笞坟垺币馑纪耆喾?。所以需要位置編碼來(lái)注入位置信息。原始Transformer用的是正弦余弦位置編碼def positional_encoding(max_len, d_model): pe torch.zeros(max_len, d_model) position torch.arange(0, max_len).unsqueeze(1).float() div_term torch.exp(torch.arange(0, d_model, 2).float() * -(math.log(10000.0) / d_model)) pe[:, 0::2] torch.sin(position * div_term) pe[:, 1::2] torch.cos(position * div_term) return pe這種編碼的好處是不需要學(xué)習(xí)參數(shù)而且理論上可以外推到訓(xùn)練時(shí)沒(méi)見過(guò)的長(zhǎng)度。但實(shí)際中很多現(xiàn)代大模型改用可學(xué)習(xí)的位置編碼或旋轉(zhuǎn)位置編碼RoPE因?yàn)樗鼈冊(cè)陂L(zhǎng)序列上表現(xiàn)更好。RoPE的核心思想是把位置信息編碼成旋轉(zhuǎn)矩陣讓注意力分?jǐn)?shù)自然攜帶相對(duì)位置信息這也是為什么現(xiàn)在很多模型能支持超長(zhǎng)上下文的原因之一。3. 大模型訓(xùn)練全流程從原始文本到能對(duì)話的模型3.1 預(yù)訓(xùn)練模型“讀萬(wàn)卷書”的階段預(yù)訓(xùn)練是大模型獲取基礎(chǔ)能力的階段。這個(gè)階段的目標(biāo)很簡(jiǎn)單給定一段文本預(yù)測(cè)下一個(gè)詞是什么。聽起來(lái)簡(jiǎn)單但要在海量數(shù)據(jù)上做好這件事模型必須學(xué)會(huì)語(yǔ)法、事實(shí)知識(shí)、推理模式甚至一些常識(shí)。預(yù)訓(xùn)練的數(shù)據(jù)量通常以萬(wàn)億token計(jì)。數(shù)據(jù)來(lái)源包括網(wǎng)頁(yè)文本、書籍、代碼、論文等。數(shù)據(jù)清洗是極其關(guān)鍵的一步——重復(fù)數(shù)據(jù)會(huì)導(dǎo)致模型記憶而非泛化低質(zhì)量數(shù)據(jù)會(huì)引入噪聲有害數(shù)據(jù)會(huì)導(dǎo)致模型輸出問(wèn)題內(nèi)容。實(shí)際工程中數(shù)據(jù)去重、質(zhì)量過(guò)濾、敏感內(nèi)容篩查這些步驟的工作量往往比模型訓(xùn)練本身還大。訓(xùn)練時(shí)的關(guān)鍵參數(shù)包括參數(shù)典型值作用學(xué)習(xí)率1e-4到3e-4控制參數(shù)更新幅度批次大小數(shù)百萬(wàn)token影響梯度穩(wěn)定性和訓(xùn)練效率訓(xùn)練步數(shù)數(shù)十萬(wàn)到數(shù)百萬(wàn)步?jīng)Q定模型見過(guò)多少數(shù)據(jù)warmup步數(shù)總步數(shù)的1%-5%防止訓(xùn)練初期不穩(wěn)定預(yù)訓(xùn)練的成本極高一次完整的預(yù)訓(xùn)練可能需要數(shù)千張GPU跑數(shù)周。所以大多數(shù)團(tuán)隊(duì)不會(huì)從零預(yù)訓(xùn)練而是基于開源基座模型做后續(xù)訓(xùn)練。3.2 監(jiān)督微調(diào)讓模型學(xué)會(huì)“聽話”預(yù)訓(xùn)練出來(lái)的模型叫基座模型它的能力是“續(xù)寫文本”但你問(wèn)它問(wèn)題它可能會(huì)給你續(xù)寫更多問(wèn)題而不是答案。監(jiān)督微調(diào)SFT就是教模型按照特定格式回應(yīng)。SFT的數(shù)據(jù)是“指令-回答”對(duì)比如指令解釋什么是過(guò)擬合 回答過(guò)擬合是指模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)很好但在新數(shù)據(jù)上表現(xiàn)差...這個(gè)階段的數(shù)據(jù)量比預(yù)訓(xùn)練小幾個(gè)數(shù)量級(jí)通常幾萬(wàn)到幾十萬(wàn)條就夠。但數(shù)據(jù)質(zhì)量比數(shù)量重要得多——一條高質(zhì)量的回答勝過(guò)一百條敷衍的回答。實(shí)際做SFT時(shí)數(shù)據(jù)配比很講究要覆蓋問(wèn)答、寫作、代碼、推理等多種任務(wù)類型否則模型容易在某個(gè)方向上過(guò)擬合。3.3 人類反饋強(qiáng)化學(xué)習(xí)對(duì)齊人類偏好SFT之后模型能回答問(wèn)題了但回答的風(fēng)格、安全性、有用性還不一定符合人類期望。RLHFReinforcement Learning from Human Feedback就是解決這個(gè)問(wèn)題的。流程分三步第一步讓模型對(duì)同一個(gè)問(wèn)題生成多個(gè)回答人類標(biāo)注員對(duì)這些回答排序第二步用這些排序數(shù)據(jù)訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型讓它學(xué)會(huì)給回答打分第三步用強(qiáng)化學(xué)習(xí)算法通常是PPO優(yōu)化語(yǔ)言模型讓它生成的回答能獲得更高的獎(jiǎng)勵(lì)分?jǐn)?shù)。這個(gè)過(guò)程聽起來(lái)優(yōu)雅但實(shí)際操作中非常不穩(wěn)定。獎(jiǎng)勵(lì)模型可能被“鉆空子”——模型學(xué)會(huì)生成一些能騙過(guò)高分的回答但實(shí)際上質(zhì)量很差。所以現(xiàn)在很多團(tuán)隊(duì)改用DPODirect Preference Optimization等更穩(wěn)定的方法直接優(yōu)化模型而不需要單獨(dú)訓(xùn)練獎(jiǎng)勵(lì)模型。3.4 實(shí)際訓(xùn)練中的踩坑經(jīng)驗(yàn)我在實(shí)際參與訓(xùn)練任務(wù)時(shí)遇到過(guò)幾個(gè)典型問(wèn)題。一是loss突然變成NaN排查后發(fā)現(xiàn)是某批數(shù)據(jù)里有超長(zhǎng)序列導(dǎo)致梯度爆炸解決方案是加梯度裁剪并檢查數(shù)據(jù)長(zhǎng)度分布。二是模型在訓(xùn)練集上表現(xiàn)很好但驗(yàn)證集很差原因是數(shù)據(jù)泄露——訓(xùn)練集和驗(yàn)證集有重疊樣本重新劃分?jǐn)?shù)據(jù)后解決。三是多卡訓(xùn)練時(shí)速度不升反降原因是通信開銷大于計(jì)算收益調(diào)整并行策略后才恢復(fù)正常。提示做任何訓(xùn)練任務(wù)之前先用小規(guī)模數(shù)據(jù)跑通全流程確認(rèn)loss能正常下降、模型能正常保存和加載再上大規(guī)模數(shù)據(jù)。這個(gè)習(xí)慣能幫你省下大量時(shí)間和算力。4. Dify與DeepSeek大模型應(yīng)用落地的兩條典型路徑4.1 Dify解決的是什么問(wèn)題Dify是一個(gè)LLM應(yīng)用開發(fā)平臺(tái)它的核心價(jià)值在于把大模型應(yīng)用的常見組件——提示詞管理、知識(shí)庫(kù)檢索、工作流編排、Agent調(diào)度——打包成可視化界面。你不用從零寫代碼就能搭出一個(gè)能用的AI應(yīng)用。舉個(gè)例子你要做一個(gè)企業(yè)內(nèi)部知識(shí)問(wèn)答系統(tǒng)。傳統(tǒng)做法是寫代碼調(diào)用大模型API自己實(shí)現(xiàn)文檔切分和向量化自己搭向量數(shù)據(jù)庫(kù)自己寫檢索邏輯自己處理多輪對(duì)話。這一套下來(lái)沒(méi)個(gè)一兩周搞不定。用Dify的話上傳文檔、配置檢索參數(shù)、拖拽工作流節(jié)點(diǎn)半天就能跑通原型。Dify的工作流功能特別值得說(shuō)。它允許你把多個(gè)處理步驟串起來(lái)比如用戶輸入 → 意圖識(shí)別 → 條件分支 → 知識(shí)庫(kù)檢索 → 大模型生成 → 輸出格式化。每個(gè)節(jié)點(diǎn)可以單獨(dú)配置模型、提示詞和參數(shù)。這種設(shè)計(jì)讓復(fù)雜邏輯變得可視化調(diào)試起來(lái)也方便。4.2 Dify接入本地大模型的注意事項(xiàng)很多人想把Dify和本地部署的大模型結(jié)合起來(lái)既想用Dify的編排能力又想數(shù)據(jù)不出內(nèi)網(wǎng)。這個(gè)思路沒(méi)問(wèn)題但有幾個(gè)坑要注意。第一模型接口的兼容性。Dify默認(rèn)對(duì)接OpenAI格式的API本地模型需要用類似OpenAI兼容的接口暴露出來(lái)。很多推理框架都支持這個(gè)模式配置時(shí)注意端口和路徑要對(duì)上。第二上下文長(zhǎng)度限制。本地模型的上下文窗口通常比云端小如果Dify的工作流里拼接了太多檢索結(jié)果很容易超長(zhǎng)。實(shí)際配置時(shí)要在檢索節(jié)點(diǎn)限制返回條數(shù)在提示詞里控制拼接長(zhǎng)度。第三SSL證書問(wèn)題。如果本地服務(wù)用了自簽名證書Dify調(diào)用時(shí)可能報(bào)SSL錯(cuò)誤。解決方案是在Dify的部署環(huán)境里配置信任證書或者在內(nèi)網(wǎng)環(huán)境下使用HTTP僅限完全隔離的網(wǎng)絡(luò)。4.3 DeepSeek的差異化定位DeepSeek系列模型這兩年在技術(shù)社區(qū)討論度很高核心原因是它在推理能力和成本之間找到了一個(gè)不錯(cuò)的平衡點(diǎn)。它的MoE混合專家架構(gòu)讓模型在推理時(shí)只激活部分參數(shù)既保證了效果又控制了計(jì)算量。從應(yīng)用角度看DeepSeek適合的場(chǎng)景包括需要較強(qiáng)推理能力的任務(wù)如數(shù)學(xué)題解答、邏輯分析、對(duì)成本敏感但要求一定質(zhì)量的場(chǎng)景、以及需要私有化部署的場(chǎng)合。它的API價(jià)格相對(duì)友好對(duì)個(gè)人開發(fā)者和小團(tuán)隊(duì)比較友好。實(shí)際使用中DeepSeek在代碼生成和中文理解上表現(xiàn)不錯(cuò)但在一些需要廣泛世界知識(shí)的開放域問(wèn)答上可能不如參數(shù)規(guī)模更大的模型。選型時(shí)不要只看benchmark分?jǐn)?shù)要拿自己的實(shí)際任務(wù)做對(duì)比測(cè)試。4.4 Dify工作流上下文超長(zhǎng)的處理策略這是Dify使用中最常見的問(wèn)題之一。工作流里如果有多個(gè)知識(shí)庫(kù)檢索節(jié)點(diǎn)每個(gè)節(jié)點(diǎn)返回若干文檔片段拼接到提示詞里很容易超過(guò)模型上下文限制。處理策略有幾個(gè)層次。最直接的是限制檢索返回?cái)?shù)量比如每個(gè)知識(shí)庫(kù)只返回top 3而不是top 10。其次是在檢索后加一個(gè)重排序節(jié)點(diǎn)用更精細(xì)的模型篩選最相關(guān)的片段。還可以在提示詞模板里做截?cái)鄡?yōu)先保留開頭和結(jié)尾的內(nèi)容。如果這些還不夠就需要考慮用支持更長(zhǎng)上下文的模型或者在架構(gòu)上做分層檢索——先粗篩再精篩。5. OCR與大模型結(jié)合被低估的實(shí)用方向5.1 OCR在大模型時(shí)代的角色變化OCR光學(xué)字符識(shí)別是一個(gè)傳統(tǒng)技術(shù)但在大模型時(shí)代它有了新的價(jià)值。原因很簡(jiǎn)單大模型再?gòu)?qiáng)它也只能處理文本輸入。而現(xiàn)實(shí)世界中大量信息是以圖片、掃描件、PDF的形式存在的。OCR就是把這些非文本信息轉(zhuǎn)換成大模型能理解的文本的橋梁。傳統(tǒng)OCR的流程是圖像預(yù)處理 → 文字檢測(cè) → 文字識(shí)別 → 后處理。這個(gè)流程在標(biāo)準(zhǔn)印刷體上已經(jīng)做得很好了但遇到手寫體、復(fù)雜排版、低質(zhì)量掃描件時(shí)錯(cuò)誤率會(huì)明顯上升。大模型給OCR帶來(lái)的改變有兩個(gè)方向。一是用多模態(tài)大模型直接做端到端的圖文理解跳過(guò)傳統(tǒng)OCR的多個(gè)步驟。二是用大模型對(duì)OCR結(jié)果做后處理和糾錯(cuò)比如根據(jù)上下文修正識(shí)別錯(cuò)誤的字詞。5.2 實(shí)際項(xiàng)目中的OCR選型思路不同場(chǎng)景對(duì)OCR的要求差異很大。如果是處理標(biāo)準(zhǔn)發(fā)票、身份證這類結(jié)構(gòu)化文檔用專門的OCR服務(wù)或開源工具就夠了準(zhǔn)確率高且速度快。如果是處理書籍掃描件、歷史檔案這類復(fù)雜文檔可能需要結(jié)合版面分析和大模型糾錯(cuò)。代碼層面Python生態(tài)里有不少OCR庫(kù)可以用。PaddleOCR在中文場(chǎng)景下表現(xiàn)不錯(cuò)Tesseract是老牌選擇但中文效果一般。如果要做驗(yàn)證碼識(shí)別這類特定任務(wù)通常需要自己訓(xùn)練模型因?yàn)橥ㄓ肙CR對(duì)扭曲、干擾線、粘連字符的處理能力有限。from paddleocr import PaddleOCR ocr PaddleOCR(use_angle_clsTrue, langch) result ocr.ocr(document.png, clsTrue) for line in result[0]: print(line[1][0]) # 識(shí)別出的文本這段代碼能跑通大部分中文印刷體識(shí)別但實(shí)際使用中要注意圖片質(zhì)量。分辨率太低、光照不均、傾斜角度過(guò)大都會(huì)影響效果。預(yù)處理階段做一下灰度化、二值化、去噪、糾偏識(shí)別率能提升不少。5.3 大模型輔助OCR后處理的實(shí)踐OCR識(shí)別出來(lái)的文本往往有錯(cuò)別字、斷行錯(cuò)誤、格式混亂等問(wèn)題。把OCR結(jié)果丟給大模型做后處理是一個(gè)性價(jià)比很高的做法。具體操作是把OCR原始結(jié)果和提示詞一起發(fā)給大模型讓它做糾錯(cuò)和格式化。提示詞可以這樣寫以下是一段OCR識(shí)別的文本可能存在錯(cuò)別字、斷行錯(cuò)誤或格式問(wèn)題。 請(qǐng)?jiān)诒３衷獾那疤嵯滦拚e(cuò)誤輸出格式整潔的文本。 如果某些內(nèi)容無(wú)法確定用[?]標(biāo)注。 OCR結(jié)果 {ocr_text}實(shí)測(cè)下來(lái)大模型對(duì)常見錯(cuò)別字的糾正效果很好對(duì)斷行和段落合并的處理也基本合理。但要注意大模型可能會(huì)“過(guò)度糾正”——把正確的專業(yè)術(shù)語(yǔ)改成它認(rèn)為更常見的詞。所以對(duì)于專業(yè)領(lǐng)域的文檔后處理結(jié)果還需要人工抽檢。6. 大模型學(xué)習(xí)中的高頻困惑與應(yīng)對(duì)6.1 理論知識(shí)和工程實(shí)踐怎么平衡很多人學(xué)大模型時(shí)容易走兩個(gè)極端。一種是只啃論文和公式把Transformer的每個(gè)數(shù)學(xué)推導(dǎo)都搞得清清楚楚但一行代碼沒(méi)寫過(guò)遇到實(shí)際問(wèn)題完全不知道從哪下手。另一種是只調(diào)API和跑開源項(xiàng)目能做出demo但說(shuō)不清原理遇到效果不好也不知道怎么調(diào)。我的建議是“理論夠用就行實(shí)踐必須深入”。具體來(lái)說(shuō)Transformer的核心公式要能手推注意力機(jī)制的計(jì)算過(guò)程要能講清楚預(yù)訓(xùn)練和微調(diào)的區(qū)別要能說(shuō)明白。但不需要把每一篇變體論文都讀完遇到具體問(wèn)題時(shí)再針對(duì)性補(bǔ)課。實(shí)踐方面至少要完整跑通過(guò)一次模型微調(diào)搭過(guò)一個(gè)RAG應(yīng)用處理過(guò)一次真實(shí)的業(yè)務(wù)需求。6.2 面試和考試中真正會(huì)被問(wèn)到的考點(diǎn)根據(jù)我和同行交流的經(jīng)驗(yàn)大模型相關(guān)的面試和考試高頻考點(diǎn)集中在幾個(gè)方向Transformer架構(gòu)細(xì)節(jié)自注意力的計(jì)算、多頭注意力的作用、位置編碼的必要性訓(xùn)練流程預(yù)訓(xùn)練、SFT、RLHF各自的目標(biāo)和數(shù)據(jù)要求推理優(yōu)化KV Cache、量化、蒸餾的基本原理應(yīng)用架構(gòu)RAG的流程、Agent的設(shè)計(jì)模式、提示工程的核心原則評(píng)估方法困惑度、BLEU、ROUGE的適用場(chǎng)景和局限這些問(wèn)題很少要求你背出精確的公式但要求你能用自己的話解釋清楚“為什么這樣設(shè)計(jì)”和“什么情況下會(huì)出問(wèn)題”。6.3 工具和框架的學(xué)習(xí)優(yōu)先級(jí)大模型生態(tài)里的工具太多了LangChain、Dify、CrewAI、LlamaIndex等等每個(gè)都有自己的定位。零基礎(chǔ)的人容易陷入“工具焦慮”——這個(gè)還沒(méi)學(xué)完那個(gè)又火了。我的建議是按需求驅(qū)動(dòng)學(xué)習(xí)。如果你要做知識(shí)庫(kù)問(wèn)答先學(xué)Dify或LlamaIndex如果你要做復(fù)雜的Agent編排看LangChain或CrewAI如果你只是要調(diào)用模型API做簡(jiǎn)單應(yīng)用直接看官方文檔就夠了。不要為了學(xué)工具而學(xué)工具工具是解決問(wèn)題的不是用來(lái)收藏的。6.4 持續(xù)學(xué)習(xí)的節(jié)奏把控大模型領(lǐng)域變化快但底層的東西變化慢。Transformer是2017年的論文到現(xiàn)在核心思想沒(méi)變過(guò)。注意力機(jī)制、位置編碼、殘差連接這些基礎(chǔ)組件幾年內(nèi)不太可能被完全替代。所以學(xué)習(xí)節(jié)奏可以這樣安排底層原理花20%的時(shí)間搞扎實(shí)主流工具花30%的時(shí)間動(dòng)手實(shí)踐剩下50%的時(shí)間跟進(jìn)行業(yè)動(dòng)態(tài)和具體業(yè)務(wù)場(chǎng)景。不要被每天的新論文和新模型嚇到大部分都是增量改進(jìn)核心骨架沒(méi)變。7. 一些實(shí)際踩過(guò)的坑和總結(jié)的經(jīng)驗(yàn)說(shuō)幾個(gè)我在實(shí)際工作中踩過(guò)的坑都是教程里不會(huì)寫但實(shí)際一定會(huì)遇到的。第一個(gè)坑是環(huán)境配置。大模型相關(guān)的工具鏈對(duì)版本很敏感PyTorch、CUDA、Python版本之間有一堆兼容性要求。我遇到過(guò)裝了半天發(fā)現(xiàn)CUDA版本和顯卡驅(qū)動(dòng)不匹配也遇到過(guò)某個(gè)庫(kù)依賴的numpy版本和另一個(gè)庫(kù)沖突。后來(lái)養(yǎng)成的習(xí)慣是每個(gè)項(xiàng)目用獨(dú)立的虛擬環(huán)境用conda或venv隔離把依賴版本寫死在requirements.txt里。第二個(gè)坑是數(shù)據(jù)質(zhì)量。做RAG應(yīng)用時(shí)我一開始覺(jué)得只要把文檔丟進(jìn)向量數(shù)據(jù)庫(kù)就行了。實(shí)際跑起來(lái)發(fā)現(xiàn)檢索效果差得離譜。排查后發(fā)現(xiàn)是文檔切分有問(wèn)題——按固定長(zhǎng)度切分把完整的段落切碎了導(dǎo)致檢索到的片段缺乏上下文。后來(lái)改成按語(yǔ)義切分并在每個(gè)片段前加上所屬章節(jié)的標(biāo)題檢索準(zhǔn)確率明顯提升。第三個(gè)坑是評(píng)估缺失。做應(yīng)用開發(fā)時(shí)很容易陷入“感覺(jué)效果還行”的狀態(tài)。但沒(méi)有量化評(píng)估你根本不知道改動(dòng)是變好了還是變差了。后來(lái)我養(yǎng)成了習(xí)慣任何改動(dòng)之前先準(zhǔn)備一組測(cè)試問(wèn)題記錄當(dāng)前版本的準(zhǔn)確率改完之后再跑一遍對(duì)比。這個(gè)習(xí)慣讓迭代效率提升了很多。第四個(gè)坑是過(guò)度依賴大模型。有些任務(wù)其實(shí)用規(guī)則或小模型就能解決但因?yàn)榇竽Ｐ陀闷饋?lái)方便就什么都丟給它。結(jié)果成本上去了延遲也上去了。后來(lái)學(xué)會(huì)判斷簡(jiǎn)單分類用規(guī)則固定格式提取用正則只有需要理解和生成的復(fù)雜任務(wù)才用大模型。注意大模型不是萬(wàn)能的它擅長(zhǎng)的是語(yǔ)言理解和生成不擅長(zhǎng)精確計(jì)算、實(shí)時(shí)信息查詢和確定性邏輯。把合適的任務(wù)交給合適的工具才是工程思維。最后分享一個(gè)實(shí)用技巧學(xué)習(xí)大模型最好的方式不是看教程而是找一個(gè)真實(shí)的小需求從頭到尾做一遍。比如做一個(gè)“自動(dòng)整理會(huì)議紀(jì)要”的工具或者做一個(gè)“根據(jù)描述生成SQL查詢”的助手。做的過(guò)程中你會(huì)遇到各種問(wèn)題解決這些問(wèn)題的過(guò)程就是最好的學(xué)習(xí)。