做簡(jiǎn)歷匹配這件事我之前一直是用普通的大模型接口硬懟后來(lái)項(xiàng)目量上來(lái)之后發(fā)現(xiàn)不行——模型換來(lái)?yè)Q去、密鑰管理混亂、不同模型的返回格式也不統(tǒng)一光是適配就耗費(fèi)了大量時(shí)間。最近我把整條鏈路切到了 Jev 配合 Vercel AI Gateway實(shí)現(xiàn)了一個(gè)完整的簡(jiǎn)歷匹配工具這里把這套方案從設(shè)計(jì)到落地完整梳理一遍希望對(duì)正在做類(lèi)似工具的同行有幫助。本文會(huì)覆蓋核心架構(gòu)、關(guān)鍵配置、代碼實(shí)現(xiàn)以及我踩過(guò)的坑適合有一定 AI 應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)、想快速搭建簡(jiǎn)歷匹配或類(lèi)似文本評(píng)分系統(tǒng)的讀者。1. 項(xiàng)目概述與場(chǎng)景定位1.1 簡(jiǎn)歷匹配到底在解決什么問(wèn)題簡(jiǎn)歷匹配這個(gè)需求說(shuō)白了就是“給定一個(gè)職位描述判斷一份簡(jiǎn)歷跟它的匹配程度”。這件事人工做很慢而且不同人評(píng)估標(biāo)準(zhǔn)不一致同一份簡(jiǎn)歷上午看和下午看可能給出完全不同的結(jié)論。用模型做自動(dòng)匹配核心價(jià)值不是替代人的判斷而是把初篩工作標(biāo)準(zhǔn)化、規(guī)?；惶焯幚韼资莺?jiǎn)歷不費(fèi)勁而且評(píng)分維度統(tǒng)一不會(huì)因?yàn)槊嬖嚬傩那橛绊懡Y(jié)果。實(shí)際做下來(lái)我把它拆成了三個(gè)層次簡(jiǎn)單版是只輸出一個(gè)匹配分?jǐn)?shù)比如 0 到 100進(jìn)階版是除了分?jǐn)?shù)還給出維度拆解像“經(jīng)驗(yàn)匹配度 80 分技能匹配度 65 分項(xiàng)目經(jīng)歷匹配度 90 分”完整版是附帶推薦意見(jiàn)比如“建議面試”還是“建議筆試”還是“建議不通過(guò)”。不同項(xiàng)目對(duì)輸出的深度要求不一樣但是底層鏈路是通用的。我這次做的就是完整版輸入職位描述和簡(jiǎn)歷文本輸出結(jié)構(gòu)化 JSON包含總分、分維度得分、優(yōu)勢(shì)亮點(diǎn)、風(fēng)險(xiǎn)項(xiàng)和建議動(dòng)作。1.2 為什么把 Jev 和 Vercel AI Gateway 放在一起先解釋一下這兩個(gè)東西分別是什么角色。Jev 是模型層負(fù)責(zé)真正理解簡(jiǎn)歷和職位描述之間的語(yǔ)義關(guān)系完成推理產(chǎn)出結(jié)果。Vercel AI Gateway 是位于應(yīng)用和模型之間的代理層統(tǒng)一管理模型路由、密鑰、緩存、重試和觀測(cè)。那為什么非要疊一層代理直接調(diào) Jev 的接口不就行了嗎實(shí)際上不行。我早期直接調(diào)模型接口遇到三個(gè)問(wèn)題一是模型服務(wù)商偶爾波動(dòng)需要換備用模型代碼就得跟著改接口地址和鑒權(quán)方式二是密鑰散落在各個(gè)環(huán)境變量里多人協(xié)作時(shí)很難控制三是沒(méi)有統(tǒng)一的調(diào)用日志出了問(wèn)題不知道是網(wǎng)絡(luò)問(wèn)題、模型問(wèn)題還是參數(shù)問(wèn)題。Vercel AI Gateway 把這些問(wèn)題收口了對(duì)外暴露一個(gè)兼容 OpenAI SDK 的統(tǒng)一接口我用一種方式調(diào)用后面換成任何模型都只改配置不改代碼。Jev 的模型能力不錯(cuò)我默認(rèn)走 Jev但遇到限流或超時(shí)網(wǎng)關(guān)自動(dòng)切換到備用模型調(diào)用方無(wú)感知。這套方案的好處一句話概括模型層面享受 Jev 的推理質(zhì)量工程層面享受網(wǎng)關(guān)帶來(lái)的穩(wěn)定性。對(duì)于簡(jiǎn)歷匹配這種對(duì)輸出格式要求嚴(yán)格、對(duì)可用性有要求的場(chǎng)景這個(gè)組合很合適。2. 整體設(shè)計(jì)與思路拆解2.1 為什么需要 AI Gateway 這層代理很多第一次接觸網(wǎng)關(guān)概念的讀者會(huì)問(wèn)多了一層網(wǎng)絡(luò)轉(zhuǎn)發(fā)不是增加了延遲嗎確實(shí)多了一跳但這個(gè)成本換來(lái)的是工程上的收益。簡(jiǎn)歷匹配工具不是一次性腳本它要跑在業(yè)務(wù)系統(tǒng)里要服務(wù)多個(gè)用戶要持續(xù)迭代模型能力這時(shí)候穩(wěn)定性和可維護(hù)性的優(yōu)先級(jí)高于那幾十毫秒的延遲。從實(shí)際收益來(lái)拆網(wǎng)關(guān)帶來(lái)了四個(gè)變化。第一是模型路由能力我在網(wǎng)關(guān)配置了兩個(gè)模型Jev 作為主模型另一個(gè)做兜底Jev 那邊限流時(shí)自動(dòng)切換第二是緩存能力同一個(gè)職位描述配同一份簡(jiǎn)歷如果短時(shí)間重復(fù)請(qǐng)求網(wǎng)關(guān)直接返回緩存結(jié)果不需要重復(fù)消耗模型配額第三是統(tǒng)一密鑰管理團(tuán)隊(duì)成員不再各自持有模型服務(wù)的密鑰只有網(wǎng)關(guān)持有模型密鑰不落到業(yè)務(wù)代碼里第四是日志和觀測(cè)網(wǎng)關(guān)層面能看到每一次請(qǐng)求的延遲、Token 消耗、調(diào)用狀態(tài)排查問(wèn)題從“黑盒瞎猜”變成了“看數(shù)據(jù)定位”。這些能力如果自己在業(yè)務(wù)代碼里實(shí)現(xiàn)工作量非常大而且容易出錯(cuò)。網(wǎng)關(guān)是經(jīng)過(guò)大量生產(chǎn)驗(yàn)證的組件穩(wěn)定性比自己攢一個(gè)高得多。這里面有一個(gè)設(shè)計(jì)取舍值得說(shuō)一下網(wǎng)關(guān)只做流量治理不參與業(yè)務(wù)邏輯。簡(jiǎn)歷匹配的提示詞構(gòu)造、輸出解析、評(píng)分計(jì)算都在我的應(yīng)用層完成網(wǎng)關(guān)不感知業(yè)務(wù)語(yǔ)義這樣才能保證靈活性和可替換性。2.2 架構(gòu)設(shè)計(jì)請(qǐng)求鏈路怎么走整體的請(qǐng)求鏈路是這樣的前端或業(yè)務(wù)系統(tǒng)發(fā)起請(qǐng)求到我的后端服務(wù)后端服務(wù)讀取職位描述和簡(jiǎn)歷文本構(gòu)造提示詞通過(guò) OpenAI SDK 格式的請(qǐng)求發(fā)送到 Vercel AI Gateway網(wǎng)關(guān)根據(jù)配置路由到 Jev拿到模型的原始返回后網(wǎng)關(guān)做緩存、記錄日志再把結(jié)果返回給我的后端后端解析 JSON做字段校驗(yàn)和分?jǐn)?shù)歸一化最終返回給調(diào)用方。這個(gè)鏈路里有一個(gè)細(xì)節(jié)非常關(guān)鍵我的后端永遠(yuǎn)不直接持有 Jev 的 API Key也不直接知道 Jev 的真實(shí)接口地址它只知道網(wǎng)關(guān)地址。所有鑒權(quán)信息都收口在網(wǎng)關(guān)層。這樣做的好處很多最直接的是安全模型密鑰不會(huì)因?yàn)槟硞€(gè)開(kāi)發(fā)者的 .env 文件泄露而暴露其次是變更成本如果我后續(xù)想換掉 Jev 或者增加新的模型后端代碼一行都不用動(dòng)只改網(wǎng)關(guān)配置。還有一點(diǎn)是關(guān)于模型標(biāo)識(shí)的命名。在網(wǎng)關(guān)配置里我給 Jev 起了一個(gè)別名后端請(qǐng)求的時(shí)候用這個(gè)別名去路由而不是直接寫(xiě) Jev 的模型名。理由是業(yè)務(wù)代碼的解耦如果哪天 Jev 更新了模型標(biāo)識(shí)或者我決定用另一個(gè)模型替代它只要網(wǎng)關(guān)里把別名指向新模型就行。實(shí)際工作上這個(gè)改動(dòng)發(fā)生得比想象中頻繁一次是 Jev 那邊發(fā)布了新版本模型我想灰度切換直接在網(wǎng)關(guān)把那一條規(guī)則改了十分鐘就生效。2.3 提示詞設(shè)計(jì)簡(jiǎn)歷匹配的核心是“標(biāo)準(zhǔn)”而不是“自由發(fā)揮”簡(jiǎn)歷匹配這類(lèi)任務(wù)跟通用聊天有本質(zhì)區(qū)別。聊天是開(kāi)放式的模型可以自由發(fā)揮簡(jiǎn)歷匹配是封閉式的輸出必須符合預(yù)期結(jié)構(gòu)否則系統(tǒng)沒(méi)法解析。我一開(kāi)始犯過(guò)錯(cuò)誤把職位描述和簡(jiǎn)歷扔給模型說(shuō)“幫我看看匹配度”結(jié)果模型返回一大段散文解析邏輯根本沒(méi)法處理。后來(lái)我把提示詞徹底重構(gòu)核心思路是“給模型一套評(píng)分標(biāo)準(zhǔn)而不是讓模型自由發(fā)揮”。具體的做法是在系統(tǒng)提示詞里明確四件事——角色定義、任務(wù)目標(biāo)、輸出格式、評(píng)分規(guī)則。角色定義讓模型站在 HR 角度任務(wù)目標(biāo)說(shuō)明要做簡(jiǎn)歷初篩輸出格式要求必須是合法 JSON且給出完整的字段結(jié)構(gòu)示例評(píng)分規(guī)則規(guī)定各維度的權(quán)重和打分依據(jù)比如“技能匹配度主要考察簡(jiǎn)歷中是否出現(xiàn)職位要求中的關(guān)鍵技術(shù)關(guān)鍵詞以及相關(guān)項(xiàng)目經(jīng)驗(yàn)的深度”。提示詞里我建議寫(xiě)死目標(biāo) JSON 的結(jié)構(gòu)甚至可以放一個(gè)簡(jiǎn)短示例。模型對(duì)示例的跟隨能力很強(qiáng)只要你的示例是合法 JSON它基本會(huì)照做。但要注意一個(gè)反向問(wèn)題示例里的值會(huì)被模型模仿所以示例本身要合理不能隨手寫(xiě)一個(gè)滿分案例。自定義的字段名要語(yǔ)義清晰避免歧義否則模型可能在一個(gè)字段上反復(fù)糾結(jié)。3. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)3.1 環(huán)境準(zhǔn)備賬號(hào)、密鑰與 SDK動(dòng)手之前先把環(huán)境捋清楚。你需要三樣?xùn)|西一個(gè) Vercel 賬號(hào)一個(gè) Jev 的模型訪問(wèn)權(quán)限也就是在模型服務(wù)商那邊開(kāi)通 API 后拿到的密鑰以及一個(gè)可以寫(xiě) Node.js 或 Python 代碼的本地環(huán)境。我這次用的是 Node.js TypeScript因?yàn)?Vercel 生態(tài)對(duì) Node 支持最好AI Gateway 的 SDK 也是以 JavaScript 為主。在模型這一側(cè)你需要拿到服務(wù)商提供的 API Key 和模型標(biāo)識(shí)。坦白講每個(gè)服務(wù)商給的密鑰體系不一樣有的叫 API Key有的可能叫 Access Token有的是 Header 傳遞有的還要求帶 Project ID。務(wù)必要以你實(shí)際拿到的信息為準(zhǔn)不要照搬別人教程里的字段名。只要你的密鑰在網(wǎng)關(guān)配置界面能通過(guò)連通性測(cè)試說(shuō)明信息是對(duì)的。接下來(lái)安裝 Vercel AI SDK。這里有個(gè)容易繞暈的點(diǎn)Vercel AI Gateway 提供了幾個(gè)層面的 SDK 支持既有 AI SDK 的完整框架用法也兼容 OpenAI SDK。我推薦直接用 OpenAI SDK 的方式因?yàn)樗切袠I(yè)標(biāo)準(zhǔn)資料多而且后續(xù)如果不用網(wǎng)關(guān)代碼改成直連模型服務(wù)商也只需要換 baseURL。安裝命令很簡(jiǎn)單npm 環(huán)境下一行npm install openai就能搞定。3.2 Vercel AI Gateway 的配置要點(diǎn)網(wǎng)關(guān)層面的配置重點(diǎn)有三個(gè)模型路由規(guī)則、緩存策略、回退策略。我第一次配置時(shí)只關(guān)心如何把請(qǐng)求轉(zhuǎn)發(fā)出去忽略了其他兩個(gè)結(jié)果上線后遇到模型服務(wù)波動(dòng)才發(fā)現(xiàn)回退策略沒(méi)配請(qǐng)求直接失敗用戶體驗(yàn)很差。模型路由規(guī)則的核心是“別名到真實(shí)模型”的映射。你在網(wǎng)關(guān)新建一個(gè)路由填一個(gè)你自定義的別名比如jev-main然后在真實(shí)模型信息里填 Jev 的模型標(biāo)識(shí)以及對(duì)應(yīng)的 API Key。之后你的代碼請(qǐng)求里說(shuō)“我要找 jev-main”網(wǎng)關(guān)就知道實(shí)際要調(diào)哪個(gè)模型的哪個(gè)接口。緩存策略直接影響成本和速度。簡(jiǎn)歷匹配場(chǎng)景里同一份職位描述配同一份簡(jiǎn)歷很可能被重復(fù)查詢尤其是測(cè)試階段同一組數(shù)據(jù)會(huì)被跑很多遍。打開(kāi)網(wǎng)關(guān)的緩存功能TTL 設(shè)成幾分鐘到幾小時(shí)都可以。一個(gè)例外是當(dāng)你需要看到最新評(píng)分時(shí)緩存可能反而礙事此時(shí)可以在請(qǐng)求頭里加一個(gè)跳過(guò)緩存的標(biāo)記。我在測(cè)試時(shí)經(jīng)常手動(dòng)關(guān)緩存生產(chǎn)環(huán)境開(kāi)著兩套邏輯都要驗(yàn)證過(guò)?；赝瞬呗允欠€(wěn)定性的最后一道防線。配置好主模型和備用模型后當(dāng)主模型的錯(cuò)誤率達(dá)到設(shè)定的閾值網(wǎng)關(guān)會(huì)把流量自動(dòng)切到備用模型。切的過(guò)程對(duì)調(diào)用方透明你只會(huì)在日志里看到多了一次嘗試記錄。這個(gè)功能在高并發(fā)下尤其有用因?yàn)槟Ｐ头?wù)商限流是常態(tài)。3.3 Jev 模型接入從模型選型到參數(shù)調(diào)優(yōu)模型選型這塊我基于實(shí)測(cè)給大家一個(gè)參考方向。簡(jiǎn)歷匹配任務(wù)屬于“中短文本理解 結(jié)構(gòu)化輸出”類(lèi)型文本量不大但對(duì)語(yǔ)義精確度有要求。Jev 這類(lèi)相對(duì)輕量但理解力強(qiáng)的模型在簡(jiǎn)歷匹配上表現(xiàn)不錯(cuò)尤其是技能關(guān)鍵詞識(shí)別和職責(zé)相似度判斷。如果你處理的是大批量簡(jiǎn)歷這種模型的速度和成本也有明顯優(yōu)勢(shì)。參數(shù)調(diào)優(yōu)里最重要的是temperature。結(jié)構(gòu)化輸出任務(wù)強(qiáng)烈建議把溫度設(shè)低我平時(shí)設(shè)置為 0最多不超過(guò) 0.2。溫度高意味著隨機(jī)性大模型可能在兩次調(diào)用相同輸入時(shí)給出不同分?jǐn)?shù)這在評(píng)分場(chǎng)景里是非常糟糕的體驗(yàn)。另一個(gè)參數(shù)是max_tokens務(wù)必設(shè)一個(gè)上限。簡(jiǎn)歷匹配的返回結(jié)構(gòu)相對(duì)固定大約幾百 token 足夠設(shè)一個(gè)例如 2000 的上限可以避免某些情況下模型長(zhǎng)篇大論導(dǎo)致響應(yīng)超時(shí)。有一個(gè)經(jīng)驗(yàn)想特別分享不要一上來(lái)就追求最貴最強(qiáng)的模型。先用一個(gè)中等模型跑通整個(gè)流程再換強(qiáng)模型做質(zhì)量提升。這樣做的好處是流程跑通階段你面對(duì)的錯(cuò)誤少定位問(wèn)題快等流程穩(wěn)定了替換模型就是改網(wǎng)關(guān)配置的事你可以在同樣的提示詞下對(duì)比兩個(gè)模型的輸出質(zhì)量。我在 Jev 和另一個(gè)模型之間切換過(guò)多次同一個(gè)提示詞一個(gè)模型偶爾輸出多了一個(gè)尾部逗號(hào)導(dǎo)致 JSON 解析失敗另一個(gè)就完全正常。這種問(wèn)題只有在兩個(gè)模型都在同一個(gè)流程里跑過(guò)才會(huì)暴露。3.4 結(jié)構(gòu)化輸出的幾個(gè)坑簡(jiǎn)歷匹配場(chǎng)景里最大的噩夢(mèng)是模型返回了好看的文本但解析失敗。結(jié)構(gòu)化的核心就是文檔里約定“必須返回合法 JSON”但模型畢竟是概率模型總有意外。所以我在應(yīng)用層加了三道保險(xiǎn)。第一道保險(xiǎn)是解析容錯(cuò)。拿到模型返回后先嘗試整體解析 JSON失敗時(shí)查找返回里是否存在 JSON 代碼塊標(biāo)記把標(biāo)記內(nèi)的內(nèi)容摳出來(lái)再解析再失敗時(shí)用正則提取最外層的花括號(hào)部分。這個(gè)方法不能解決所有問(wèn)題但能把解析成功率從 80% 左右提到 95% 以上。第二道保險(xiǎn)是字段兜底校驗(yàn)。解析成功不代表字段齊全我必須確認(rèn)total_score、dimensions、suggestions這些關(guān)鍵字段都存在不存在就給默認(rèn)值。第三道保險(xiǎn)是分?jǐn)?shù)歸一化。模型的輸出有時(shí)會(huì)給出超出范圍的值比如總分 105 分或者某個(gè)維度給了“高”這種語(yǔ)義值我統(tǒng)一做處理和轉(zhuǎn)換確保業(yè)務(wù)層拿到的永遠(yuǎn)是合法數(shù)據(jù)。這些代碼邏輯不復(fù)雜但極其影響線上體驗(yàn)。簡(jiǎn)歷匹配工具的用戶是 HR他們不會(huì)接受一條“系統(tǒng)錯(cuò)誤”的報(bào)錯(cuò)他們希望你解析失敗的請(qǐng)求自動(dòng)重試盡快給出結(jié)果。所以我在這塊投入的精力遠(yuǎn)比提示詞調(diào)優(yōu)多帶來(lái)的效果也更直接。4. 實(shí)操過(guò)程與核心環(huán)節(jié)實(shí)現(xiàn)4.1 第一版單條簡(jiǎn)歷匹配實(shí)現(xiàn)我先說(shuō)單條匹配的最小實(shí)現(xiàn)。創(chuàng)建后端函數(shù)接收職位描述和簡(jiǎn)歷文本構(gòu)造提示詞發(fā)送給網(wǎng)關(guān)解析返回返回結(jié)構(gòu)化評(píng)分。提示詞構(gòu)造是我精心設(shè)計(jì)的模板先設(shè)置角色和任務(wù)背景再把職位描述放進(jìn)去再把簡(jiǎn)歷文本放進(jìn)去最后強(qiáng)調(diào)輸出格式。模板里必須把職位描述和簡(jiǎn)歷用清晰的標(biāo)記隔開(kāi)比如“職位描述開(kāi)始”和“簡(jiǎn)歷開(kāi)始”減少模型混淆內(nèi)容的概率。調(diào)用環(huán)節(jié)我用 OpenAI SDK把 baseURL 指向網(wǎng)關(guān)注入的地址API Key 用網(wǎng)關(guān)的密鑰model填我配置的別名。這一步跑通后先用一組已知數(shù)據(jù)驗(yàn)證輸出質(zhì)量。比如我人工判斷這組數(shù)據(jù)的匹配度大約在 70 分左右看模型輸出是否接近。不要只看一次多跑幾次確認(rèn)結(jié)果穩(wěn)定。我實(shí)測(cè)中發(fā)現(xiàn)溫度設(shè)為 0 時(shí)同一輸入的輸出是穩(wěn)定的如果發(fā)現(xiàn)波動(dòng)明顯先檢查是不是沒(méi)設(shè)置溫度再看是不是代碼里有多余的隨機(jī)邏輯。4.2 第二步批量簡(jiǎn)歷篩選單條跑通之后批量處理是水到渠成的事。批量篩選的核心是控制并發(fā)和失敗重試。簡(jiǎn)歷匹配不是極低延遲的任務(wù)單次請(qǐng)求 2 到 5 秒很正常如果一次要處理一百份簡(jiǎn)歷串行請(qǐng)求要幾分鐘所以必須拿到并發(fā)控制上。我的做法是使用p-limit這個(gè)庫(kù)限制并發(fā)為 5 或 10。并發(fā)太高容易被限流太低效率又不行5 到 10 是我反復(fù)測(cè)試后比較舒服的區(qū)間。每一條請(qǐng)求獨(dú)立處理失敗不阻塞隊(duì)列記錄失敗原因最后統(tǒng)一匯總。這里有個(gè)重要經(jīng)驗(yàn)批量處理時(shí)一定要給每個(gè)請(qǐng)求打上唯一標(biāo)識(shí)比如簡(jiǎn)歷 ID這樣即使請(qǐng)求失敗也可以精準(zhǔn)追溯到是哪份簡(jiǎn)歷出問(wèn)題而不用去猜。批量處理還要考慮整體耗時(shí)。網(wǎng)關(guān)的緩存在這里能發(fā)揮很大作用如果批量數(shù)據(jù)里有重復(fù)的職位描述緩存能節(jié)省大量重復(fù)請(qǐng)求的成本。我在批量測(cè)試中用的同一職位描述配十份簡(jiǎn)歷因?yàn)槁毼幻枋鱿嗤W(wǎng)關(guān)緩存讓后續(xù)請(qǐng)求的耗時(shí)明顯降低token 消耗也省了不少。4.3 第三步匹配報(bào)告生成批量評(píng)分只是中間結(jié)果用戶要的是一份能看懂的報(bào)告。我設(shè)計(jì)的數(shù)據(jù)結(jié)構(gòu)里包含總分、分維度評(píng)分、匹配亮點(diǎn)、風(fēng)險(xiǎn)項(xiàng)、推薦動(dòng)作五塊。總分我用百分制方便類(lèi)比分維度我拆成“硬技能匹配”“經(jīng)驗(yàn)?zāi)晗奁ヅ洹薄绊?xiàng)目經(jīng)歷匹配”“綜合素質(zhì)匹配”這四個(gè)維度覆蓋了 HR 初篩關(guān)心的信息。報(bào)告生成的難點(diǎn)不在數(shù)據(jù)而在文案。模型輸出的優(yōu)勢(shì)亮點(diǎn)和風(fēng)險(xiǎn)項(xiàng)往往是一句概括直接展示也還行但我建議做一些簡(jiǎn)單加工比如把風(fēng)險(xiǎn)和職位要求做關(guān)聯(lián)指出“簡(jiǎn)歷中未體現(xiàn) XX 技能而該技能在職位要求中標(biāo)記為必選項(xiàng)”。這類(lèi)結(jié)論的生成也可以在提示詞里約定讓模型在輸出 JSON 時(shí)就帶上關(guān)聯(lián)分析而不是事后處理。最后把報(bào)告渲染成結(jié)構(gòu)化數(shù)據(jù)返回給前端。前端拿到 JSON 可以直接渲染成卡片或者表格。我一般會(huì)在接口返回里加一個(gè)generated_at時(shí)間戳方便 UI 層顯示“評(píng)分時(shí)間”這樣用戶知道這份報(bào)告是什么時(shí)候生成的避免因?yàn)榫彺鎸?dǎo)致用戶看到舊數(shù)據(jù)而困惑。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 問(wèn)題模型返回的內(nèi)容解析不了這是最常見(jiàn)的問(wèn)題。一輪模型返回可能因?yàn)楦鞣N原因?qū)е?JSON 解析失敗上下文太長(zhǎng)被截?cái)?、模型輸出了額外的解釋文字、JSON 中的引號(hào)被轉(zhuǎn)義異常等。我的排查順序是先把原始返回打印出來(lái)人工看一下問(wèn)題在哪類(lèi)。如果只是多了解釋文字那說(shuō)明提示詞還不夠嚴(yán)格需要強(qiáng)調(diào)“只返回 JSON不要任何解釋”如果是截?cái)嗄蔷驼{(diào)大max_tokens如果輸出結(jié)構(gòu)對(duì)但多了末尾逗號(hào)說(shuō)明要用容錯(cuò)解析器。5.2 問(wèn)題網(wǎng)關(guān)配置無(wú)誤但請(qǐng)求一直超時(shí)超時(shí)不是網(wǎng)關(guān)的固定現(xiàn)象通常要分三段看一是段是我的后端到網(wǎng)關(guān)這段可能是網(wǎng)絡(luò)問(wèn)題很少見(jiàn)二段是網(wǎng)關(guān)到模型服務(wù)商這段最常見(jiàn)的原因是模型服務(wù)商負(fù)載高或限流三段是模型推理本身慢。有一個(gè)排查技巧把同樣的請(qǐng)求直接發(fā)給模型服務(wù)商繞過(guò)網(wǎng)關(guān)看響應(yīng)時(shí)間。如果直連也慢那就是模型服務(wù)商的問(wèn)題說(shuō)明網(wǎng)關(guān)回退策略配置是對(duì)的如果直連很快但走網(wǎng)關(guān)慢那就是網(wǎng)關(guān)配置的問(wèn)題檢查路由規(guī)則的區(qū)域選擇或回退條件設(shè)置。5.3 問(wèn)題多次調(diào)用結(jié)果不一致這個(gè)原因多半是溫度設(shè)置問(wèn)題。我在實(shí)踐中碰到過(guò)一次代碼里沒(méi)有顯式設(shè)置temperatureSDK 默認(rèn)值跟隨服務(wù)商結(jié)果服務(wù)商默認(rèn)是 1導(dǎo)致同一組輸入跑五次得五個(gè)結(jié)果。我把它顯式改為 0 之后結(jié)果基本一致。如果你已經(jīng)設(shè)置了 0 還是不穩(wěn)定檢查提示詞是否包含模糊的開(kāi)放性問(wèn)題比如“你怎么看”這種措辭天然帶引導(dǎo)性模型的自由度再低也可能產(chǎn)生不同表達(dá)。5.4 問(wèn)題緩存命中導(dǎo)致結(jié)果更新不及時(shí)這是一個(gè)容易忽略的場(chǎng)景。開(kāi)發(fā)測(cè)試階段我修改了提示詞之后第一次調(diào)用返回新結(jié)果第二次調(diào)用卻回到了舊結(jié)果排查了很久發(fā)現(xiàn)是網(wǎng)關(guān)緩存造成的。解決方式是在測(cè)試時(shí)關(guān)閉緩存或者帶上唯一的請(qǐng)求頭標(biāo)識(shí)繞過(guò)緩存。生產(chǎn)環(huán)境建議區(qū)分場(chǎng)景職位描述和簡(jiǎn)歷都是靜態(tài)數(shù)據(jù)的查詢可以開(kāi)緩存但依賴實(shí)時(shí)信息的請(qǐng)求不要開(kāi)。5.5 快速排查速查表癥狀可能原因處理方式全部請(qǐng)求失敗網(wǎng)關(guān)地址或密鑰配置錯(cuò)誤檢查網(wǎng)關(guān)配置中的 baseURL 和 API Key偶然失敗重試成功模型服務(wù)商限流或網(wǎng)絡(luò)抖動(dòng)配置回退模型設(shè)置合理的重試次數(shù)返回的 JSON 解析失敗模型輸出格式不規(guī)范或 token 不夠強(qiáng)化提示詞約束增加容錯(cuò)解析調(diào)大 max_tokens相同輸入結(jié)果漂移溫度過(guò)高或提示詞不嚴(yán)謹(jǐn)temperature 設(shè)為 0提示詞明確打分規(guī)則結(jié)果始終不變化網(wǎng)關(guān)緩存生效測(cè)試時(shí)關(guān)閉緩存或帶唯一 header 繞過(guò)延遲異常偏高模型推理慢或并發(fā)過(guò)高降低并發(fā)數(shù)檢查回退模型是否生效分?jǐn)?shù)超出范圍模型未遵循評(píng)分規(guī)則在提示詞里增加范圍說(shuō)明代碼層做歸一化兜底維度字段缺失模型漏掉部分結(jié)構(gòu)代碼層字段校驗(yàn)和默認(rèn)值兜底提示詞給出完整示例5.6 一個(gè)反向經(jīng)驗(yàn)不要過(guò)度設(shè)計(jì)最后說(shuō)一個(gè)心態(tài)層面的經(jīng)驗(yàn)。簡(jiǎn)歷匹配工具很容易陷入過(guò)度設(shè)計(jì)的坑。我第一次實(shí)現(xiàn)時(shí)總想把整個(gè)功能做到盡善盡美要支持多種文件格式上傳、要做可視化的雷達(dá)圖、要支持多人協(xié)作批注。結(jié)果代碼寫(xiě)了很多核心的匹配鏈路反而不穩(wěn)。后來(lái)我把范圍收窄優(yōu)先保證“輸入文本得到可靠評(píng)分”這個(gè)核心閉環(huán)那些錦上添花的功能全部砍掉工具反而真正可用了。這個(gè)經(jīng)驗(yàn)也適用于模型選型。不要試圖在一個(gè)版本里同時(shí)驗(yàn)證多個(gè)模型多個(gè)參數(shù)控制變量一次只改一個(gè)變量才能清楚地知道什么改動(dòng)影響了什么結(jié)果。我在調(diào)優(yōu)提示詞期間每次只改一句話或者一個(gè)字段然后記錄輸出變化這樣的迭代效率最高。6. 總結(jié)這套方案的可擴(kuò)展方向簡(jiǎn)歷匹配的架構(gòu)不只是為這一個(gè)場(chǎng)景服務(wù)。本質(zhì)上它是一個(gè)“文本輸入 結(jié)構(gòu)化評(píng)分輸出”的通用范式換成其他評(píng)估類(lèi)任務(wù)也完全適用。比如可以改成簡(jiǎn)歷關(guān)鍵詞提取、崗位畫(huà)像生成、面試問(wèn)題推薦底層鏈路不變變的只是提示詞和輸出 schema。我這里分享幾個(gè)實(shí)際驗(yàn)證過(guò)的擴(kuò)展方向一是把評(píng)估結(jié)果存庫(kù)按月統(tǒng)計(jì)分析可以沉淀出各崗位熱門(mén)技能的趨勢(shì)二是接入定時(shí)任務(wù)每天自動(dòng)對(duì)新入庫(kù)的簡(jiǎn)歷跑一次批量評(píng)分HR 上班直接看結(jié)果三是把報(bào)告做成可導(dǎo)出的 PDF 或網(wǎng)頁(yè)鏈接方便轉(zhuǎn)發(fā)給候選人。每一步都在原有基礎(chǔ)上增加少量代碼但價(jià)值放大很明顯。我在實(shí)際使用中發(fā)現(xiàn)這套方案最舒服的狀態(tài)是“不折騰”模型能力升級(jí)時(shí)改網(wǎng)關(guān)配置流量增長(zhǎng)時(shí)調(diào)整并發(fā)和緩存參數(shù)業(yè)務(wù)需求變化時(shí)改提示詞模板。把基礎(chǔ)設(shè)施穩(wěn)定層和業(yè)務(wù)邏輯層分開(kāi)后續(xù)迭代的摩擦就小很多。希望這篇實(shí)戰(zhàn)記錄能幫你少走一些彎路尤其是結(jié)構(gòu)化輸出和緩存這兩個(gè)環(huán)節(jié)一旦處理好了整個(gè)工具會(huì)穩(wěn)定很多。