編者按當(dāng)模型能力逐漸成為可采購的通用商品企業(yè)之間的差距將不再由模型清單拉開而由圍繞模型構(gòu)建的工程體系決定。這一點(diǎn)正在成為企業(yè)AI從試點(diǎn)走向規(guī)?；a(chǎn)的分水嶺。過去幾年圍繞人工智能的討論幾乎被同一條敘事主導(dǎo)更大的模型、更強(qiáng)的推理能力、更長的上下文窗口、更高的基準(zhǔn)分?jǐn)?shù)。每一次能力躍遷都會引發(fā)一輪「換模型」的討論仿佛只要選對了那個(gè)榜單上最靠前的模型企業(yè)的AI戰(zhàn)略就能自動成立。但MIT Technology Review刊發(fā)的這篇題為《Designing an AI serving harness built to last》的文章提出了一個(gè)不同的判斷企業(yè)AI的下一個(gè)競爭優(yōu)勢與其說取決于你選擇哪個(gè)模型不如說取決于你在模型周圍構(gòu)建了什么。這是一個(gè)重要的轉(zhuǎn)向——它意味著競爭的焦點(diǎn)正從「模型能力」遷移到「系統(tǒng)能力」。一、模型正在變成可替換的零件理解這一轉(zhuǎn)向首先要明白模型市場正在發(fā)生什么。開源模型與閉源模型的能力差距持續(xù)收窄同一梯隊(duì)的模型在通用任務(wù)上的表現(xiàn)日益接近價(jià)格戰(zhàn)讓推理成本快速下降而模型迭代周期已經(jīng)縮短到以月乃至以周計(jì)。今天的最優(yōu)選擇很可能在半年后既不是最強(qiáng)、也不是最便宜的。在這種環(huán)境下把所有業(yè)務(wù)邏輯、提示詞、評測流程和運(yùn)維經(jīng)驗(yàn)都硬編碼到某一個(gè)模型的調(diào)用方式上是一種高風(fēng)險(xiǎn)做法。一旦更換模型這些沉淀就得推倒重來。反過來如果企業(yè)能把「模型」抽象為一個(gè)可插拔的組件用統(tǒng)一的接口去調(diào)度、評測、切換、回滾那么模型能力的每一次進(jìn)步都能被低摩擦地吸收而不是每次都要重新做一遍集成工程。這正是「服務(wù)承載框架」serving harness要解決的問題。它不是模型本身而是模型運(yùn)行其上的那一層工程結(jié)構(gòu)。二、什么是AI服務(wù)承載框架所謂serving harness可以理解為模型與業(yè)務(wù)之間的中間層。它負(fù)責(zé)的事情相當(dāng)具體把請求路由到合適的模型管理上下文與提示模板處理重試、超時(shí)、限流與降級記錄完整的調(diào)用鏈路以便審計(jì)與排障對輸出進(jìn)行結(jié)構(gòu)化校驗(yàn)與安全過濾以及在多個(gè)模型之間做成本與質(zhì)量的動態(tài)權(quán)衡。這一層聽起來并不起眼卻恰恰是「演示」與「生產(chǎn)」之間的差距所在。一個(gè)在實(shí)驗(yàn)室里跑通的智能體到了真實(shí)業(yè)務(wù)環(huán)境中會遇到并發(fā)尖峰、長尾延遲、模型幻覺、上下文超限、供應(yīng)商故障、合規(guī)審計(jì)等一系列問題。承載框架的價(jià)值就是在這些問題發(fā)生時(shí)不至于讓整個(gè)系統(tǒng)一起崩塌。換句話說模型決定了能力上限而承載框架決定了可用性下限。對企業(yè)而言下限往往比上限更重要——因?yàn)闃I(yè)務(wù)不能靠偶爾一次的驚艷表現(xiàn)來運(yùn)轉(zhuǎn)。三、為什么「built to last」如此困難文章標(biāo)題中「built to last」這個(gè)限定詞值得注意。設(shè)計(jì)一個(gè)能撐過數(shù)年的框架比設(shè)計(jì)一個(gè)能跑通今天的框架難得多原因有三。其一技術(shù)棧變化太快。今天的推理接口、工具調(diào)用協(xié)議、上下文管理方式兩三年后可能完全不同。框架若過度耦合于某一代技術(shù)細(xì)節(jié)很快會變成技術(shù)債。其二需求會漂移。業(yè)務(wù)方最初只想要一個(gè)問答機(jī)器人后來可能要求它接入內(nèi)部系統(tǒng)、執(zhí)行多步任務(wù)、承擔(dān)有審計(jì)要求的決策輔助?？蚣鼙仨毦邆渥銐虻某橄竽芰沓薪舆@種演進(jìn)而不是每來一個(gè)新需求就重寫一遍。其三組織會變化。誰來維護(hù)這套框架是平臺團(tuán)隊(duì)、數(shù)據(jù)團(tuán)隊(duì)還是各業(yè)務(wù)線自建如果框架設(shè)計(jì)沒有清晰的責(zé)任邊界和可觀測性它會在多人協(xié)作中逐漸腐化最終無人敢動。四、長期框架的四條設(shè)計(jì)原則基于上述挑戰(zhàn)可以歸納出幾條在實(shí)踐中被反復(fù)驗(yàn)證的原則。第一把模型當(dāng)作可替換依賴。統(tǒng)一抽象層保留灰度切換與快速回滾能力讓「換模型」成為一個(gè)配置動作而不是一次項(xiàng)目立項(xiàng)。第二把可觀測性作為一等公民。從第一天起就記錄請求、上下文、模型版本、token消耗、延遲與失敗原因。沒有這些數(shù)據(jù)成本優(yōu)化和質(zhì)量評估都只能靠猜。第三把評測內(nèi)嵌到流程中?？蚣軕?yīng)能對新模型、新提示、新版本自動跑回歸評測用數(shù)據(jù)回答「這次改動是變好還是變壞」而不是靠個(gè)別案例的主觀感受。第四把成本與質(zhì)量放在同一張儀表盤上。不同任務(wù)對質(zhì)量的要求并不相同框架應(yīng)支持按場景選擇模型檔位把昂貴的推理能力用在高價(jià)值環(huán)節(jié)把輕量模型用在高頻簡單環(huán)節(jié)。當(dāng)模型本身越來越像水電一樣的基礎(chǔ)資源真正構(gòu)成壁壘的是企業(yè)圍繞模型沉淀下來的工程資產(chǎn)路由策略、評測集、提示資產(chǎn)、運(yùn)維經(jīng)驗(yàn)和組織流程。這些東西不會因?yàn)橐淮文Ｐ桶l(fā)布而過時(shí)反而會隨使用而增值。五、對企業(yè)的現(xiàn)實(shí)含義這一判斷對企業(yè)有三點(diǎn)直接含義。首先AI預(yù)算的分配需要重新審視如果絕大部分投入都用于追逐最新模型而承載框架仍停留在腳本拼接階段那么投入產(chǎn)出比會越來越差。其次平臺團(tuán)隊(duì)的價(jià)值被低估了——那些看起來「不產(chǎn)出業(yè)務(wù)功能」的抽象層、評測工具和監(jiān)控體系恰恰是長期競爭力的來源。最后管理層需要把AI視為一項(xiàng)系統(tǒng)工程而不是一次采購決策。模型會繼續(xù)進(jìn)步榜單會繼續(xù)刷新價(jià)格會繼續(xù)下降。這些都值得關(guān)注但它們更像是潮水會同時(shí)抬高所有船只。真正讓一家企業(yè)與另一家企業(yè)拉開差距的是它在潮水之下打下的那層地基——一個(gè)設(shè)計(jì)良好、能夠長期演進(jìn)、經(jīng)得起模型換代與業(yè)務(wù)擴(kuò)張沖擊的服務(wù)承載框架。這也解釋了一個(gè)看似矛盾的現(xiàn)象在模型能力最強(qiáng)的時(shí)代工程能力反而變得更重要了。本文編譯自MIT Technology Review本文首發(fā)于贏政天下 獲取更多深度技術(shù)內(nèi)容與資源歡迎訪問官網(wǎng)。