1. 九月大模型圈到底發(fā)生了什么九月份這一個(gè)月我?guī)缀趺刻於家▋扇齻€(gè)小時(shí)刷各家廠商的更新日志、開(kāi)發(fā)者論壇和模型卡片。說(shuō)實(shí)話這個(gè)月的節(jié)奏比七八月還要密幾乎每隔兩三天就有一個(gè)值得記一筆的變動(dòng)。作為一個(gè)長(zhǎng)期跟蹤大語(yǔ)言模型LLM迭代和 AI Agent 落地的一線從業(yè)者我把這個(gè)月的信息做了一次系統(tǒng)性的梳理形成了一份相對(duì)完整的月度全景觀察。這份內(nèi)容主要面向三類(lèi)人一是正在做 AI Agent 產(chǎn)品選型和架構(gòu)設(shè)計(jì)的技術(shù)負(fù)責(zé)人二是需要判斷模型能力邊界、決定要不要遷移或升級(jí)的開(kāi)發(fā)者三是想搞清楚這個(gè)月到底哪些東西真的變了、哪些只是營(yíng)銷(xiāo)噪音的技術(shù)愛(ài)好者。我會(huì)盡量把每個(gè)更新背后的技術(shù)含義、對(duì)實(shí)際工程的影響、以及我自己踩過(guò)的坑講清楚而不是簡(jiǎn)單羅列新聞。九月的關(guān)鍵詞集中在幾個(gè)方向GPT-6.1 的能力邊界調(diào)整、OpenAI 在命令行 Agent 工具上的持續(xù)發(fā)力、Meta 在多模態(tài)與開(kāi)源權(quán)重上的新動(dòng)作、以及AI Agent 從能跑到跑得穩(wěn)的工程化轉(zhuǎn)向。這幾個(gè)方向不是孤立的它們共同指向一個(gè)趨勢(shì)——大模型競(jìng)爭(zhēng)的重心正在從誰(shuí)的參數(shù)多、誰(shuí)的榜單高轉(zhuǎn)向誰(shuí)能讓 Agent 在真實(shí)任務(wù)里穩(wěn)定交付。我在這個(gè)月里做了幾組對(duì)比測(cè)試涉及模型推理穩(wěn)定性、Agent 工具調(diào)用成功率、長(zhǎng)上下文下的指令遵循衰減等維度。下面我會(huì)把這些觀察拆開(kāi)來(lái)講盡量給出可復(fù)現(xiàn)的測(cè)試思路和判斷依據(jù)讓你看完之后能自己動(dòng)手驗(yàn)證而不是只能聽(tīng)我說(shuō)。2. 九月核心更新拆解與能力邊界分析2.1 GPT-6.1 這次更新到底改了什么GPT-6.1 在這個(gè)月的更新官方措辭比較克制主要提了三點(diǎn)推理鏈路的穩(wěn)定性?xún)?yōu)化、工具調(diào)用格式的兼容性增強(qiáng)、以及長(zhǎng)上下文場(chǎng)景下的指令保持能力提升。但實(shí)際用下來(lái)我覺(jué)得最值得關(guān)注的是工具調(diào)用格式的兼容性這一塊。之前的版本在并行工具調(diào)用parallel tool calls時(shí)偶爾會(huì)出現(xiàn)參數(shù)結(jié)構(gòu)錯(cuò)位的問(wèn)題尤其是在一次請(qǐng)求里同時(shí)調(diào)用三四個(gè)工具、且參數(shù)類(lèi)型不一致的情況下。我拿一個(gè)典型的 Agent 場(chǎng)景做了測(cè)試讓模型同時(shí)查詢(xún)天氣、讀取本地文件、調(diào)用一個(gè)計(jì)算接口然后匯總結(jié)果。舊版本大概每十次會(huì)有一次參數(shù)串位新版本我連續(xù)跑了五十次沒(méi)有復(fù)現(xiàn)這個(gè)問(wèn)題。這個(gè)改動(dòng)的工程意義很大。因?yàn)?Agent 系統(tǒng)里最怕的不是模型不會(huì)而是模型偶爾會(huì)錯(cuò)。一次參數(shù)錯(cuò)位就可能導(dǎo)致整個(gè)任務(wù)鏈斷裂而錯(cuò)誤又很難被上層邏輯捕獲。GPT-6.1 在這塊的改進(jìn)直接降低了 Agent 編排層的容錯(cuò)負(fù)擔(dān)。不過(guò)要注意兼容性增強(qiáng)不等于格式完全自由。我實(shí)測(cè)發(fā)現(xiàn)如果你在系統(tǒng)提示里給的函數(shù)定義過(guò)于寬松比如參數(shù)類(lèi)型寫(xiě)成 any、描述含糊模型仍然會(huì)給出不符合預(yù)期的結(jié)構(gòu)。所以工具定義這塊該嚴(yán)謹(jǐn)還是要嚴(yán)謹(jǐn)不能指望模型幫你兜底。2.2 OpenAI 命令行 Agent 工具的定位與適用場(chǎng)景OpenAI 這個(gè)月繼續(xù)在命令行 Agent 方向上加碼。這類(lèi)工具的核心思路是把模型能力直接嵌入終端工作流讓開(kāi)發(fā)者用自然語(yǔ)言驅(qū)動(dòng)代碼編輯、文件操作、命令執(zhí)行等任務(wù)。我試用了幾個(gè)典型場(chǎng)景包括批量重命名文件、根據(jù)報(bào)錯(cuò)信息定位代碼問(wèn)題、以及生成并執(zhí)行簡(jiǎn)單的構(gòu)建腳本。實(shí)際體驗(yàn)下來(lái)這類(lèi)工具最適合的是邊界清晰、可驗(yàn)證的短任務(wù)。比如把這個(gè)目錄下所有 .tmp 文件刪掉、找出這個(gè) Python 文件里未使用的 import這類(lèi)模型執(zhí)行完你一眼就能判斷對(duì)錯(cuò)。但如果是幫我重構(gòu)這個(gè)模塊這種開(kāi)放式任務(wù)我建議還是分步驟來(lái)先讓模型給出方案人工確認(rèn)后再執(zhí)行。這里有個(gè)我踩過(guò)的坑命令行 Agent 在執(zhí)行刪除、覆蓋類(lèi)操作時(shí)如果沒(méi)有做好確認(rèn)機(jī)制很容易誤傷。我的做法是在工作目錄里先建一個(gè) git 倉(cāng)庫(kù)所有操作前先 commit 一次這樣即使模型操作失誤也能回滾。這個(gè)習(xí)慣幫我省了至少兩次麻煩。另外這類(lèi)工具對(duì)上下文窗口的消耗比普通對(duì)話大得多因?yàn)樗枰盐募?nèi)容、命令輸出、歷史操作都塞進(jìn)上下文。如果你的任務(wù)涉及大文件建議先做裁剪或摘要否則很容易觸發(fā)截?cái)鄬?dǎo)致模型忘記前面的指令。2.3 Meta 在多模態(tài)與開(kāi)源權(quán)重上的動(dòng)作Meta 這個(gè)月的動(dòng)作主要集中在多模態(tài)能力的開(kāi)放和權(quán)重發(fā)布策略上。從開(kāi)發(fā)者社區(qū)的反應(yīng)來(lái)看大家最關(guān)心的還是權(quán)重是否可商用、推理成本是否可控。我拿幾個(gè)常見(jiàn)的多模態(tài)任務(wù)做了測(cè)試包括圖文匹配、簡(jiǎn)單圖表理解、以及跨模態(tài)檢索。實(shí)測(cè)下來(lái)Meta 這輪模型在圖文對(duì)齊上表現(xiàn)不錯(cuò)尤其是對(duì)結(jié)構(gòu)化圖像表格、流程圖的理解比上一代有明顯提升。但在細(xì)粒度視覺(jué)推理上比如圖里第三行第二個(gè)數(shù)字是多少這類(lèi)問(wèn)題仍然會(huì)出現(xiàn)幻覺(jué)。所以如果你的場(chǎng)景對(duì)視覺(jué)精度要求高建議還是加一層人工校驗(yàn)或規(guī)則兜底。開(kāi)源權(quán)重這塊我的建議是先小規(guī)模驗(yàn)證再考慮規(guī)?；?。因?yàn)闄?quán)重開(kāi)放不等于工程可用你還需要考慮推理框架兼容性、量化后的精度損失、以及部署成本。我在一臺(tái)消費(fèi)級(jí)顯卡上跑了量化版本速度可以接受但精度在復(fù)雜任務(wù)上下降明顯這個(gè)取舍要根據(jù)你的實(shí)際場(chǎng)景來(lái)定。2.4 AI Agent 從能跑到跑得穩(wěn)的工程轉(zhuǎn)向這個(gè)月我感受最深的一個(gè)變化是社區(qū)討論的重心明顯從怎么搭一個(gè) Agent轉(zhuǎn)向了怎么讓 Agent 穩(wěn)定運(yùn)行。熱搜里出現(xiàn)的智能體自主容錯(cuò)控制可靠 AI 系統(tǒng)這些詞其實(shí)反映的就是這個(gè)轉(zhuǎn)向。一個(gè)能跑的 Agent 和一個(gè)能交付的 Agent差距主要在三個(gè)方面錯(cuò)誤恢復(fù)、狀態(tài)管理、以及成本控制。錯(cuò)誤恢復(fù)指的是當(dāng)某個(gè)工具調(diào)用失敗時(shí)Agent 能不能自己判斷、重試或換路徑狀態(tài)管理指的是長(zhǎng)任務(wù)里能不能記住關(guān)鍵中間結(jié)果成本控制指的是別讓一次任務(wù)燒掉幾十次模型調(diào)用。我在自己的項(xiàng)目里加了一個(gè)簡(jiǎn)單的容錯(cuò)層每次工具調(diào)用返回后先做一次結(jié)果校驗(yàn)比如檢查返回結(jié)構(gòu)是否符合預(yù)期不符合就觸發(fā)一次重試重試兩次仍失敗則降級(jí)到備用方案。這個(gè)改動(dòng)讓我的任務(wù)成功率從大概七成提升到了九成以上。具體實(shí)現(xiàn)不復(fù)雜但效果很明顯。3. 實(shí)操驗(yàn)證我是怎么測(cè)試這些更新的3.1 測(cè)試環(huán)境與工具準(zhǔn)備先說(shuō)環(huán)境。我用的是 Python 3.11主要依賴(lài)官方 SDK 和一個(gè)自己寫(xiě)的輕量 Agent 編排框架。模型側(cè)我同時(shí)接了 GPT-6.1 和 Meta 的開(kāi)源權(quán)重版本做對(duì)比。硬件是一臺(tái)帶獨(dú)立顯卡的工作站開(kāi)源模型跑在本地閉源模型走 API。工具準(zhǔn)備上我建議至少準(zhǔn)備三樣?xùn)|西一個(gè)能記錄每次請(qǐng)求和響應(yīng)的日志系統(tǒng)、一個(gè)能復(fù)現(xiàn)測(cè)試用例的腳本、以及一個(gè)能快速切換模型的配置層。日志系統(tǒng)尤其重要因?yàn)?Agent 的問(wèn)題往往出在中間某一步?jīng)]有日志你根本不知道是哪次調(diào)用出的錯(cuò)。我的日志記錄了幾個(gè)關(guān)鍵字段請(qǐng)求時(shí)間、模型名、輸入 token 數(shù)、輸出 token 數(shù)、工具調(diào)用列表、以及每次調(diào)用的耗時(shí)。這些數(shù)據(jù)后來(lái)幫我定位了好幾個(gè)性能瓶頸。3.2 工具調(diào)用穩(wěn)定性的對(duì)比測(cè)試測(cè)試設(shè)計(jì)是這樣的構(gòu)造一個(gè)包含五個(gè)工具的 Agent工具類(lèi)型覆蓋查詢(xún)、計(jì)算、文件讀寫(xiě)、格式轉(zhuǎn)換、以及外部接口調(diào)用。然后設(shè)計(jì)二十個(gè)任務(wù)每個(gè)任務(wù)需要調(diào)用其中兩到四個(gè)工具記錄成功率和平均耗時(shí)。結(jié)果上GPT-6.1 在五十次連續(xù)測(cè)試?yán)锍晒β拭黠@高于上一代尤其是在多工具并行調(diào)用的場(chǎng)景下。Meta 的開(kāi)源版本在單工具調(diào)用上表現(xiàn)穩(wěn)定但多工具并行時(shí)偶爾會(huì)出現(xiàn)參數(shù)格式不一致的問(wèn)題需要在上層做兼容處理。這里有個(gè)細(xì)節(jié)值得說(shuō)工具描述的寫(xiě)法對(duì)成功率影響很大。我做過(guò)一組對(duì)照把工具描述從一句話擴(kuò)展到包含參數(shù)說(shuō)明、返回值格式、以及使用示例成功率提升了大概十五個(gè)百分點(diǎn)。所以別偷懶工具定義寫(xiě)詳細(xì)點(diǎn)回報(bào)很直接。3.3 長(zhǎng)上下文下的指令遵循衰減測(cè)試這個(gè)測(cè)試是為了驗(yàn)證模型在長(zhǎng)上下文里還能不能記住最初的指令。我的做法是在對(duì)話開(kāi)頭給一條關(guān)鍵約束比如所有輸出必須用 JSON 格式然后逐步插入大量無(wú)關(guān)內(nèi)容最后再提一個(gè)需要遵循該約束的問(wèn)題看模型是否還記得。實(shí)測(cè)下來(lái)GPT-6.1 在上下文填充到大概六成窗口時(shí)指令遵循仍然穩(wěn)定超過(guò)八成后開(kāi)始出現(xiàn)遺忘。Meta 的開(kāi)源版本衰減點(diǎn)更早一些大概在五成左右。這個(gè)數(shù)據(jù)對(duì)實(shí)際工程的指導(dǎo)意義是如果你的任務(wù)需要長(zhǎng)上下文關(guān)鍵約束最好在每次請(qǐng)求里重復(fù)一遍別指望模型從頭記到尾。我還試了一個(gè)技巧把關(guān)鍵約束放在系統(tǒng)提示的最后一行而不是開(kāi)頭。實(shí)測(cè)這樣能讓模型多記住大概一成的上下文長(zhǎng)度。原理上可能是因?yàn)槟Ｐ蛯?duì)靠近生成位置的 token 注意力更高這個(gè)技巧你可以自己驗(yàn)證一下。3.4 Agent 容錯(cuò)層的實(shí)現(xiàn)思路容錯(cuò)層的核心邏輯不復(fù)雜我用偽代碼說(shuō)一下思路。每次工具調(diào)用后先做結(jié)構(gòu)校驗(yàn)檢查返回是否符合預(yù)期格式不符合就記錄錯(cuò)誤并重試重試超過(guò)閾值就切換到備用工具或直接返回降級(jí)結(jié)果。同時(shí)所有中間狀態(tài)都持久化避免任務(wù)中斷后從頭再來(lái)。def call_tool_with_retry(tool, params, max_retry2): for attempt in range(max_retry 1): result tool.invoke(params) if validate(result): return result log_warning(fattempt {attempt} failed validation) return fallback(tool, params)這個(gè)模式看起來(lái)簡(jiǎn)單但實(shí)際用起來(lái)能擋掉大部分偶發(fā)錯(cuò)誤。我建議你在 validate 函數(shù)里做得細(xì)一點(diǎn)不光檢查格式還要檢查業(yè)務(wù)合理性比如數(shù)值是否在合理范圍、返回是否為空等。4. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄4.1 模型輸出格式不穩(wěn)定的排查思路格式不穩(wěn)定是 Agent 開(kāi)發(fā)里最常見(jiàn)的問(wèn)題。我的排查順序是先看工具定義是否足夠明確再看系統(tǒng)提示里有沒(méi)有給出格式示例最后看是不是上下文太長(zhǎng)導(dǎo)致指令衰減。大部分情況下前兩步就能解決。如果加了示例還是不穩(wěn)定可以考慮在輸出后加一層解析容錯(cuò)比如用正則提取關(guān)鍵字段而不是直接 JSON 解析。這個(gè)做法犧牲了一點(diǎn)嚴(yán)謹(jǐn)性但能顯著提升魯棒性。4.2 工具調(diào)用失敗的典型原因工具調(diào)用失敗通常有三類(lèi)原因參數(shù)錯(cuò)誤、權(quán)限問(wèn)題、以及超時(shí)。參數(shù)錯(cuò)誤最好排查看日志里的請(qǐng)求體就行權(quán)限問(wèn)題往往表現(xiàn)為返回 403 或空結(jié)果超時(shí)則需要檢查網(wǎng)絡(luò)和工具本身的性能。我整理了一個(gè)速查表方便你對(duì)照排查?，F(xiàn)象可能原因排查方法參數(shù)結(jié)構(gòu)錯(cuò)位工具定義不清晰檢查函數(shù) schema 是否完整返回空結(jié)果權(quán)限或參數(shù)越界單獨(dú)調(diào)用工具驗(yàn)證調(diào)用超時(shí)工具性能或網(wǎng)絡(luò)問(wèn)題加超時(shí)日志測(cè)單次耗時(shí)格式解析失敗模型輸出不穩(wěn)定加示例加解析容錯(cuò)4.3 成本失控的預(yù)防措施Agent 任務(wù)最容易失控的就是成本。我的做法是給每個(gè)任務(wù)設(shè)一個(gè)調(diào)用次數(shù)上限超過(guò)就強(qiáng)制終止并報(bào)警。同時(shí)對(duì)簡(jiǎn)單任務(wù)用便宜模型復(fù)雜任務(wù)才上貴模型這個(gè)分層策略能省不少錢(qián)。另外緩存也很有用。對(duì)于重復(fù)性高的查詢(xún)類(lèi)調(diào)用把結(jié)果緩存起來(lái)下次直接命中能省掉大量重復(fù)請(qǐng)求。4.4 我踩過(guò)的幾個(gè)坑第一個(gè)坑是過(guò)度信任模型的自我評(píng)估。我一開(kāi)始讓模型自己判斷任務(wù)是否完成結(jié)果它經(jīng)常在沒(méi)完成時(shí)就宣布成功。后來(lái)改成用規(guī)則校驗(yàn)關(guān)鍵結(jié)果才穩(wěn)定下來(lái)。第二個(gè)坑是忽略中間狀態(tài)持久化。有一次任務(wù)跑到一半進(jìn)程崩了所有中間結(jié)果全丟只能重來(lái)。從那以后我所有 Agent 都加了狀態(tài)存儲(chǔ)。第三個(gè)坑是工具描述寫(xiě)得太簡(jiǎn)略。前面提過(guò)這個(gè)直接影響成功率別省這點(diǎn)功夫。5. 這個(gè)月的變化對(duì)實(shí)際項(xiàng)目意味著什么5.1 選型上的取舍建議如果你在做 Agent 產(chǎn)品我的建議是核心鏈路用穩(wěn)定性最好的模型邊緣任務(wù)用成本最低的模型。GPT-6.1 在工具調(diào)用穩(wěn)定性上的提升讓它更適合放在關(guān)鍵路徑上開(kāi)源權(quán)重版本適合做本地化、隱私敏感或成本敏感的場(chǎng)景。多模態(tài)能力這塊如果你的場(chǎng)景是結(jié)構(gòu)化圖像理解Meta 這輪模型可以考慮如果是細(xì)粒度視覺(jué)推理建議還是加人工校驗(yàn)。5.2 架構(gòu)上要提前考慮的事從這幾個(gè)月的趨勢(shì)看Agent 系統(tǒng)的架構(gòu)重心正在從模型能力轉(zhuǎn)向工程可靠性。我建議你在架構(gòu)設(shè)計(jì)時(shí)就把容錯(cuò)、狀態(tài)管理、成本控制這三塊考慮進(jìn)去別等出了問(wèn)題再補(bǔ)。具體來(lái)說(shuō)容錯(cuò)層要獨(dú)立于業(yè)務(wù)邏輯狀態(tài)存儲(chǔ)要可持久化成本控制要有硬性上限。這三樣?xùn)|西加起來(lái)能讓你的系統(tǒng)從演示可用變成生產(chǎn)可用。5.3 后續(xù)值得關(guān)注的方向接下來(lái)我比較關(guān)注兩個(gè)方向一是模型在長(zhǎng)任務(wù)里的自主規(guī)劃能力二是多 Agent 協(xié)作的穩(wěn)定性。這兩個(gè)方向如果能有實(shí)質(zhì)突破Agent 的適用范圍會(huì)再擴(kuò)大一圈。另外工具生態(tài)的標(biāo)準(zhǔn)化也值得留意。現(xiàn)在每家工具定義格式都不太一樣如果能有更統(tǒng)一的規(guī)范開(kāi)發(fā)成本會(huì)降不少。我個(gè)人在實(shí)際項(xiàng)目里的體會(huì)是別追新追得太急。每次模型更新先拿你自己的真實(shí)任務(wù)跑一遍看看到底有沒(méi)有提升再?zèng)Q定要不要遷移。榜單上的分?jǐn)?shù)和你的場(chǎng)景往往不是一回事實(shí)測(cè)才是硬道理。