1. 從“context-mode”這個詞說起它到底指什么第一次看到“context-mode”這個標題很多人會愣一下——它不像“XX管理系統(tǒng)”“XX爬蟲框架”那樣一眼能看出用途。我最初接觸這個詞是在做對話系統(tǒng)上下文管理的時候當時團隊里有人提出“給會話加一個 context-mode 開關(guān)”我才意識到這其實是一個描述“上下文處理策略”的抽象概念而不是某個具體的庫或工具。簡單來說context-mode 指的是一個系統(tǒng)在處理“上下文”時采用的模式或策略。這里的“上下文”可以是一段對話的歷史消息、一次請求攜帶的環(huán)境參數(shù)、一個函數(shù)執(zhí)行時的作用域鏈也可以是一個 AI 應(yīng)用在生成回復(fù)前需要參考的全部背景信息。而“mode”則意味著面對同樣的上下文系統(tǒng)可以選擇不同的處理方式——全量保留、滑動窗口截斷、摘要壓縮、按優(yōu)先級篩選、分層緩存等等。它解決的問題非常實際上下文不是越多越好也不是越少越好而是要在“信息完整性”和“資源消耗”之間找到平衡點。比如一個客服機器人如果把用戶過去三個月的所有對話都塞給模型token 成本會爆炸響應(yīng)也會變慢但如果只保留最后一句話機器人又會丟失用戶之前說過的訂單號、產(chǎn)品型號等關(guān)鍵信息。context-mode 就是用來定義“到底保留哪些、丟棄哪些、怎么組織”的那套規(guī)則。這篇文章適合三類人看一是正在做對話系統(tǒng)、Agent 應(yīng)用、RAG 管道的開發(fā)者你們一定被上下文長度折磨過二是做后端服務(wù)、需要管理請求級上下文比如鏈路追蹤、多租戶隔離的工程師三是對 AI 應(yīng)用架構(gòu)感興趣、想理解“為什么同樣的大模型不同產(chǎn)品體驗差那么多”的技術(shù)愛好者。我會從概念拆解講到落地實現(xiàn)把我在實際項目里踩過的坑和總結(jié)出的模式都攤開來說。需要先說明一點context-mode 目前沒有一個官方標準不同團隊對它的定義有差異。我下面講的是基于常見工程實踐歸納出來的一套理解框架你可以把它當作設(shè)計參考而不是照搬的規(guī)范。2. 上下文為什么需要“模式”三種典型困境2.1 困境一窗口有限但信息無限增長大模型的上下文窗口是有硬上限的。早期是 4K token后來到 32K、128K現(xiàn)在有些模型號稱支持百萬級。但窗口變大不等于可以無腦塞。我做過一個實測把一個 8 萬 token 的對話歷史直接喂給模型響應(yīng)延遲從 1.2 秒漲到了 7 秒以上成本翻了十幾倍而回答質(zhì)量并沒有線性提升——因為大量歷史信息是冗余的反而稀釋了關(guān)鍵內(nèi)容的注意力權(quán)重。這就引出一個核心矛盾業(yè)務(wù)上希望“記住一切”工程上必須“有所取舍”。context-mode 的第一個作用就是定義取舍規(guī)則。常見的策略包括滑動窗口只保留最近 N 輪、摘要壓縮把舊對話總結(jié)成一段話、關(guān)鍵信息抽取只保留實體、意圖、槽位、分層保留近期全量 遠期摘要等。每種策略對應(yīng)一種 mode適用場景不同。2.2 困境二不同任務(wù)對上下文的敏感度差異巨大同一個系統(tǒng)里不同請求對上下文的需求可能完全相反。我拿一個實際項目舉例那是一個法律咨詢助手用戶會先描述案情然后連續(xù)追問細節(jié)。對于“幫我總結(jié)一下剛才說的案情”這類請求需要完整的歷史但對于“勞動合同法第幾條規(guī)定了試用期”這種事實性問題歷史上下文幾乎沒用反而可能干擾模型。如果系統(tǒng)只有一種上下文處理方式就會出現(xiàn)兩難全量保留則事實性問題變慢變貴激進截斷則總結(jié)類請求丟信息。context-mode 的價值就在于讓“上下文策略”變成可切換的配置根據(jù)請求類型、用戶等級、會話階段動態(tài)選擇。這就像開車時的駕駛模式——市區(qū)用經(jīng)濟模式高速用運動模式?jīng)]有一種模式通吃所有路況。2.3 困境三上下文里混著“噪聲”和“信號”原始上下文往往很臟。用戶可能發(fā)了一堆“嗯”“好的”“稍等”中間夾雜著真正重要的需求描述系統(tǒng)日志里混著無關(guān)的調(diào)試信息多輪工具調(diào)用產(chǎn)生的中間結(jié)果大部分是一次性的。如果不加處理直接使用模型會被噪聲帶偏。我遇到過最典型的情況用戶在和機器人聊了二十輪之后突然問“那這個多少錢”。如果上下文里最近幾輪都在聊別的產(chǎn)品模型很可能答錯價格。這時候需要的 context-mode 是**“按相關(guān)性重排 時間衰減”**——不是簡單取最近幾條而是根據(jù)當前 query 去檢索歷史中語義相關(guān)的片段再結(jié)合時間新鮮度加權(quán)。這已經(jīng)接近 RAG 的思路了但作用域是會話內(nèi)部而非外部知識庫。3. 拆解 context-mode 的核心維度一張設(shè)計決策表要設(shè)計一套 context-mode 機制我習慣從四個維度去思考。下面這張表是我在多個項目里反復(fù)用到的決策框架你可以對照自己的場景填一遍基本就能確定需要哪些 mode。維度關(guān)鍵問題常見選項適用場景保留策略保留哪些上下文全量 / 滑動窗口 / 摘要 / 檢索式 / 分層全量適合短會話檢索式適合長會話組織方式上下文怎么排列時間正序 / 時間倒序 / 相關(guān)性排序 / 結(jié)構(gòu)化分區(qū)倒序利于近期優(yōu)先分區(qū)利于多類型信息壓縮手段如何減少 token截斷 / 摘要 / 實體抽取 / 向量化摘要保語義抽取保精確切換觸發(fā)何時換 mode輪次閾值 / token 閾值 / 意圖識別 / 手動指定意圖識別最智能但成本高3.1 保留策略從“全量”到“檢索式”的連續(xù)譜全量保留是最簡單的 mode適合會話輪次少比如 5 輪以內(nèi)、上下文總量可控的場景。它的優(yōu)點是零信息損失缺點是成本隨輪次線性增長。我一般把它作為默認 mode但設(shè)置一個 token 閾值超過就自動降級?；瑒哟翱谑潜Ａ糇罱?N 輪或 N 個 token。這里有個容易踩的坑按輪次截斷和按 token 截斷效果差別很大。用戶一輪可能只發(fā)“好的”兩個字也可能發(fā)一大段案情描述。按輪次截斷會導致 token 數(shù)劇烈波動按 token 截斷更穩(wěn)定但可能把一輪對話從中間切斷。我的做法是按 token 截斷但保證不切斷單條消息從最舊的消息開始整條丟棄。摘要壓縮是把舊上下文用模型總結(jié)成一段話。這里的關(guān)鍵是摘要的粒度和更新頻率。我試過每 5 輪做一次摘要結(jié)果發(fā)現(xiàn)摘要本身也要消耗 token 和時間而且多次摘要會累積誤差。后來改成“當上下文超過閾值時把最舊的一半消息摘要成一段”效果更穩(wěn)。摘要 mode 適合長會話但要注意摘要可能丟失細節(jié)所以關(guān)鍵實體訂單號、金額、日期最好單獨抽取保留。檢索式是進階方案把歷史消息向量化存入臨時索引每次請求時用當前 query 檢索 top-k 相關(guān)片段。這個 mode 最省 token但引入了檢索延遲和召回率問題。我在一個知識密集型客服項目里用過配合“最近 3 輪全量 檢索 top-5 歷史片段”的混合策略效果比純滑動窗口好很多。3.2 組織方式順序會影響模型注意力同樣一組上下文排列順序不同模型的表現(xiàn)可能差很多。我做過對比實驗把關(guān)鍵信息放在上下文開頭、中間、結(jié)尾三個位置模型對結(jié)尾位置的召回率最高開頭次之中間最差——這就是所謂的“l(fā)ost in the middle”現(xiàn)象。所以我的經(jīng)驗是把最重要的信息放在上下文的末尾靠近用戶當前 query次要信息放開頭最不重要的放中間。如果是多類型信息系統(tǒng)指令、歷史對話、檢索結(jié)果、當前問題用明確的分隔符或結(jié)構(gòu)化標簽分區(qū)比如用 XML 標簽包裹不同區(qū)塊模型對結(jié)構(gòu)的敏感度比純文本高。3.3 壓縮手段摘要和抽取要配合使用摘要擅長保留“語義走向”比如“用戶之前咨詢過退貨政策表示對運費不滿”。抽取擅長保留“精確事實”比如訂單號ORD-2024-8871、金額￥299。兩者不是替代關(guān)系而是互補。我的做法是摘要用于對話脈絡(luò)抽取用于關(guān)鍵實體兩者拼在一起作為壓縮后的上下文。這里有個實操細節(jié)抽取實體時不要只抽一次就完事因為實體可能在后文被修正。比如用戶先說“我要退 A 商品”后來說“算了改成 B 商品”。如果只保留第一次抽取的 A就會出錯。所以抽取邏輯要支持覆蓋更新以最后一次出現(xiàn)的值為準。3.4 切換觸發(fā)什么時候該換 mode手動指定 mode 最可控但用戶體驗差。自動切換需要觸發(fā)條件常見的有輪次閾值超過 10 輪切換到摘要 modetoken 閾值上下文超過模型窗口的 60% 時觸發(fā)壓縮意圖識別檢測到“總結(jié)”“回顧”類意圖時切回全量檢測到事實性問題時切到精簡 mode成本預(yù)算按用戶等級或請求優(yōu)先級動態(tài)調(diào)整我傾向于組合觸發(fā)token 閾值作為兜底防止超限意圖識別作為優(yōu)化提升體驗。純靠意圖識別風險大因為意圖分類本身可能出錯一旦把需要全量的請求誤判為精簡用戶會明顯感到“機器人失憶了”。4. 落地實現(xiàn)一個可運行的 context-mode 管理器光講概念不夠我把自己項目里用的一套簡化實現(xiàn)拆出來講。這套代碼用 Python 寫核心是一個ContextManager類支持多種 mode 切換。你可以直接拿去改。4.1 數(shù)據(jù)結(jié)構(gòu)設(shè)計消息、會話、模式配置先定義基礎(chǔ)結(jié)構(gòu)。每條消息包含角色、內(nèi)容、時間戳、token 數(shù)、以及一個可選的pinned標記用于標記不可丟棄的關(guān)鍵消息。from dataclasses import dataclass, field from typing import List, Optional import time dataclass class Message: role: str # user / assistant / system / tool content: str timestamp: float field(default_factorytime.time) tokens: int 0 pinned: bool False # 關(guān)鍵消息壓縮時優(yōu)先保留 dataclass class ContextConfig: mode: str sliding # full / sliding / summary / retrieval / hybrid max_tokens: int 4000 # 上下文 token 上限 window_size: int 10 # 滑動窗口保留輪次 summary_threshold: int 3000 # 觸發(fā)摘要的 token 閾值 retrieval_top_k: int 5 # 檢索式保留片段數(shù)這里pinned字段很關(guān)鍵。我在實際項目里發(fā)現(xiàn)有些消息絕對不能丟比如用戶明確說“記住我的訂單號是 XXX”或者系統(tǒng)注入的租戶配置。給這些消息打上 pinned 標記任何壓縮策略都要優(yōu)先保留它們。4.2 滑動窗口 mode 的實現(xiàn)與邊界處理滑動窗口看似簡單但邊界處理有講究。我的實現(xiàn)邏輯是從最新消息往前累加 token直到接近上限然后整條保留不切斷消息。def sliding_window(messages: List[Message], max_tokens: int) - List[Message]: selected [] total 0 # 先保留所有 pinned 消息 for msg in messages: if msg.pinned: selected.append(msg) total msg.tokens # 從最新往前加非 pinned 消息 for msg in reversed(messages): if msg.pinned: continue if total msg.tokens max_tokens: break selected.append(msg) total msg.tokens # 恢復(fù)時間正序 selected.sort(keylambda m: m.timestamp) return selected注意這里有個細節(jié)pinned 消息可能很多如果 pinned 本身就超限了怎么辦我的做法是pinned 優(yōu)先超限時對 pinned 內(nèi)部再做一次摘要而不是直接丟棄。因為 pinned 之所以被標記就是因為它重要直接丟會出大問題。4.3 摘要 mode什么時候摘要、摘要什么、怎么拼接摘要 mode 的觸發(fā)時機我前面提過是 token 超過閾值。但摘要本身也有講究。我的實現(xiàn)是把最舊的一半非 pinned 消息交給模型摘要摘要結(jié)果作為一條 system 消息插入上下文開頭。def summarize_old_messages(messages: List[Message], llm_client) - str: # 取最舊的一半非 pinned 消息 non_pinned [m for m in messages if not m.pinned] half len(non_pinned) // 2 to_summarize non_pinned[:half] if not to_summarize: return text \n.join(f{m.role}: {m.content} for m in to_summarize) prompt f請用簡潔的中文總結(jié)以下對話的關(guān)鍵信息保留實體、數(shù)字和結(jié)論\n{text} return llm_client.generate(prompt)這里有個坑摘要 prompt 必須明確要求保留實體和數(shù)字否則模型會寫成“用戶咨詢了退貨相關(guān)問題”這種沒用的概括。我試過不加這句結(jié)果摘要里訂單號全丟了后面用戶問“我那個訂單怎么樣了”機器人完全接不上。拼接時摘要消息放在最前面然后是 pinned 消息最后是最近的全量消息。這樣模型先看到背景摘要再看到關(guān)鍵事實最后看到當前對話層次清晰。4.4 檢索式 mode會話內(nèi)向量檢索的輕量方案檢索式 mode 適合超長會話。完整方案需要向量數(shù)據(jù)庫但會話內(nèi)檢索其實可以用輕量方案用 TF-IDF 或 BM25 做關(guān)鍵詞檢索不一定要上 embedding。因為會話內(nèi)消息通常有大量詞匯重疊用戶會重復(fù)提到同一產(chǎn)品名、訂單號關(guān)鍵詞檢索的召回率已經(jīng)夠用而且零額外成本。from rank_bm25 import BM25Okapi def retrieval_mode(messages: List[Message], query: str, top_k: int) - List[Message]: corpus [m.content for m in messages] tokenized [doc.split() for doc in corpus] bm25 BM25Okapi(tokenized) scores bm25.get_scores(query.split()) # 取 top_k同時保證最近 3 輪一定在 top_indices sorted(range(len(scores)), keylambda i: scores[i], reverseTrue)[:top_k] recent list(range(max(0, len(messages)-3), len(messages))) final_indices sorted(set(top_indices) | set(recent)) return [messages[i] for i in final_indices]這個方案我在一個日均 5 萬次請求的項目里跑過檢索延遲在 10ms 以內(nèi)比 embedding 方案快一個數(shù)量級。當然如果會話里語義相似但用詞不同的情況多還是得上 embedding。選型要看具體數(shù)據(jù)分布。4.5 混合 mode我的默認推薦配置純?nèi)魏我环N mode 都有短板我最終在生產(chǎn)環(huán)境用的是混合 mode最近 3 輪全量 pinned 消息 檢索 top-5 歷史片段 超長時追加摘要。這個組合覆蓋了“近期精確”“關(guān)鍵事實”“相關(guān)歷史”“遠期脈絡(luò)”四個層次。配置上我把max_tokens設(shè)為模型窗口的 50%留一半給模型輸出和系統(tǒng)指令。這個比例是我多次壓測后定的超過 60% 時延遲明顯上升低于 40% 時信息不夠用。當然不同模型不一樣你需要自己測。5. 踩坑記錄那些讓我加班到凌晨的上下文問題5.1 坑一摘要的“滾雪球”誤差早期我做摘要 mode 時是每次超限就把全部歷史摘要一次然后新消息繼續(xù)追加下次超限再把“舊摘要新消息”一起摘要。結(jié)果跑了十幾輪之后摘要變得面目全非——最初的訂單號、金額全沒了只?！坝脩糇稍兞耸酆髥栴}”這種廢話。根因摘要是不可逆的有損壓縮多次摘要會累積誤差就像反復(fù)復(fù)印同一張紙越印越模糊。修復(fù)方案改成“分層摘要”——原始消息保留在存儲層不刪摘要只用于構(gòu)建上下文。每次摘要時從原始消息重新生成而不是在舊摘要上再摘要。這樣雖然多存了數(shù)據(jù)但摘要質(zhì)量穩(wěn)定。存儲成本遠低于模型調(diào)用成本這筆賬要算清楚。5.2 坑二pinned 消息的“僵尸化”有次用戶反饋機器人“記不住事”。排查發(fā)現(xiàn)用戶早期說過的訂單號被標記為 pinned一直保留在上下文里。但后來用戶改了訂單新訂單號沒有被標記 pinned結(jié)果舊訂單號一直占著位置新訂單號反而被滑動窗口擠掉了。根因pinned 標記是靜態(tài)的沒有隨信息更新而失效。修復(fù)方案引入“實體版本”概念。同一類實體如訂單號只保留最新版本舊版本自動取消 pinned。實現(xiàn)上可以用一個簡單的實體槽位表每次抽取到新值就覆蓋舊值并更新對應(yīng)消息的 pinned 狀態(tài)。5.3 坑三多租戶場景下的上下文串擾在一個 SaaS 項目里多個租戶共用同一套服務(wù)。有次出現(xiàn)嚴重 bugA 租戶的用戶看到了 B 租戶的上下文片段。排查發(fā)現(xiàn)是緩存 key 設(shè)計有問題只用了 session_id 做 key而 session_id 在不同租戶間可能重復(fù)。根因上下文隔離維度不足。修復(fù)方案緩存 key 必須包含租戶 ID 用戶 ID 會話 ID 三級。而且上下文管理器初始化時就要綁定租戶不能等到寫入時才檢查。這個坑讓我意識到context-mode 不只是“保留多少”的問題更是“隔離誰和誰”的問題。多租戶場景下隔離優(yōu)先級高于一切壓縮策略。5.4 坑四工具調(diào)用結(jié)果的“一次性污染”Agent 應(yīng)用里工具調(diào)用會產(chǎn)生大量中間結(jié)果比如搜索返回的十條網(wǎng)頁摘要、數(shù)據(jù)庫查詢的原始行。這些結(jié)果對當前輪有用但下一輪基本是噪聲。我早期沒處理導致上下文迅速膨脹而且模型經(jīng)常被上一輪的搜索結(jié)果帶偏。修復(fù)方案給工具結(jié)果設(shè)置TTL生存輪數(shù)默認只保留 1 輪除非被顯式引用。實現(xiàn)上給消息加一個expire_after字段構(gòu)建上下文時過濾掉已過期的工具消息。這個改動讓平均上下文 token 數(shù)下降了 40%響應(yīng)質(zhì)量反而提升。6. 效果驗證怎么知道你的 context-mode 選對了6.1 三個必須監(jiān)控的指標選 mode 不能憑感覺要有數(shù)據(jù)。我一般盯三個指標上下文 token 均值與 P95均值看成本P95 看極端情況。如果 P95 遠超窗口說明壓縮策略沒兜住。關(guān)鍵信息召回率構(gòu)造一批測試用例每個用例有一個“必須被模型看到”的關(guān)鍵信息訂單號、日期、金額檢查最終上下文里是否包含。這個指標直接反映壓縮是否過度。端到端響應(yīng)延遲上下文處理本身有開銷摘要、檢索要單獨計時不能混在模型推理里。6.2 一個簡單的 A/B 測試框架我通常用離線回放做 A/B把歷史真實會話拿出來用不同 mode 重新構(gòu)建上下文讓模型生成回復(fù)然后人工或自動評估質(zhì)量。評估維度包括事實準確性、上下文連貫性、指令遵循度。跑幾百條就能看出明顯差異。這里有個經(jīng)驗不要只看平均分要看方差。有些 mode 平均分不差但方差大意味著不穩(wěn)定線上會出各種詭異問題。我寧愿選平均分略低但方差小的 mode。6.3 線上灰度與回滾策略新 mode 上線一定要灰度。我的做法是按用戶 ID 哈希分流先放 5% 流量觀察一周?；貪L開關(guān)要能秒級生效而且回滾后要能恢復(fù)到舊 mode 的上下文狀態(tài)——這就要求上下文存儲層和 mode 邏輯解耦mode 只是“視圖”底層消息始終完整保存。7. 不同場景下的 mode 選型建議7.1 客服機器人混合 mode 強 pinned客服場景的特點是會話中等長度10-30 輪關(guān)鍵實體多訂單、產(chǎn)品、金額且用戶經(jīng)?；厮?。我推薦混合 modepinned 策略要激進——所有實體抽取結(jié)果都標記 pinned并做版本管理。摘要用于對話脈絡(luò)檢索用于歷史回溯。7.2 代碼助手滑動窗口 文件上下文分區(qū)代碼助手的上下文分兩部分對話歷史和當前文件內(nèi)容。文件內(nèi)容通常很大但結(jié)構(gòu)清晰適合用分區(qū)方式組織——把函數(shù)簽名、相關(guān)代碼塊、報錯信息分區(qū)放置。對話歷史用滑動窗口即可因為代碼問題通常聚焦在當前幾輪。這里有個技巧把光標位置附近的代碼放在上下文末尾模型對末尾注意力最強。7.3 長文檔問答檢索式為主全量為輔長文檔問答的上下文主要是文檔片段不是對話歷史。這時候 context-mode 的重點是片段檢索和重排。我的做法是先用向量檢索召回 top-20再用 cross-encoder 重排取 top-5最后按文檔順序排列保持邏輯連貫。對話歷史只保留最近 2 輪因為文檔問答通常是獨立問題。7.4 多 Agent 協(xié)作結(jié)構(gòu)化上下文 角色隔離多 Agent 場景下每個 Agent 只需要看到與自己角色相關(guān)的上下文。比如規(guī)劃 Agent 需要看全局目標執(zhí)行 Agent 只需要看當前子任務(wù)。這時候 context-mode 的核心是按角色過濾 結(jié)構(gòu)化傳遞。我一般用 JSON 結(jié)構(gòu)定義上下文每個字段標注可見角色構(gòu)建時按角色裁剪。8. 我個人的幾條實操心得第一上下文處理邏輯要和業(yè)務(wù)邏輯解耦。我見過太多項目把壓縮邏輯寫死在業(yè)務(wù)代碼里改一個策略要動十幾個文件。正確的做法是抽象出 ContextManager業(yè)務(wù)層只負責往里面塞消息取的時候指定 mode。第二永遠保留原始消息。壓縮后的上下文是給模型看的但存儲層要留全量。排查問題時原始消息是唯一真相。我吃過虧——有次線上出問題結(jié)果發(fā)現(xiàn)壓縮后的上下文把關(guān)鍵信息丟了但原始消息也沒存根本沒法復(fù)現(xiàn)。第三token 計數(shù)不要用估算。不同模型的 tokenizer 不一樣估算誤差可能到 20%。我早期用字符數(shù)除以 4 估算結(jié)果中文場景嚴重低估導致頻繁超限。后來統(tǒng)一用對應(yīng)模型的 tokenizer 精確計數(shù)雖然慢一點但穩(wěn)定。第四給上下文加“新鮮度權(quán)重”。同樣相關(guān)的兩條歷史消息一條是 5 分鐘前的一條是 3 天前的顯然前者更重要。我在檢索式 mode 里加了時間衰減因子score 相關(guān)性 × exp(-Δt / τ)τ 取 1 小時左右。這個改動讓“最近提過但語義匹配度略低”的信息更容易被召回。第五定期 review 上下文內(nèi)容。我每個月會抽樣看一批線上真實上下文經(jīng)常發(fā)現(xiàn)意外情況比如某個工具返回了超長 JSON、某個用戶發(fā)了大量重復(fù)內(nèi)容、某個系統(tǒng)消息被反復(fù)注入。這些問題不看原始數(shù)據(jù)是發(fā)現(xiàn)不了的。Review 之后針對性加過濾規(guī)則比盲目調(diào)參有效得多。context-mode 這個東西說到底是在資源約束下做信息取舍的工程藝術(shù)。沒有銀彈只有對場景的深刻理解和對數(shù)據(jù)的持續(xù)觀察。我上面給的配置和代碼都是起點真正適合你業(yè)務(wù)的 mode得自己跑數(shù)據(jù)、看指標、迭代出來。