模型參數(shù)能放進(jìn)顯存不代表還能接下任意數(shù)量的會(huì)話。長上下文、并發(fā)生成和運(yùn)行時(shí)緩沖一起增長往往先把“看起來還有空位”的容量計(jì)劃推翻。主機(jī) Swap 與 GPU KV 緩存是兩本賬2026年10月5日Kubernetes 的 節(jié)點(diǎn) Swap 工作負(fù)載分析討論了主機(jī)內(nèi)存分頁與不同工作集的取舍。它并不意味著開了節(jié)點(diǎn) Swap 就能擴(kuò)充 GPU 上的 KV 緩存?？蚣芸梢蕴峁╋@式 offload但需要單獨(dú)驗(yàn)證傳輸開銷與延遲。Transformers KV cache 文檔介紹不同緩存策略及其內(nèi)存取舍。具體占用受注意力結(jié)構(gòu)、緩存精度、滑動(dòng)窗口、分頁、共享前綴和并行切分影響。不能只拿模型參數(shù)量乘一個(gè)常數(shù)便宣布某張卡可承載多少 Agent。圖中公式計(jì)算所有活躍會(huì)話的 KV 總量最終準(zhǔn)入仍要扣除權(quán)重、激活、框架工作區(qū)及安全余量。會(huì)話數(shù)量也不是唯一控制量輸入長度與生成 token 上限同樣重要。用顯式假設(shè)估一個(gè)上界以下代碼限定為常規(guī)注意力、各層緩存長度相同、K/V 同精度且未作量化或前綴共享的教學(xué)模型。kv_heads是 KV 頭數(shù)不一定等于 query 頭數(shù)。GiB 1024 ** 3 def kv_bytes(tokens, layers, kv_heads, head_dim, bytes_per_value2): values (tokens, layers, kv_heads, head_dim, bytes_per_value) if any(type(v) is not int or v 0 for v in values): raise ValueError(positive integer dimensions required) return 2 * tokens * layers * kv_heads * head_dim * bytes_per_value budget 24 * GiB weights, runtime, reserve 12 * GiB, 3 * GiB, 3 * GiB per_session kv_bytes(4096, layers32, kv_heads8, head_dim128) available budget - weights - runtime - reserve admission_limit max(0, available // per_session) assert per_session 512 * 1024 ** 2 assert admission_limit 12 assert kv_bytes(8192, 32, 8, 128) 2 * per_session print({illustrative_session_limit: admission_limit})輸出12只是這些假設(shè)下的算術(shù)結(jié)果不能作為某張24 GiB顯卡的實(shí)測承諾。運(yùn)行時(shí)占用可能隨 batch、圖捕獲和模型算子變化預(yù)填充階段的峰值也不一定出現(xiàn)在穩(wěn)態(tài)采樣點(diǎn)。歷史會(huì)話量可以幫助預(yù)測高峰需求但預(yù)測不會(huì)改變單次請求的顯存預(yù)算。先用實(shí)際觀測校準(zhǔn)每種長度組合再?zèng)Q定預(yù)留與擴(kuò)容本文不把算式稱為顯存預(yù)測模型。讓排隊(duì)承受不確定性真實(shí)服務(wù)應(yīng)記錄已分配 KV 塊、排隊(duì)等待、拒絕率、首 token 延遲與生成吞吐區(qū)分客戶端放棄和服務(wù)端超時(shí)。對超長請求可以限制預(yù)算、單獨(dú)排隊(duì)或要求用戶縮短上下文但不能偷偷截?cái)嗪笕月暦Q完整回答。調(diào)高準(zhǔn)入前先固定模型與推理框架版本在目標(biāo)硬件上測試長度組合和失敗回收。本文只驗(yàn)證容量算式及維度校驗(yàn)沒有加載模型、占用 GPU 或驗(yàn)證 offload。把假設(shè)寫進(jìn)準(zhǔn)入策略比把顯存不足包裝成“彈性自愈”更容易排查。