1. 從“智能體”到“智能體化”Miles框架的范式革新最近在強化學(xué)習(xí)社區(qū)里Miles框架的討論熱度持續(xù)攀升。作為一個長期關(guān)注智能體Agent技術(shù)發(fā)展的從業(yè)者我最初看到“Agentic RL”這個提法時也產(chǎn)生過一絲疑惑這不就是強化學(xué)習(xí)RL嗎我們訓(xùn)練的不就是智能體嗎但隨著對Miles項目技術(shù)文檔和開源實踐的深入分析我發(fā)現(xiàn)“Agentic RL”這個概念遠非一個簡單的文字游戲。它背后代表的是Miles框架對傳統(tǒng)強化學(xué)習(xí)范式的系統(tǒng)性重構(gòu)其核心在于將“智能體”從一個被訓(xùn)練、被優(yōu)化的“對象”提升為整個系統(tǒng)架構(gòu)的“中心”和“驅(qū)動者”。這就像從“制造一個能執(zhí)行任務(wù)的機器人”轉(zhuǎn)變?yōu)椤皹?gòu)建一個能自主思考、規(guī)劃、學(xué)習(xí)和協(xié)作的機器人社會”。今天我們就來深入拆解Miles框架實現(xiàn)這一“智能體化”愿景的幾項關(guān)鍵技術(shù)看看它如何為復(fù)雜、長周期、多任務(wù)的現(xiàn)實問題提供新的解決思路。2. TITO架構(gòu)解耦決策與執(zhí)行的清晰邊界Miles框架最核心的設(shè)計理念體現(xiàn)在其TITO架構(gòu)上。TITO是“Task-In, Task-Out”的縮寫直譯為“任務(wù)進任務(wù)出”。這個看似簡單的設(shè)計卻是實現(xiàn)“智能體化”的基石。2.1 TITO的核心思想將智能體視為“任務(wù)處理器”在傳統(tǒng)的強化學(xué)習(xí)框架如OpenAI Gym、Stable Baselines3中智能體與環(huán)境交互的接口通常是“狀態(tài)State進動作Action出”。智能體接收一個觀測Observation輸出一個原始動作如關(guān)節(jié)扭矩、離散指令?？蚣芎退惴ㄖ饕P(guān)注如何優(yōu)化從狀態(tài)到動作的映射策略。Miles的TITO架構(gòu)徹底改變了這一視角。在這里智能體接收的輸入是一個任務(wù)Task輸出的也是一個任務(wù)Task。這個“任務(wù)”是一個比原始“動作”更高級的抽象。它可以是一個目標描述“移動到坐標(x,y)”一個技能調(diào)用“使用工具A進行擰緊操作”甚至是一個需要進一步分解的復(fù)雜指令“組裝這個零件”。為什么這個設(shè)計如此重要提升抽象層級它迫使我們將問題建模在任務(wù)層面而非底層控制層面。智能體不需要關(guān)心電機具體如何轉(zhuǎn)動它只需要決定“接下來要完成哪個子任務(wù)”。這極大地降低了策略學(xué)習(xí)的復(fù)雜度尤其適合需要高層規(guī)劃和組合技能的場景。實現(xiàn)自然分層高級智能體可以輸出任務(wù)給低級智能體或技能模塊執(zhí)行。例如一個“導(dǎo)航智能體”輸出“移動到房間A”的任務(wù)由底層的“運動控制智能體”將其分解為一系列路徑點和動作指令。這種分層是構(gòu)建復(fù)雜智能體系統(tǒng)的自然方式。促進模塊化與復(fù)用任務(wù)成為智能體之間、智能體與技能庫之間的標準接口。一個訓(xùn)練好的“抓取”技能可以被任何需要抓取動作的上級智能體調(diào)用只需傳遞“抓取對象X”的任務(wù)即可無需重新訓(xùn)練。2.2 TITO接口的實踐形態(tài)在Miles的代碼實現(xiàn)中一個任務(wù)通常被定義為一個結(jié)構(gòu)化的數(shù)據(jù)對象包含任務(wù)類型、參數(shù)、優(yōu)先級、上下文等信息。智能體的act方法接收一個任務(wù)列表可能包含當前主任務(wù)和多個并發(fā)的子任務(wù)或中斷任務(wù)經(jīng)過內(nèi)部推理可能涉及規(guī)劃、檢索、學(xué)習(xí)輸出下一個要執(zhí)行的任務(wù)或?qū)ΜF(xiàn)有任務(wù)的更新。# 概念性示例非真實代碼 class MilesAgent: def act(self, input_tasks: List[Task], current_state: State) - Task: # 內(nèi)部可能包含任務(wù)理解、規(guī)劃、技能選擇、沖突解決等邏輯 next_task self.planner.reason(input_tasks, current_state) return next_task這種設(shè)計使得智能體內(nèi)部的算法可以非常靈活可以是基于規(guī)則的規(guī)劃器、基于學(xué)習(xí)的策略網(wǎng)絡(luò)也可以是兩者結(jié)合的混合系統(tǒng)?？蚣荜P(guān)心的是任務(wù)流的調(diào)度與執(zhí)行而不強制規(guī)定智能體的內(nèi)部實現(xiàn)。3. Session Server為智能體配備持久化記憶與協(xié)作后臺如果說TITO定義了智能體的“行為模式”那么Session Server則是支撐其“社會性”和“持續(xù)性”的關(guān)鍵基礎(chǔ)設(shè)施。在真實場景中智能體并非每次交互都從零開始它需要記憶歷史、管理長期目標、并可能與其他智能體通信協(xié)作。3.1 Session的概念超越單次Episode的連續(xù)性在傳統(tǒng)RL中一個“回合”Episode通常是獨立的。智能體在回合結(jié)束后重置記憶如RNN的隱藏狀態(tài)也被清零。這對于許多需要長期記憶、跨回合學(xué)習(xí)的任務(wù)如終身學(xué)習(xí)、與人進行多輪對話協(xié)作是不足的。Miles引入了“會話”Session的概念。一個Session可以跨越多個傳統(tǒng)意義上的Episode持續(xù)數(shù)小時、數(shù)天甚至更久。它維護了一個與特定智能體實例或智能體團隊綁定的、持久化的上下文環(huán)境。Session Server就是負責管理和存儲這些Session的后端服務(wù)。3.2 Session Server的核心功能狀態(tài)持久化保存智能體的內(nèi)部狀態(tài)如信念狀態(tài)Belief State、長期目標、已完成的任務(wù)歷史、學(xué)到的經(jīng)驗可能以情境記憶的形式。當智能體因系統(tǒng)重啟或故障恢復(fù)時可以從Session Server恢復(fù)其狀態(tài)繼續(xù)之前的任務(wù)而不是從頭開始。經(jīng)驗管理與檢索Session Server可以作為一個中心化的經(jīng)驗庫。智能體可以將重要的決策經(jīng)驗任務(wù)、狀態(tài)、結(jié)果存儲到Session中。未來面對類似情境時可以通過檢索相似的歷史經(jīng)驗來輔助決策實現(xiàn)基于案例的推理Case-Based Reasoning這比僅依靠參數(shù)化的策略網(wǎng)絡(luò)更靈活、可解釋。智能體間通信與協(xié)調(diào)在多智能體場景中Session Server可以作為消息總線或共享黑板Blackboard。智能體可以將自己的意圖、觀察到的信息、或發(fā)布的任務(wù)寫入共享的Session區(qū)域其他智能體可以讀取并據(jù)此調(diào)整自己的行為實現(xiàn)隱式或顯式的協(xié)作。人機交互接口Session可以作為人機交互的上下文載體。人類操作員可以隨時介入查看智能體的任務(wù)歷史、當前信念并通過修改Session中的任務(wù)列表或直接注入新任務(wù)來指導(dǎo)智能體。注意Session Server的引入也帶來了新的復(fù)雜性挑戰(zhàn)如Session數(shù)據(jù)的一致性、并發(fā)訪問的鎖機制、以及海量Session的存儲與檢索效率。Miles框架通常需要與分布式數(shù)據(jù)庫如Redis、關(guān)系型數(shù)據(jù)庫結(jié)合并設(shè)計高效的數(shù)據(jù)序列化格式。3.3 一個簡化的協(xié)作示例假設(shè)有一個倉儲機器人團隊搬運Agent、分揀Agent和一個中央調(diào)度Agent。中央調(diào)度Agent接收到“處理訂單123”的頂層任務(wù)將其分解為“取貨A”、“運至區(qū)域B”等子任務(wù)寫入共享Session。搬運Agent從Session中認領(lǐng)“取貨A”任務(wù)執(zhí)行過程中發(fā)現(xiàn)貨架擁堵它將“區(qū)域X擁堵”的信息更新到Session。分揀Agent讀取到擁堵信息主動調(diào)整自己的路徑規(guī)劃避開區(qū)域X。所有任務(wù)的狀態(tài)進行中、完成、失敗都在Session中更新供所有Agent和人類監(jiān)督員查看。整個過程中智能體之間沒有直接的函數(shù)調(diào)用而是通過讀寫共享的Session狀態(tài)進行松耦合的協(xié)作系統(tǒng)更具彈性和可擴展性。4. 技能Skill的封裝與組合構(gòu)建可復(fù)用的能力單元在Agentic RL的視角下智能體的能力不是單一的黑盒策略而是由一系列可復(fù)用、可組合的“技能”構(gòu)成的。Miles框架對技能的封裝和管理提供了系統(tǒng)性的支持。4.1 技能作為一等公民在Miles中技能是一個封裝了特定能力如“移動”、“抓取”、“視覺檢測”的模塊。它對外暴露標準的執(zhí)行接口通常也是TITO風格內(nèi)部則可以用任何方式實現(xiàn)可以是一個訓(xùn)練好的RL策略、一個經(jīng)典的控制算法、一組預(yù)定義的軌跡、甚至是一個調(diào)用外部工具如搜索引擎、計算器的接口。技能庫Skill Library是框架的重要組成部分。它允許技能注冊將開發(fā)好的技能進行標準化描述輸入輸出、前置條件、后置效果并注冊到庫中。技能發(fā)現(xiàn)與調(diào)用高級智能體在規(guī)劃時可以根據(jù)任務(wù)需求從技能庫中查詢并調(diào)用合適的技能。例如面對“泡一杯茶”的任務(wù)智能體可以依次調(diào)用“移動到廚房”、“拿取水杯”、“打開水龍頭”、“加熱”等技能。技能學(xué)習(xí)與更新技能本身可以通過RL進行持續(xù)優(yōu)化?？蚣芸梢杂涗浖寄艿膱?zhí)行表現(xiàn)成功率、耗時并觸發(fā)技能的再訓(xùn)練流程。4.2 技能的組合與層次化智能體的強大之處在于組合技能以解決新問題。Miles支持技能的層次化組合序列組合一個技能的輸出任務(wù)可以作為下一個技能的輸入。這是最常見的組合方式。并行組合多個技能可以并發(fā)執(zhí)行服務(wù)于同一個高級任務(wù)的不同方面如“移動”的同時“保持平衡”。條件組合根據(jù)執(zhí)行結(jié)果或環(huán)境狀態(tài)動態(tài)選擇下一個要執(zhí)行的技能if-else邏輯。通過TITO接口這種組合可以自然發(fā)生。一個高級的“任務(wù)規(guī)劃智能體”本身就可以被看作是一個通過調(diào)用和組合底層技能來實現(xiàn)復(fù)雜任務(wù)的“元技能”。實操心得在構(gòu)建技能時一個關(guān)鍵的設(shè)計原則是保持技能的原子性和正交性。原子性意味著一個技能應(yīng)只完成一件定義明確的事正交性意味著技能之間的功能重疊應(yīng)盡可能小。這就像設(shè)計良好的函數(shù)庫能最大程度地提高復(fù)用性和組合的靈活性。例如將“移動到(x,y)”和“避障”拆分成兩個技能比設(shè)計一個復(fù)雜的“安全移動到(x,y)”技能要更好因為“避障”技能可以被其他許多需要移動的場景復(fù)用。5. 規(guī)劃與學(xué)習(xí)的融合應(yīng)對開放世界的核心引擎Agentic RL智能體不能只依賴固定的策略它必須能在面對新任務(wù)、新環(huán)境時進行思考規(guī)劃并從經(jīng)驗中學(xué)習(xí)學(xué)習(xí)。Miles框架并不限定具體的算法但它提供的架構(gòu)天然促進了規(guī)劃與學(xué)習(xí)Planning and Learning的融合。5.1 基于模型的規(guī)劃與基于技能的學(xué)習(xí)在TITO架構(gòu)下智能體的內(nèi)部可以這樣工作任務(wù)理解與分解接收到高層任務(wù)后智能體首先利用其世界模型可以是學(xué)習(xí)得到的也可以是符號化的對任務(wù)進行理解并將其分解為一系列已知的技能調(diào)用序列即一個初步計劃。這個世界模型預(yù)測執(zhí)行某個技能后環(huán)境會如何變化。模擬推演與評估智能體可以在內(nèi)部利用世界模型對這個計劃進行“想象”或推演評估其成功的可能性和代價。這個過程類似于蒙特卡洛樹搜索MCTS在AlphaGo中的應(yīng)用但在任務(wù)層面進行。執(zhí)行與學(xué)習(xí)選擇評估最優(yōu)的計劃開始執(zhí)行。在執(zhí)行過程中真實的環(huán)境反饋會與模型的預(yù)測進行比較。如果出現(xiàn)偏差模型誤差或失敗技能不足這些信息會成為寶貴的學(xué)習(xí)信號模型學(xué)習(xí)用真實數(shù)據(jù)更新世界模型使其更準確。技能學(xué)習(xí)如果某個技能頻繁失敗可以針對該技能進行專門的RL訓(xùn)練提升其性能。規(guī)劃策略學(xué)習(xí)如何根據(jù)任務(wù)和當前狀態(tài)選擇/調(diào)整計劃本身也可以作為一個元策略進行學(xué)習(xí)。5.2 檢索增強的決策Session Server在這里扮演了另一個關(guān)鍵角色經(jīng)驗記憶庫。當智能體面臨一個新任務(wù)時除了使用模型進行前向搜索它還可以從Session Server中檢索歷史上執(zhí)行過的、最相似的任務(wù)及其解決方案即成功的技能序列。這種“基于案例的規(guī)劃”非常高效尤其適用于那些有大量歷史經(jīng)驗可循的重復(fù)性任務(wù)。它結(jié)合了搜索在經(jīng)驗庫中檢索和學(xué)習(xí)經(jīng)驗本身來自過去的學(xué)習(xí)過程。一個具體的例子一個家庭服務(wù)機器人接到“清理灑在桌上的牛奶”任務(wù)。它可能檢索從Session中查找類似任務(wù)“清理灑的水”、“擦拭桌面”獲得一個基礎(chǔ)計劃[“定位抹布” “抓取抹布” “移動到污漬處” “擦拭”]。規(guī)劃調(diào)整由于當前是牛奶可能涉及粘稠度不同它利用模型推演覺得需要在“擦拭”后增加“清洗抹布”的技能。執(zhí)行與學(xué)習(xí)執(zhí)行這個調(diào)整后的計劃。如果“擦拭”技能效果不佳因為牛奶干了它會記錄這次失敗并可能觸發(fā)對“擦拭”技能在“粘稠液體”場景下的強化學(xué)習(xí)微調(diào)。成功的完整計劃則被存儲回Session豐富經(jīng)驗庫。這種“檢索-規(guī)劃-執(zhí)行-學(xué)習(xí)”的循環(huán)使得Miles智能體能夠持續(xù)適應(yīng)和成長而不是一個靜態(tài)的模型。6. 實際部署考量與挑戰(zhàn)將Miles這樣的Agentic RL框架應(yīng)用于實際項目會面臨一系列工程和算法上的挑戰(zhàn)這些是光讀論文體會不到的。6.1 系統(tǒng)復(fù)雜性管理Miles框架引入了多個新組件TITO智能體、Session Server、技能庫、規(guī)劃器系統(tǒng)復(fù)雜度顯著高于傳統(tǒng)的“環(huán)境-智能體”兩元框架。這帶來了額外的開發(fā)、調(diào)試和運維負擔。需要建立清晰的模塊邊界、定義良好的接口契約、以及完善的日志和監(jiān)控系統(tǒng)。特別是Session數(shù)據(jù)流需要仔細設(shè)計以避免成為性能瓶頸和單點故障。6.2 技能工程與知識表示構(gòu)建一個實用的技能庫是項繁重的工作。每個技能都需要明確的接口輸入輸出任務(wù)的定義。魯棒的實現(xiàn)無論是學(xué)習(xí)得到的還是手寫的都需要在各種邊界條件下穩(wěn)定工作。準確的元數(shù)據(jù)前置條件Preconditions和后置效果Effects的描述。這對于自動規(guī)劃至關(guān)重要。讓機器自動、準確地學(xué)習(xí)和描述技能的效應(yīng)本身就是一個前沿研究問題學(xué)習(xí)符號化表示。實踐中初期往往需要大量的人工標注和調(diào)試。6.3 長期信用分配與稀疏獎勵在長周期的任務(wù)鏈中最終的成功或失敗可能由很多步之前的某個關(guān)鍵決策導(dǎo)致。如何將最終的獎勵信號正確地分配Credit Assignment給鏈條中早期的某個技能或規(guī)劃決策是一個經(jīng)典的難題。Miles的分層結(jié)構(gòu)在一定程度上緩解了這個問題每個子任務(wù)可以有子獎勵但并未完全解決。仍然需要設(shè)計合理的分層獎勵函數(shù)或采用先進的課程學(xué)習(xí)、逆向課程生成等技術(shù)。6.4 安全性與可解釋性一個能夠自主規(guī)劃、調(diào)用技能的智能體其行為更難預(yù)測。必須建立“護欄”Guardrails機制例如技能安全驗證在執(zhí)行一個技能前快速檢查其安全性如“移動”技能是否會撞到人。規(guī)劃監(jiān)控對生成的計劃進行合理性審查可以基于規(guī)則或?qū)W習(xí)到的安全約束。人機協(xié)同保留人類隨時中斷、修改任務(wù)或接管控制的通道。Session Server提供的透明化任務(wù)歷史是提高可解釋性、方便人工審計的重要工具。從我參與的幾個概念驗證項目來看Miles框架代表的Agentic RL思路在那些任務(wù)結(jié)構(gòu)清晰、可分層、且需要較高自主性和復(fù)用性的場景如游戲AI、復(fù)雜機器人操作流程、自動化業(yè)務(wù)流程中展現(xiàn)出了巨大的潛力。它更像是在用軟件工程中“模塊化”、“微服務(wù)”、“事件驅(qū)動”的思想來重構(gòu)強化學(xué)習(xí)系統(tǒng)使其更易于構(gòu)建和維護復(fù)雜智能行為。當然這條路還很長尤其是讓系統(tǒng)真正可靠、安全地運行在物理世界中需要算法研究者、軟件工程師和領(lǐng)域?qū)＜业木o密合作。但毫無疑問Miles為我們提供了一個極具啟發(fā)性的架構(gòu)藍圖讓我們看到了強化學(xué)習(xí)從“訓(xùn)練一個網(wǎng)絡(luò)”走向“構(gòu)建一個智能體生態(tài)”的可能性。