1. 先搞清楚“工具調(diào)用”到底在解決什么問(wèn)題如果你正在接觸大模型應(yīng)用開(kāi)發(fā)尤其是想讓它幫你查天氣、訂機(jī)票、發(fā)郵件或者連接數(shù)據(jù)庫(kù)、調(diào)用外部API那你一定會(huì)遇到“工具調(diào)用”這個(gè)概念。很多人一上來(lái)就去看代碼結(jié)果被各種框架、協(xié)議和術(shù)語(yǔ)繞暈。其實(shí)工具調(diào)用要解決的核心問(wèn)題就一個(gè)讓大模型從“聊天機(jī)器人”變成“能替你干活的智能助手”。一個(gè)只會(huì)聊天的模型你問(wèn)它“北京明天天氣怎么樣”它能給你編一段像模像樣的回答但它沒(méi)法真的去查天氣預(yù)報(bào)網(wǎng)站。工具調(diào)用就是給模型裝上了“手”和“腳”讓它能根據(jù)你的指令去執(zhí)行一個(gè)具體的動(dòng)作比如調(diào)用一個(gè)查詢天氣的API然后把真實(shí)的結(jié)果返回給你。在安全領(lǐng)域比如“AI紅隊(duì)”的視角下研究工具調(diào)用有雙重意義。對(duì)開(kāi)發(fā)者而言是讓?xiě)?yīng)用更強(qiáng)大對(duì)安全研究者而言則是要審視當(dāng)模型獲得了執(zhí)行外部動(dòng)作的能力它會(huì)帶來(lái)哪些新的風(fēng)險(xiǎn)模型會(huì)不會(huì)被誘導(dǎo)去調(diào)用一個(gè)危險(xiǎn)的命令它如何判斷一個(gè)工具調(diào)用請(qǐng)求是否安全這就是“大模型安全”在工具調(diào)用層面需要關(guān)注的核心。所以這篇文章不會(huì)只講怎么調(diào)用我會(huì)結(jié)合一線開(kāi)發(fā)和安全評(píng)估的經(jīng)驗(yàn)帶你走通從理解、配置、開(kāi)發(fā)到安全考量的完整路徑。你會(huì)發(fā)現(xiàn)很多調(diào)用失敗的問(wèn)題根源不在于代碼而在于對(duì)流程和權(quán)限的理解。2. 理解工具調(diào)用的標(biāo)準(zhǔn)流程從用戶指令到動(dòng)作執(zhí)行別被那些復(fù)雜的架構(gòu)圖嚇到。一個(gè)完整的工具調(diào)用流程可以拆解成下面幾個(gè)環(huán)環(huán)相扣的步驟。理解這個(gè)流程是解決一切問(wèn)題的起點(diǎn)。2.1 第一步定義工具你有什么“手”和“腳”首先你得告訴模型它現(xiàn)在有哪些工具可以用。每個(gè)工具都需要被清晰地定義。通常一個(gè)工具定義包括工具名稱一個(gè)唯一的標(biāo)識(shí)符比如get_weather。工具描述用自然語(yǔ)言告訴模型這個(gè)工具是干什么的。例如“根據(jù)城市名稱查詢?cè)摮鞘械膶?shí)時(shí)天氣情況?！?這個(gè)描述至關(guān)重要模型主要靠它來(lái)決定是否以及何時(shí)調(diào)用這個(gè)工具。參數(shù)列表調(diào)用這個(gè)工具需要提供哪些信息。比如city_name城市名并且要定義它的類(lèi)型字符串以及是否必需。這通常以一個(gè)“工具列表”的形式在對(duì)話開(kāi)始時(shí)或系統(tǒng)提示詞中提供給模型。在OpenAI的API中這就是tools參數(shù)在開(kāi)源框架里也可能是類(lèi)似的配置。2.2 第二步模型決策與生成調(diào)用請(qǐng)求模型說(shuō)“我要?jiǎng)邮至恕庇脩舭l(fā)出指令比如“幫我看看上海和北京的天氣對(duì)比”。理解與規(guī)劃模型結(jié)合你的指令和可用的工具列表進(jìn)行思考。它會(huì)判斷“用戶需要兩個(gè)城市的天氣信息我手頭有g(shù)et_weather工具這個(gè)工具一次只能查一個(gè)城市所以我需要調(diào)用它兩次?！鄙山Y(jié)構(gòu)化請(qǐng)求模型不會(huì)直接去調(diào)用API而是會(huì)生成一個(gè)標(biāo)準(zhǔn)的、結(jié)構(gòu)化的“工具調(diào)用請(qǐng)求”。這個(gè)請(qǐng)求會(huì)明確指出來(lái)“我要調(diào)用get_weather工具參數(shù)是city_name: “上?！??！?在API響應(yīng)中這體現(xiàn)為tool_calls字段。關(guān)鍵點(diǎn)在這一步模型只是“表達(dá)意圖”它生成的是一個(gè)待執(zhí)行的調(diào)用指令而不是執(zhí)行結(jié)果。這個(gè)指令會(huì)返回給你的應(yīng)用程序。2.3 第三步應(yīng)用端執(zhí)行工具你的代碼真正干活你的應(yīng)用程序后端服務(wù)收到了模型返回的tool_calls?，F(xiàn)在輪到你寫(xiě)的代碼上場(chǎng)了解析請(qǐng)求你的代碼需要解析這個(gè)結(jié)構(gòu)化請(qǐng)求提取出工具名get_weather和參數(shù){“city_name”: “上海”}。安全與權(quán)限校驗(yàn)重要在執(zhí)行前必須進(jìn)行校驗(yàn)。這個(gè)工具允許調(diào)用嗎參數(shù)是否合法比如城市名是否在服務(wù)范圍內(nèi)這一步是安全的關(guān)鍵防線絕不能省略。執(zhí)行調(diào)用根據(jù)工具名找到對(duì)應(yīng)的函數(shù)或服務(wù)傳入?yún)?shù)真正去執(zhí)行。比如調(diào)用一個(gè)內(nèi)部函數(shù)或者向一個(gè)真實(shí)的天氣API發(fā)送HTTP請(qǐng)求。獲取結(jié)果等待執(zhí)行完成拿到返回結(jié)果。比如{“city”: “上海”, “temperature”: “22°C”, “condition”: “晴”}。2.4 第四步將結(jié)果反饋給模型告訴模型“事情辦完了”工具執(zhí)行完后你會(huì)得到一個(gè)結(jié)果。但這個(gè)結(jié)果需要再次交給模型來(lái)處理。格式化結(jié)果將工具執(zhí)行的結(jié)果可能是JSON、文本等整理好。提交給模型在后續(xù)的API請(qǐng)求中將上一次模型的tool_calls和對(duì)應(yīng)的tool_outputs工具輸出一起發(fā)送回去。這相當(dāng)于告訴模型“你上次讓我調(diào)用的工具我已經(jīng)執(zhí)行了結(jié)果是這個(gè)?！蹦Ｐ驼吓c回復(fù)模型接收到工具執(zhí)行的真實(shí)結(jié)果后會(huì)結(jié)合最初的用戶問(wèn)題和這個(gè)結(jié)果生成最終面向用戶的自然語(yǔ)言回答。例如“上海目前天氣晴朗氣溫22攝氏度北京則是多云氣溫18攝氏度。兩地溫差4度?！边@個(gè)“用戶提問(wèn) - 模型建議調(diào)用 - 應(yīng)用執(zhí)行 - 結(jié)果返回 - 模型總結(jié)”的循環(huán)是工具調(diào)用的核心交互模式。很多開(kāi)發(fā)者在第二步和第三步之間脫節(jié)或者在第四步忘記把結(jié)果傳回導(dǎo)致對(duì)話卡住。3. 動(dòng)手實(shí)現(xiàn)一個(gè)簡(jiǎn)單的天氣查詢工具調(diào)用我們用一個(gè)最經(jīng)典的例子——天氣查詢來(lái)把上面的流程跑通。這里我會(huì)以 OpenAI API 的格式為例因?yàn)樗亩x最通用理解了它再看其他框架如 LangChain、Dify就會(huì)輕松很多。3.1 環(huán)境與依賴準(zhǔn)備首先你需要一個(gè)能訪問(wèn)大模型API的環(huán)境。這里假設(shè)你使用 OpenAI 的模型如 gpt-3.5-turbo 或 gpt-4。安裝必要的庫(kù)主要是 OpenAI 的官方 Python 包。pip install openai準(zhǔn)備API密鑰從 OpenAI 平臺(tái)獲取你的OPENAI_API_KEY并設(shè)置為環(huán)境變量或在代碼中配置。模擬工具函數(shù)由于我們不可能真的去接一個(gè)天氣API我們先在本地寫(xiě)一個(gè)模擬函數(shù)。在生產(chǎn)中這個(gè)函數(shù)會(huì)被替換為真正的外部服務(wù)調(diào)用。3.2 定義工具與模擬執(zhí)行函數(shù)我們先在代碼里定義工具列表和對(duì)應(yīng)的執(zhí)行函數(shù)。import json from openai import OpenAI # 初始化客戶端請(qǐng)?zhí)鎿Q為你的API密鑰 client OpenAI(api_key“你的API密鑰”) # 1. 定義工具列表 tools [ { “type”: “function”, “function”: { “name”: “get_current_weather”, “description”: “獲取指定城市的當(dāng)前天氣”, “parameters”: { “type”: “object”, “properties”: { “l(fā)ocation”: { “type”: “string”, “description”: “城市名稱例如北京上海”, }, “unit”: {“type”: “string”, “enum”: [“celsius”, “fahrenheit”], “default”: “celsius”}, }, “required”: [“l(fā)ocation”], }, }, } ] # 2. 模擬工具執(zhí)行函數(shù) def execute_tool(tool_name, arguments): “”“模擬執(zhí)行工具實(shí)際項(xiàng)目中這里會(huì)調(diào)用真實(shí)API或服務(wù)。”“” if tool_name “get_current_weather”: location arguments.get(“l(fā)ocation”) unit arguments.get(“unit”, “celsius”) # 模擬返回結(jié)果 return json.dumps({“l(fā)ocation”: location, “temperature”: “22”, “unit”: unit, “forecast”: [“sunny”]}) else: return json.dumps({“error”: f“Unknown tool: {tool_name}”})3.3 實(shí)現(xiàn)主對(duì)話循環(huán)接下來(lái)是實(shí)現(xiàn)核心的循環(huán)邏輯發(fā)送消息、檢查工具調(diào)用、執(zhí)行工具、返回結(jié)果。def run_conversation(user_query): “”“運(yùn)行一個(gè)支持工具調(diào)用的對(duì)話。”“” messages [{“role”: “user”, “content”: user_query}] # 第一輪發(fā)送用戶查詢并告知模型可用的工具 response client.chat.completions.create( model“gpt-3.5-turbo”, # 或 “gpt-4” messagesmessages, toolstools, tool_choice“auto”, # 讓模型自行決定是否調(diào)用工具 ) response_message response.choices[0].message messages.append(response_message) # 將模型的回復(fù)添加到消息歷史 # 檢查模型是否想要調(diào)用工具 tool_calls response_message.tool_calls if tool_calls: print(f“模型請(qǐng)求調(diào)用工具: {tool_calls}”) # 遍歷所有工具調(diào)用請(qǐng)求模型可能一次請(qǐng)求調(diào)用多個(gè)工具 for tool_call in tool_calls: tool_name tool_call.function.name tool_args json.loads(tool_call.function.arguments) # 3. 應(yīng)用端執(zhí)行工具 tool_result execute_tool(tool_name, tool_args) print(f“執(zhí)行工具 {tool_name} 結(jié)果: {tool_result}”) # 4. 將工具執(zhí)行結(jié)果作為新消息追加回對(duì)話歷史 messages.append({ “role”: “tool”, “tool_call_id”: tool_call.id, # 必須對(duì)應(yīng)之前的調(diào)用ID “content”: tool_result, }) # 將工具結(jié)果反饋給模型讓它生成最終回答 second_response client.chat.completions.create( model“gpt-3.5-turbo”, messagesmessages, ) final_message second_response.choices[0].message messages.append(final_message) return final_message.content else: # 模型沒(méi)有調(diào)用工具直接返回回答 return response_message.content # 測(cè)試一下 if __name__ “__main__”: user_input “北京今天的天氣怎么樣” answer run_conversation(user_input) print(“最終回答:”, answer)運(yùn)行這段代碼你會(huì)看到類(lèi)似以下的輸出模型請(qǐng)求調(diào)用工具: [ChatCompletionMessageToolCall(id‘call_abc123’, functionFunction(arguments‘{“l(fā)ocation”: “北京”, “unit”: “celsius”}’, name‘get_current_weather’), type‘function’)] 執(zhí)行工具 get_current_weather 結(jié)果: {“l(fā)ocation”: “北京”, “temperature”: “22”, “unit”: “celsius”, “forecast”: [“sunny”]} 最終回答: 北京今天天氣晴朗氣溫大約22攝氏度。這個(gè)簡(jiǎn)單的例子清晰地展示了整個(gè)流程。關(guān)鍵點(diǎn)在于tool_calls是模型的想法execute_tool是你的代碼在行動(dòng)而把結(jié)果以role: “tool”的消息傳回去是讓模型完成思考閉環(huán)的必要步驟。4. 從Demo到生產(chǎn)必須考慮的工程與安全問(wèn)題能跑通一個(gè)Demo只是開(kāi)始。當(dāng)你打算把工具調(diào)用用到實(shí)際項(xiàng)目中時(shí)下面這些工程化和安全層面的問(wèn)題會(huì)一個(gè)接一個(gè)跳出來(lái)。4.1 工具定義的質(zhì)量決定模型調(diào)用的準(zhǔn)確性工具的描述 (description) 和參數(shù)定義 (parameters) 不是隨便寫(xiě)寫(xiě)的注釋它們是模型決策的“說(shuō)明書(shū)”。描述要清晰具體“獲取天氣”就不如“根據(jù)城市名稱查詢?cè)摮鞘械膶?shí)時(shí)溫度、天氣狀況和濕度”來(lái)得好。模糊的描述會(huì)導(dǎo)致模型誤調(diào)用或不敢調(diào)用。參數(shù)要約束明確使用enum枚舉有效值用default設(shè)置合理默認(rèn)值。如果參數(shù)是“日期”就應(yīng)定義好格式如“YYYY-MM-DD”避免模型自由發(fā)揮導(dǎo)致你的后端解析失敗。工具數(shù)量不宜過(guò)多一次性給模型幾百個(gè)工具定義會(huì)嚴(yán)重影響其判斷速度和準(zhǔn)確性。應(yīng)該根據(jù)對(duì)話上下文動(dòng)態(tài)管理工具列表。4.2 執(zhí)行環(huán)節(jié)的安全校驗(yàn)是生命線在execute_tool函數(shù)里直接執(zhí)行代碼是極其危險(xiǎn)的。你必須建立一個(gè)安全層。輸入驗(yàn)證對(duì)模型傳來(lái)的參數(shù)進(jìn)行嚴(yán)格檢查。比如location參數(shù)是否只允許中英文城市名是否要防止SQL注入或命令注入如果參數(shù)會(huì)用于拼接命令權(quán)限校驗(yàn)這個(gè)用戶有權(quán)調(diào)用這個(gè)工具嗎這個(gè)工具在當(dāng)前會(huì)話上下文中是否可用例如一個(gè)“發(fā)送郵件”的工具不應(yīng)該被用來(lái)查詢天氣。沙箱與環(huán)境隔離對(duì)于執(zhí)行代碼、訪問(wèn)文件系統(tǒng)或網(wǎng)絡(luò)這類(lèi)高風(fēng)險(xiǎn)工具必須在沙箱環(huán)境中運(yùn)行限制其資源CPU、內(nèi)存、網(wǎng)絡(luò)和權(quán)限。操作確認(rèn)與審批對(duì)于關(guān)鍵操作如刪除數(shù)據(jù)、支付可以設(shè)計(jì)“二次確認(rèn)”流程即模型生成請(qǐng)求后由用戶確認(rèn)后再執(zhí)行。4.3 錯(cuò)誤處理與穩(wěn)定性保障工具調(diào)用引入了外部依賴失敗是常態(tài)。網(wǎng)絡(luò)超時(shí)與重試調(diào)用外部API可能超時(shí)。你的代碼需要設(shè)置合理的超時(shí)時(shí)間并設(shè)計(jì)重試邏輯如最多3次且有退避策略。工具執(zhí)行失敗如果工具執(zhí)行出錯(cuò)返回錯(cuò)誤碼或異常你應(yīng)該將清晰的錯(cuò)誤信息而非堆棧跟蹤作為tool_output返回給模型。模型有時(shí)能根據(jù)錯(cuò)誤信息調(diào)整策略或向用戶解釋。上下文管理復(fù)雜的多輪對(duì)話中工具調(diào)用可能有多個(gè)。你需要妥善管理tool_call_id和消息順序確保每個(gè)工具結(jié)果都能準(zhǔn)確對(duì)應(yīng)到最初的調(diào)用請(qǐng)求上。4.4 從安全視角審視工具調(diào)用AI紅隊(duì)的關(guān)注點(diǎn)作為安全研究者或AI紅隊(duì)成員看待工具調(diào)用時(shí)視角會(huì)完全不同。我們的目標(biāo)是發(fā)現(xiàn)和利用其中的脆弱性。提示詞注入與越獄能否通過(guò)精心構(gòu)造的用戶輸入誘導(dǎo)模型繞過(guò)你設(shè)定的工具調(diào)用規(guī)則去調(diào)用一個(gè)未被允許的、甚至危險(xiǎn)的工具例如誘導(dǎo)模型將“刪除所有文件”這個(gè)指令解釋為符合“文件管理工具”的描述而發(fā)起調(diào)用。這就是為什么工具描述和參數(shù)校驗(yàn)如此重要。工具濫用即使調(diào)用的是合法工具參數(shù)是否可能被濫用例如一個(gè)“搜索網(wǎng)頁(yè)”的工具是否可能被用來(lái)反復(fù)搜索大量?jī)?nèi)容造成DoS攻擊或者搜索敏感內(nèi)容信息泄露工具執(zhí)行的結(jié)果如數(shù)據(jù)庫(kù)查詢結(jié)果、API響應(yīng)在返回給模型并最終呈現(xiàn)給用戶時(shí)是否可能包含未經(jīng)過(guò)濾的敏感信息如錯(cuò)誤信息中的系統(tǒng)路徑、SQL語(yǔ)句供應(yīng)鏈攻擊如果工具本身依賴第三方庫(kù)或服務(wù)這些依賴是否存在漏洞攻擊者能否通過(guò)污染這些依賴來(lái)間接控制工具的行為評(píng)估一個(gè)基于工具調(diào)用的AI應(yīng)用是否安全不能只看它功能是否實(shí)現(xiàn)必須系統(tǒng)性地審視工具定義是否精確、參數(shù)校驗(yàn)是否嚴(yán)格、執(zhí)行環(huán)境是否隔離、錯(cuò)誤信息是否無(wú)害、整個(gè)調(diào)用鏈路是否存在邏輯缺陷可被利用。5. 主流框架與開(kāi)源模型中的工具調(diào)用實(shí)踐了解了底層原理和安全考量后我們?cè)倏纯丛诰唧w的框架和開(kāi)源模型中如何實(shí)踐。5.1 使用 LangChain 實(shí)現(xiàn)工具調(diào)用LangChain 通過(guò)Tool類(lèi)和bind_tools方法將工具調(diào)用流程高度抽象化簡(jiǎn)化了開(kāi)發(fā)。from langchain_openai import ChatOpenAI from langchain.agents import AgentExecutor, create_tool_calling_agent from langchain.tools import Tool from langchain_core.prompts import ChatPromptTemplate # 1. 定義工具函數(shù) def get_weather(location: str) - str: “”“模擬獲取天氣。”“” return f“{location}的天氣是晴朗22度?！?# 2. 包裝成 LangChain Tool 對(duì)象 tools [ Tool( name“WeatherTool”, funcget_weather, description“根據(jù)城市名查詢天氣輸入是一個(gè)字符串格式的城市名。” ) ] # 3. 創(chuàng)建提示詞模板 prompt ChatPromptTemplate.from_messages([ (“system”, “你是一個(gè)有用的助手可以調(diào)用工具來(lái)回答問(wèn)題?！?, (“placeholder”, “{chat_history}”), (“human”, “{input}”), (“placeholder”, “{agent_scratchpad}”), ]) # 4. 初始化模型并綁定工具 llm ChatOpenAI(model“gpt-3.5-turbo”) llm_with_tools llm.bind_tools(tools) # 5. 創(chuàng)建Agent并執(zhí)行 agent create_tool_calling_agent(llm_with_tools, tools, prompt) agent_executor AgentExecutor(agentagent, toolstools, verboseTrue) result agent_executor.invoke({“input”: “北京天氣如何”}) print(result[“output”])LangChain 幫你自動(dòng)處理了消息歷史、工具調(diào)用解析和結(jié)果回傳的循環(huán)你只需要關(guān)注工具函數(shù)本身和提示詞。verboseTrue可以讓你看到詳細(xì)的決策過(guò)程對(duì)調(diào)試非常有幫助。5.2 在 Ollama 本地模型中使用工具調(diào)用對(duì)于部署在本地的開(kāi)源模型如通過(guò) Ollama 運(yùn)行的 Llama 3、Qwen 等工具調(diào)用支持取決于模型本身的能力和 Ollama 的版本。目前許多較新的開(kāi)源模型也開(kāi)始支持類(lèi)似 OpenAI 的 function calling 格式。確認(rèn)模型支持首先你需要一個(gè)明確支持工具調(diào)用的模型版本。例如llama3.1:8b的某些版本或qwen2.5:7b。使用兼容的APIOllama 提供了與 OpenAI API 兼容的端點(diǎn)。你可以將上面 OpenAI 的示例代碼中的base_url指向你的 Ollama 服務(wù)地址。from openai import OpenAI client OpenAI( base_url“http://localhost:11434/v1”, # Ollama 的兼容API地址 api_key“ollama”, # 可任意填寫(xiě)非空即可 ) # 后續(xù)代碼與使用OpenAI API完全相同 model_name “l(fā)lama3.1:8b” # 替換為你本地運(yùn)行的模型名注意性能與準(zhǔn)確性同等參數(shù)規(guī)模下開(kāi)源模型的工具調(diào)用準(zhǔn)確性和穩(wěn)定性可能不如頂級(jí)商用模型。需要進(jìn)行更多的測(cè)試和提示詞優(yōu)化。5.3 工具調(diào)用與 RAG、Agent、Workflow 的關(guān)系在搜索熱詞中?？吹絉AG、Agent、工具調(diào)用、記憶、Workflow被并列提及。它們的關(guān)系是這樣的工具調(diào)用是Agent的核心能力之一。一個(gè)智能體Agent之所以能“自主”完成任務(wù)正是因?yàn)樗梢砸?guī)劃并調(diào)用一系列工具。RAG為模型提供了從外部知識(shí)庫(kù)獲取信息的能力。你可以把 RAG 的“檢索-生成”過(guò)程本身也看作一個(gè)特殊的“工具”。Agent 可以調(diào)用 RAG 工具來(lái)獲取它不知道的知識(shí)再基于此進(jìn)行決策或調(diào)用其他工具。記憶讓 Agent 或?qū)υ捪到y(tǒng)能夠記住之前的交互歷史包括工具調(diào)用的結(jié)果從而進(jìn)行更連貫的多輪任務(wù)。Workflow則是將多個(gè)工具調(diào)用、條件判斷、RAG 檢索等步驟編排成一個(gè)自動(dòng)化業(yè)務(wù)流程。例如一個(gè)客服工單處理 Workflow 可能包含調(diào)用 RAG 查詢知識(shí)庫(kù) - 調(diào)用工具分類(lèi)問(wèn)題 - 調(diào)用工具生成回復(fù)草稿 - 調(diào)用工具發(fā)送給人工審核。工具調(diào)用是構(gòu)建復(fù)雜 AI 應(yīng)用的基石它使得模型能夠突破其靜態(tài)知識(shí)的限制與動(dòng)態(tài)世界進(jìn)行交互。6. 常見(jiàn)問(wèn)題排查與調(diào)試指南當(dāng)你開(kāi)發(fā)的工具調(diào)用功能不工作時(shí)可以按照以下順序進(jìn)行排查能解決90%的問(wèn)題。6.1 模型根本不調(diào)用工具檢查工具描述描述是否足夠清晰是否與用戶問(wèn)題高度相關(guān)嘗試用更詳細(xì)、更貼近用戶場(chǎng)景的語(yǔ)言重寫(xiě)description。檢查模型能力你用的模型版本是否支持工具調(diào)用gpt-3.5-turbo和gpt-4都支持。對(duì)于開(kāi)源模型務(wù)必查閱其文檔。檢查tool_choice參數(shù)如果你明確希望模型調(diào)用某個(gè)工具可以設(shè)置tool_choice{“type”: “function”, “function”: {“name”: “xxx”}}來(lái)強(qiáng)制調(diào)用。設(shè)為“auto”是讓模型自己決定。簡(jiǎn)化問(wèn)題先用一個(gè)極其簡(jiǎn)單、明確的用戶指令如“用get_weather工具查一下北京天氣”測(cè)試排除指令歧義的影響。6.2 模型調(diào)用了工具但參數(shù)不對(duì)檢查參數(shù)定義parameters中的properties定義是否清晰type、description是否準(zhǔn)確使用enum可以極大減少模型“瞎猜”的情況。提供示例在系統(tǒng)提示詞或工具描述中可以加入一兩個(gè)調(diào)用示例指導(dǎo)模型如何生成參數(shù)。查看原始響應(yīng)打印出模型返回的response_message.tool_calls[0].function.arguments看看它到底生成了什么。很多時(shí)候是 JSON 格式錯(cuò)誤或多了些奇怪字符。6.3 工具執(zhí)行失敗或結(jié)果模型無(wú)法理解執(zhí)行端日志在execute_tool函數(shù)內(nèi)部加入詳細(xì)日志打印輸入?yún)?shù)和最終返回結(jié)果確認(rèn)你的代碼邏輯正確。結(jié)果格式化確保返回給模型的結(jié)果是字符串格式。如果是復(fù)雜對(duì)象先json.dumps()。模型需要能“讀懂”這個(gè)結(jié)果。錯(cuò)誤信息反饋如果工具執(zhí)行出錯(cuò)返回一個(gè)對(duì)模型友好的錯(cuò)誤信息如{“error”: “City not found”}而不是 Python 的異常堆棧。模型有時(shí)能根據(jù)錯(cuò)誤信息調(diào)整后續(xù)行為。6.4 多輪對(duì)話中工具調(diào)用混亂維護(hù)完整的消息歷史確保每一次請(qǐng)求都包含了之前所有的user、assistant和tool消息。丟失歷史會(huì)導(dǎo)致模型失憶。正確關(guān)聯(lián)tool_call_id在返回工具結(jié)果時(shí)tool_call_id必須與請(qǐng)求中的id嚴(yán)格對(duì)應(yīng)。這是模型區(qū)分不同調(diào)用的關(guān)鍵。管理上下文長(zhǎng)度過(guò)長(zhǎng)的對(duì)話歷史會(huì)消耗大量 Token可能導(dǎo)致模型性能下降或遺忘早期工具調(diào)用。需要設(shè)計(jì)合理的上下文窗口管理策略例如只保留最近N輪對(duì)話或總結(jié)歷史。工具調(diào)用是把大模型從“智庫(kù)”變成“執(zhí)行者”的關(guān)鍵一步。它的實(shí)現(xiàn)不難難在把它做得可靠、安全、易維護(hù)。我的建議是先從單個(gè)工具、簡(jiǎn)單場(chǎng)景跑通整個(gè)流程深刻理解每一步的數(shù)據(jù)流轉(zhuǎn)。然后再逐步加入權(quán)限校驗(yàn)、錯(cuò)誤處理、復(fù)雜工具鏈。最后一定要從攻擊者的角度思考你的設(shè)計(jì)看看哪些環(huán)節(jié)可能被繞過(guò)或?yàn)E用。這才是真正負(fù)責(zé)任的大模型應(yīng)用開(kāi)發(fā)。