建Modly內(nèi)置AI助手？工具調(diào)用循環(huán)深入解析（附9大工具清單）)
如何用Ollama構(gòu)建Modly內(nèi)置AI助手工具調(diào)用循環(huán)深入解析附9大工具清單【免費(fèi)下載鏈接】modlyDesktop app to generate 3D models from images or prompt using local AI — runs entirely on your GPU項(xiàng)目地址: https://gitcode.com/GitHub_Trending/mo/modlyModly 是一款運(yùn)行在本地 GPU 上的桌面 3D 模型生成應(yīng)用而它內(nèi)置的AI 聊天助手正是基于Ollama 本地大模型構(gòu)建的。你無(wú)需任何云端 API 密鑰——只需在 Modly 中填寫 Ollama 服務(wù)地址、選一個(gè)本地模型就能用一句自然語(yǔ)言讓 AI 替你減面、平滑網(wǎng)格、跑工作流。本文將帶你完成 Ollama Modly AI 助手的完整配置并深入剖析其背后「工具調(diào)用循環(huán)Tool Use Loop」的運(yùn)作機(jī)制。一、Modly 的 AI 助手能做什么在 Generate 頁(yè)面頂部切換到Chat標(biāo)簽就會(huì)看到與內(nèi)置助手的聊天面板源碼ChatPanel.tsx。它不是只會(huì)聊天的機(jī)器人而是一個(gè)可以直接操作 3D 場(chǎng)景的 Agent 查詢/卸載已下載的 3D 生成模型?? 對(duì)當(dāng)前網(wǎng)格減面Decimate、平滑Smooth結(jié)果實(shí)時(shí)刷新到 3D 視圖 查看生成任務(wù)進(jìn)度? 列出、執(zhí)行、甚至從零創(chuàng)建工作流所有能力都由后端文件 api/routers/agent.py 驅(qū)動(dòng)核心就是一個(gè)對(duì)接 Ollama 的/agent/chat接口。二、一步到位Ollama 配置三步走1. 安裝 Ollama 并拉取本地模型在你的電腦上安裝 Ollama默認(rèn)監(jiān)聽(tīng)http://localhost:11434然后拉取一個(gè)小參數(shù)量的模型即可例如ollama pull qwen2.5:3b 本地 GPU 顯存有限時(shí)2B–4B 級(jí)別的模型響應(yīng)更快工具調(diào)用準(zhǔn)確率也夠用。2. 在 Modly 設(shè)置頁(yè)填寫 Ollama 地址打開(kāi)Settings → Agent分區(qū)源碼AgentSection.tsx配置項(xiàng)說(shuō)明Ollama URL默認(rèn)http://localhost:11434Ollama 跑在遠(yuǎn)程機(jī)器時(shí)改成對(duì)應(yīng)地址Test 按鈕一鍵測(cè)試連通性成功后會(huì)列出該服務(wù)上所有可用模型Default model下拉框選擇默認(rèn)聊天模型連接成功后出現(xiàn)Thinking 模式Auto模型自決/Enabled強(qiáng)制思考/Disabled最快響應(yīng)配置會(huì)被持久化到前端狀態(tài)庫(kù)源碼agentStore.ts下次打開(kāi)聊天面板直接生效。3. 打開(kāi) Chat 面板開(kāi)聊切到 Generate 頁(yè)的Chat標(biāo)簽輸入框旁可以臨時(shí)切換模型與思考模式。發(fā)一句幫我看看當(dāng)前網(wǎng)格助手就會(huì)自動(dòng)調(diào)用工具并給出結(jié)果。三、工具調(diào)用循環(huán)深入解析助手如何動(dòng)手這是整篇文章的核心。Modly 的 Agent 沒(méi)有魔法它的本質(zhì)是一個(gè)**模型提議 → 后端執(zhí)行 → 結(jié)果回喂的回合制循環(huán)**。1. 九件內(nèi)置工具后端用一份 OpenAI 兼容格式的TOOLS清單向 Ollama 聲明可用函數(shù)agent.py#L42-L192工具作用list_models列出已下載、可立即使用的 3D 生成模型unload_models把 3D 生成模型從 GPU 顯存中卸載get_mesh_info查看當(dāng)前視圖網(wǎng)格的路徑與三角面數(shù)decimate_mesh按目標(biāo)面數(shù)減面二次邊折疊算法smooth_mesh施加 Laplacian 平滑get_generation_status輪詢進(jìn)行中的生成任務(wù)list_workflows列出全部工作流run_workflow按 ID 執(zhí)行工作流create_workflow用有序步驟鏈創(chuàng)建新工作流2. 循環(huán)的每一回合發(fā)生了什么主循環(huán)位于 agent.py#L471-L502最多跑10 個(gè)回合請(qǐng)求模型把系統(tǒng)提示詞 場(chǎng)景上下文 歷史消息 TOOLS清單發(fā)給 Ollama 的/api/chat模型決策模型要么返回純文本回復(fù)循環(huán)結(jié)束要么返回一個(gè)或多個(gè)tool_calls執(zhí)行工具后端 execute_tool 按工具名分發(fā)——該查 API 的查 API該讀場(chǎng)景上下文的讀上下文結(jié)果回喂工具以role: tool的消息追加進(jìn)對(duì)話歷史模型看到執(zhí)行結(jié)果后決定是繼續(xù)調(diào)用還是總結(jié)收尾。這個(gè)設(shè)計(jì)帶來(lái)兩個(gè)好處模型永遠(yuǎn)基于真實(shí)結(jié)果說(shuō)話系統(tǒng)提示詞里明確規(guī)定Always use tools to act on the scene — never just describe以及錯(cuò)誤也能自愈——工具執(zhí)行失敗時(shí)錯(cuò)誤文本會(huì)作為工具結(jié)果回喂模型通常會(huì)換個(gè)參數(shù)重試。3. 場(chǎng)景上下文注入助手看得見(jiàn)你的工程每次請(qǐng)求前端會(huì)把當(dāng)前工程狀態(tài)打包進(jìn)contextChatPanel.tsx#L328-L337當(dāng)前網(wǎng)格路徑、三角面數(shù)、全部工作流列表、已安裝擴(kuò)展含輸入/輸出類型。后端再把這些拼成兩條額外的 system 消息agent.py#L427-L452。正是靠這份上下文助手才能準(zhǔn)確調(diào)用create_workflow——它只允許使用Available extensions里真實(shí)存在的擴(kuò)展 ID絕不憑空捏造。4. 前端如何消費(fèi)動(dòng)作載荷工具執(zhí)行不僅返回文字還附帶一個(gè)payload供前端執(zhí)行 UI 級(jí)聯(lián)動(dòng)ChatPanel.tsx#L384-L400mesh_update→ 新網(wǎng)格 URL 立刻推入 3D 視圖且支持一鍵Undorun_workflow→ 觸發(fā)工作流執(zhí)行進(jìn)度條實(shí)時(shí)顯示在聊天卡片里create_workflow→ 草稿工作流直接保存到 Workflows 頁(yè)。工作流一跑完前端還會(huì)自動(dòng)追加一條系統(tǒng)跟進(jìn)消息讓助手主動(dòng)詢問(wèn)下一步——形成完整的對(duì)話閉環(huán)。四、一個(gè)精巧細(xì)節(jié)顯存自動(dòng)讓位 本地 AI 最頭疼的問(wèn)題是顯存爭(zhēng)搶。Modly 的處理方式是一旦本輪對(duì)話中觸發(fā)過(guò)run_workflow真正吃顯存的 3D 生成任務(wù)后端會(huì)立即調(diào)用 Ollama 的keep_alive: 0接口把 LLM 從顯存中卸載把整塊顯存讓給 3D 工作流agent.py#L504-L514。這個(gè)先干活、后清場(chǎng)的小動(dòng)作正是桌面端本地 AI 體驗(yàn)與云端 API 的關(guān)鍵差異。五、快速上手清單 ?安裝 Ollamaollama pull一個(gè)小模型Modly 設(shè)置頁(yè)填寫 Ollama 地址 → 點(diǎn)Test→ 選模型 → 保存Generate 頁(yè)切到Chat標(biāo)簽用一句話試試把當(dāng)前網(wǎng)格減到 5000 面進(jìn)階玩法讓助手用 TripoSG 幫我建一個(gè)圖片轉(zhuǎn) 3D 的工作流它會(huì)替你連好所有節(jié)點(diǎn)。整套 Agent 的后端實(shí)現(xiàn)只有幾百行 Pythonapi/routers/agent.py配合 Ollama 的本地模型能力就是本地 AI 工具調(diào)用循環(huán)這一模式最簡(jiǎn)潔的落地樣本——值得每個(gè)想給自家桌面應(yīng)用接入本地 AI 助手的開(kāi)發(fā)者一讀?！久赓M(fèi)下載鏈接】modlyDesktop app to generate 3D models from images or prompt using local AI — runs entirely on your GPU項(xiàng)目地址: https://gitcode.com/GitHub_Trending/mo/modly創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 如何用Ollama構(gòu)建Modly內(nèi)置AI助手？工具調(diào)用循環(huán)深入解析（附9大工具清單）
如何用Ollama構(gòu)建Modly內(nèi)置AI助手工具調(diào)用循環(huán)深入解析附9大工具清單【免費(fèi)下載鏈接】modlyDesktop app to generate 3D models from images or prompt using local AI — runs entirely on your GPU項(xiàng)目地址: https://gitcode.com/GitHub_Trending/mo/modlyModly 是一款運(yùn)行在本地 GPU 上的桌面 3D 模型生成應(yīng)用而它內(nèi)置的AI 聊天助手正是基于Ollama 本地大模型構(gòu)建的。你無(wú)需任何云端 API 密鑰——只需在 Modly 中填寫 Ollama 服務(wù)地址、選一個(gè)本地模型就能用一句自然語(yǔ)言讓 AI 替你減面、平滑網(wǎng)格、跑工作流。本文將帶你完成 Ollama Modly AI 助手的完整配置并深入剖析其背后「工具調(diào)用循環(huán)Tool Use Loop」的運(yùn)作機(jī)制。一、Modly 的 AI 助手能做什么在 Generate 頁(yè)面頂部切換到Chat標(biāo)簽就會(huì)看到與內(nèi)置助手的聊天面板源碼ChatPanel.tsx。它不是只會(huì)聊天的機(jī)器人而是一個(gè)可以直接操作 3D 場(chǎng)景的 Agent 查詢/卸載已下載的 3D 生成模型?? 對(duì)當(dāng)前網(wǎng)格減面Decimate、平滑Smooth結(jié)果實(shí)時(shí)刷新到 3D 視圖 查看生成任務(wù)進(jìn)度? 列出、執(zhí)行、甚至從零創(chuàng)建工作流所有能力都由后端文件 api/routers/agent.py 驅(qū)動(dòng)核心就是一個(gè)對(duì)接 Ollama 的/agent/chat接口。二、一步到位Ollama 配置三步走1. 安裝 Ollama 并拉取本地模型在你的電腦上安裝 Ollama默認(rèn)監(jiān)聽(tīng)http://localhost:11434然后拉取一個(gè)小參數(shù)量的模型即可例如ollama pull qwen2.5:3b 本地 GPU 顯存有限時(shí)2B–4B 級(jí)別的模型響應(yīng)更快工具調(diào)用準(zhǔn)確率也夠用。2. 在 Modly 設(shè)置頁(yè)填寫 Ollama 地址打開(kāi)Settings → Agent分區(qū)源碼AgentSection.tsx配置項(xiàng)說(shuō)明Ollama URL默認(rèn)http://localhost:11434Ollama 跑在遠(yuǎn)程機(jī)器時(shí)改成對(duì)應(yīng)地址Test 按鈕一鍵測(cè)試連通性成功后會(huì)列出該服務(wù)上所有可用模型Default model下拉框選擇默認(rèn)聊天模型連接成功后出現(xiàn)Thinking 模式Auto模型自決/Enabled強(qiáng)制思考/Disabled最快響應(yīng)配置會(huì)被持久化到前端狀態(tài)庫(kù)源碼agentStore.ts下次打開(kāi)聊天面板直接生效。3. 打開(kāi) Chat 面板開(kāi)聊切到 Generate 頁(yè)的Chat標(biāo)簽輸入框旁可以臨時(shí)切換模型與思考模式。發(fā)一句幫我看看當(dāng)前網(wǎng)格助手就會(huì)自動(dòng)調(diào)用工具并給出結(jié)果。三、工具調(diào)用循環(huán)深入解析助手如何動(dòng)手這是整篇文章的核心。Modly 的 Agent 沒(méi)有魔法它的本質(zhì)是一個(gè)**模型提議 → 后端執(zhí)行 → 結(jié)果回喂的回合制循環(huán)**。1. 九件內(nèi)置工具后端用一份 OpenAI 兼容格式的TOOLS清單向 Ollama 聲明可用函數(shù)agent.py#L42-L192工具作用list_models列出已下載、可立即使用的 3D 生成模型unload_models把 3D 生成模型從 GPU 顯存中卸載get_mesh_info查看當(dāng)前視圖網(wǎng)格的路徑與三角面數(shù)decimate_mesh按目標(biāo)面數(shù)減面二次邊折疊算法smooth_mesh施加 Laplacian 平滑get_generation_status輪詢進(jìn)行中的生成任務(wù)list_workflows列出全部工作流run_workflow按 ID 執(zhí)行工作流create_workflow用有序步驟鏈創(chuàng)建新工作流2. 循環(huán)的每一回合發(fā)生了什么主循環(huán)位于 agent.py#L471-L502最多跑10 個(gè)回合請(qǐng)求模型把系統(tǒng)提示詞 場(chǎng)景上下文 歷史消息 TOOLS清單發(fā)給 Ollama 的/api/chat模型決策模型要么返回純文本回復(fù)循環(huán)結(jié)束要么返回一個(gè)或多個(gè)tool_calls執(zhí)行工具后端 execute_tool 按工具名分發(fā)——該查 API 的查 API該讀場(chǎng)景上下文的讀上下文結(jié)果回喂工具以role: tool的消息追加進(jìn)對(duì)話歷史模型看到執(zhí)行結(jié)果后決定是繼續(xù)調(diào)用還是總結(jié)收尾。這個(gè)設(shè)計(jì)帶來(lái)兩個(gè)好處模型永遠(yuǎn)基于真實(shí)結(jié)果說(shuō)話系統(tǒng)提示詞里明確規(guī)定Always use tools to act on the scene — never just describe以及錯(cuò)誤也能自愈——工具執(zhí)行失敗時(shí)錯(cuò)誤文本會(huì)作為工具結(jié)果回喂模型通常會(huì)換個(gè)參數(shù)重試。3. 場(chǎng)景上下文注入助手看得見(jiàn)你的工程每次請(qǐng)求前端會(huì)把當(dāng)前工程狀態(tài)打包進(jìn)contextChatPanel.tsx#L328-L337當(dāng)前網(wǎng)格路徑、三角面數(shù)、全部工作流列表、已安裝擴(kuò)展含輸入/輸出類型。后端再把這些拼成兩條額外的 system 消息agent.py#L427-L452。正是靠這份上下文助手才能準(zhǔn)確調(diào)用create_workflow——它只允許使用Available extensions里真實(shí)存在的擴(kuò)展 ID絕不憑空捏造。4. 前端如何消費(fèi)動(dòng)作載荷工具執(zhí)行不僅返回文字還附帶一個(gè)payload供前端執(zhí)行 UI 級(jí)聯(lián)動(dòng)ChatPanel.tsx#L384-L400mesh_update→ 新網(wǎng)格 URL 立刻推入 3D 視圖且支持一鍵Undorun_workflow→ 觸發(fā)工作流執(zhí)行進(jìn)度條實(shí)時(shí)顯示在聊天卡片里create_workflow→ 草稿工作流直接保存到 Workflows 頁(yè)。工作流一跑完前端還會(huì)自動(dòng)追加一條系統(tǒng)跟進(jìn)消息讓助手主動(dòng)詢問(wèn)下一步——形成完整的對(duì)話閉環(huán)。四、一個(gè)精巧細(xì)節(jié)顯存自動(dòng)讓位 本地 AI 最頭疼的問(wèn)題是顯存爭(zhēng)搶。Modly 的處理方式是一旦本輪對(duì)話中觸發(fā)過(guò)run_workflow真正吃顯存的 3D 生成任務(wù)后端會(huì)立即調(diào)用 Ollama 的keep_alive: 0接口把 LLM 從顯存中卸載把整塊顯存讓給 3D 工作流agent.py#L504-L514。這個(gè)先干活、后清場(chǎng)的小動(dòng)作正是桌面端本地 AI 體驗(yàn)與云端 API 的關(guān)鍵差異。五、快速上手清單 ?安裝 Ollamaollama pull一個(gè)小模型Modly 設(shè)置頁(yè)填寫 Ollama 地址 → 點(diǎn)Test→ 選模型 → 保存Generate 頁(yè)切到Chat標(biāo)簽用一句話試試把當(dāng)前網(wǎng)格減到 5000 面進(jìn)階玩法讓助手用 TripoSG 幫我建一個(gè)圖片轉(zhuǎn) 3D 的工作流它會(huì)替你連好所有節(jié)點(diǎn)。整套 Agent 的后端實(shí)現(xiàn)只有幾百行 Pythonapi/routers/agent.py配合 Ollama 的本地模型能力就是本地 AI 工具調(diào)用循環(huán)這一模式最簡(jiǎn)潔的落地樣本——值得每個(gè)想給自家桌面應(yīng)用接入本地 AI 助手的開(kāi)發(fā)者一讀?！久赓M(fèi)下載鏈接】modlyDesktop app to generate 3D models from images or prompt using local AI — runs entirely on your GPU項(xiàng)目地址: https://gitcode.com/GitHub_Trending/mo/modly創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考