教程)
人工智能AI 技能計算機視覺OCRGUI 自動化大模型DeepSeek【免費下載鏈接】agent-vision-toolkit為純文本模型看圖“設(shè)計更好的視覺工具箱和技能支持多圖理解圖片問答前端UI還原、GUI 自動化等并可選無縫接入多個主流agent直接識別粘貼圖片 A vision toolkit and skill designed for text-only llms — image QA, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode項目地址https://gitcode.com/Anionex/agent-vision-toolkit點擊查看免費下載agent-vision-toolkit 是一款為純文本大模型設(shè)計的 Agent 視覺工具箱支持多圖理解、圖片問答、長截圖 OCR、前端 UI 還原和 GUI 自動化。它最大的亮點是一句話安裝把一段提示詞發(fā)給你的 Agent它就會自動完成視覺工具箱、skill 和可選無縫接入層的安裝與配置全程無需手動改環(huán)境。這篇教程帶你 3 分鐘走通完整流程。先搞清楚它能解決什么問題如果你在用 DeepSeek 這類純文本模型驅(qū)動 coding Agent大概率遇到過這種場景粘貼一張截圖給 Agent被告知模型不支持圖片輸入直接報錯想讓 Agent 照著設(shè)計稿還原 UI、讀長截圖、看界面排 bug統(tǒng)統(tǒng)做不了。agent-vision-toolkit 的思路是視覺能力不一定長在模型里也可以長在工具鏈里。它提供兩部分內(nèi)容視覺工具 CLIs skillglance看圖問答/OCR、ground目標定位、detect元素盤點、trace矢量描摹、crop區(qū)域裁圖外加一個教 Agent 什么時候用哪個工具 的 vision-skills 技能。任何能調(diào)用 shell 的 Agent 都能用無縫接入層可選升級透明本地代理 單文件原生插件讓直接粘貼圖片和Agent 內(nèi)置看圖工具都能正常工作詳見 AGENT_INSTALL.md。一句話安裝把這段提示詞發(fā)給你的 Agent這是最簡單的方式官方稱之為 one-sentence install。直接對你的 Agent 說根據(jù) https://gitcode.com/Anionex/agent-vision-toolkit 的倉庫指引在本地安裝視覺工具箱和 skill。如果視覺 API 尚未配置請按當前系統(tǒng)找到配置文件并引導(dǎo)我填寫VISION_API_KEY、VISION_BASE_URL和VISION_MODEL。如果你還想要無縫接入層粘貼圖片直接可用改為發(fā)送完整閱讀 agent-vision-toolkit 倉庫的 AGENT_INSTALL.md根據(jù)我們當前使用的 agent 應(yīng)用安裝適用的視覺代理或原生 extension/plugin。如果視覺 API 尚未配置請按當前系統(tǒng)找到配置文件并引導(dǎo)我填寫VISION_API_KEY、VISION_BASE_URL和VISION_MODEL。你只需要準備一樣?xùn)|西一個支持 OpenAI Chat Completions、OpenAI Responses 或 Anthropic Messages 協(xié)議的多模態(tài) API以及它的 base URL、API key 和模型名。剩下的Agent 會引導(dǎo)你一步步完成。安裝過程在做什么3 步手動流程詳解想搞懂 Agent 替你干了什么整個安裝就 3 步步驟做什么說明1?? 指向視覺 API在~/.config/agent-vision-toolkit/env寫入 3 個環(huán)境變量這是唯一的必填項2?? CLI 放進 PATHclone 倉庫把bin/目錄加入 shell 的 PATH之后glance等命令全局可用3?? 安裝 skill把 skills/vision-skills/ 復(fù)制進 Agent 的 skills 目錄如~/.codex/skills/并重啟Agent 從此知道工具的存在和用法如果偏好手動操作第 2 步的命令就是git clone https://gitcode.com/Anionex/agent-vision-toolkit.git export PATH$PWD/agent-vision-toolkit/bin:$PATH # 寫入 shell 配置以持久生效第 1 步的配置格式只需 3 行VISION_API_KEYsk-... VISION_BASE_URLhttps://your-vision-endpoint/v1 VISION_MODELyour-vision-model?? 環(huán)境要求也很低glance只需 Python 3.11ground/detect/crop和長截圖 OCR 另需pillow。按需安裝即可無需為用不到的工具裝依賴。進階無縫接入層讓粘貼圖片直接可用基礎(chǔ)安裝后Agent 通過glance等命令看圖。而無縫接入層更進一步——圖片直接粘貼進對話、或 Agent 調(diào)用內(nèi)置看圖工具如 Codex 的view_image都不再報錯Agent接入方式狀態(tài)Codex透明本地代理vision_proxy.py監(jiān)聽127.0.0.1:19100? 已驗證Claude Code同一個代理把ANTHROPIC_BASE_URL指向它即可? 已驗證Pi / Oh My Pi單文件原生 extension見 extensions/pi/? 已驗證OpenCode單文件原生 plugin見 extensions/opencode/? 已驗證所有入口共享同一份VISION_*配置一次配置、處處可用。接入層的完整部署細節(jié)備份配置、后臺常駐、驗證流程都寫在 AGENT_INSTALL.md 里直接讓 Agent 照做即可。核心原理focus hint讓看圖有的放矢很多圖片轉(zhuǎn)文字方案只是讓多模態(tài)模型寫一段通用描述再交給純文本模型自己拼湊中間必然丟信息。agent-vision-toolkit 的做法是先提取Agent 為什么想看這張圖你的原始請求或模型調(diào)用看圖工具時自述的理由把它作為focus hint一并交給視覺模型。拿回來的就不再是一個帶側(cè)邊欄的界面這種空話而是布局、組件、間距、顏色等當前這一步真正要緊的細節(jié)——成本更低、準確率更高、響應(yīng)更快。裝完就能用4 個立竿見影的場景?圖片問答貼一張設(shè)計圖問這種背景風(fēng)格叫什么Agent 會給出彌散漸變、Mesh Gradient 等風(fēng)格辨析甚至附上 CSS 實現(xiàn)?看圖排 bug貼一張界面截圖問為什么字段名稱不符合預(yù)期Agent 直接對照代碼定位問題并給出修復(fù)方案?UI 還原從手繪稿或網(wǎng)頁截圖還原出可編輯的 HTML 界面流程見 restore-ui 技能指南?長截圖 OCR聊天記錄、滾動長頁逐塊識別并按序合并完整示例見 examples/long-screenshot-ocr/。常見問題會大幅增加費用嗎不會。每次看圖只把必要的意圖和圖片送入多模態(tài)模型上下文且有截斷機制不存在上下文膨脹。想進一步壓成本還可以用本地部署的視覺小模型如 Qwen-VL 系列充當視覺端。代理需要再配一份上游 API key 嗎不需要。你的文本模型鑒權(quán)頭由 Agent 原樣攜帶代理只透傳env里只寫視覺 API 的三個變量。有使用限制嗎它是圖片轉(zhuǎn)文字層不會把視覺 token 直接交給文本模型整體效果由主模型 視覺模型共同決定代理緩存重啟即清空。寫在最后3 分鐘流程回顧發(fā)一句安裝提示詞 → 填 3 個VISION_*配置 → 重啟 Agent。之后無論是圖片問答、長圖 OCR 還是 UI 還原你的純文本 Agent 都能像多模態(tài)模型一樣看世界。這就是 agent-vision-toolkit 想給你的東西——給 Agent 裝上眼睛而且一句話就裝好。贊分享人工智能AI 技能計算機視覺OCRGUI 自動化大模型DeepSeek【免費下載鏈接】agent-vision-toolkit為純文本模型看圖“設(shè)計更好的視覺工具箱和技能支持多圖理解圖片問答前端UI還原、GUI 自動化等并可選無縫接入多個主流agent直接識別粘貼圖片 A vision toolkit and skill designed for text-only llms — image QA, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode項目地址https://gitcode.com/Anionex/agent-vision-toolkit點擊查看免費下載相關(guān)推薦給純文本模型裝上眼睛agent-vision-toolkit 如何讓 DeepSeek 也能看懂圖片給純文本模型裝上眼睛agent vision toolkit 如何讓 DeepSeek 也能看懂圖片 agent vision toolkit 是一套面向純文3分鐘給Claude Code裝上眼睛World2Agent傳感器安裝實戰(zhàn)指南3分鐘給Claude Code裝上眼睛World2Agent傳感器安裝實戰(zhàn)指南 World2AgentW2A是一個開放協(xié)議專門解決AI Agent 如給Claude Code裝上眼睛PixelRAG pixelbrowse插件安裝與實戰(zhàn)教程給Claude Code裝上眼睛PixelRAG pixelbrowse插件安裝與實戰(zhàn)教程 ! PixelRAG 視覺檢索增強生成項目標志 https://rRAG人工智能大模型計算機視覺創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 3 分鐘給 Agent 裝上眼睛：agent-vision-toolkit 一句話安裝實戰(zhàn)教程
人工智能AI 技能計算機視覺OCRGUI 自動化大模型DeepSeek【免費下載鏈接】agent-vision-toolkit為純文本模型看圖“設(shè)計更好的視覺工具箱和技能支持多圖理解圖片問答前端UI還原、GUI 自動化等并可選無縫接入多個主流agent直接識別粘貼圖片 A vision toolkit and skill designed for text-only llms — image QA, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode項目地址https://gitcode.com/Anionex/agent-vision-toolkit點擊查看免費下載agent-vision-toolkit 是一款為純文本大模型設(shè)計的 Agent 視覺工具箱支持多圖理解、圖片問答、長截圖 OCR、前端 UI 還原和 GUI 自動化。它最大的亮點是一句話安裝把一段提示詞發(fā)給你的 Agent它就會自動完成視覺工具箱、skill 和可選無縫接入層的安裝與配置全程無需手動改環(huán)境。這篇教程帶你 3 分鐘走通完整流程。先搞清楚它能解決什么問題如果你在用 DeepSeek 這類純文本模型驅(qū)動 coding Agent大概率遇到過這種場景粘貼一張截圖給 Agent被告知模型不支持圖片輸入直接報錯想讓 Agent 照著設(shè)計稿還原 UI、讀長截圖、看界面排 bug統(tǒng)統(tǒng)做不了。agent-vision-toolkit 的思路是視覺能力不一定長在模型里也可以長在工具鏈里。它提供兩部分內(nèi)容視覺工具 CLIs skillglance看圖問答/OCR、ground目標定位、detect元素盤點、trace矢量描摹、crop區(qū)域裁圖外加一個教 Agent 什么時候用哪個工具 的 vision-skills 技能。任何能調(diào)用 shell 的 Agent 都能用無縫接入層可選升級透明本地代理 單文件原生插件讓直接粘貼圖片和Agent 內(nèi)置看圖工具都能正常工作詳見 AGENT_INSTALL.md。一句話安裝把這段提示詞發(fā)給你的 Agent這是最簡單的方式官方稱之為 one-sentence install。直接對你的 Agent 說根據(jù) https://gitcode.com/Anionex/agent-vision-toolkit 的倉庫指引在本地安裝視覺工具箱和 skill。如果視覺 API 尚未配置請按當前系統(tǒng)找到配置文件并引導(dǎo)我填寫VISION_API_KEY、VISION_BASE_URL和VISION_MODEL。如果你還想要無縫接入層粘貼圖片直接可用改為發(fā)送完整閱讀 agent-vision-toolkit 倉庫的 AGENT_INSTALL.md根據(jù)我們當前使用的 agent 應(yīng)用安裝適用的視覺代理或原生 extension/plugin。如果視覺 API 尚未配置請按當前系統(tǒng)找到配置文件并引導(dǎo)我填寫VISION_API_KEY、VISION_BASE_URL和VISION_MODEL。你只需要準備一樣?xùn)|西一個支持 OpenAI Chat Completions、OpenAI Responses 或 Anthropic Messages 協(xié)議的多模態(tài) API以及它的 base URL、API key 和模型名。剩下的Agent 會引導(dǎo)你一步步完成。安裝過程在做什么3 步手動流程詳解想搞懂 Agent 替你干了什么整個安裝就 3 步步驟做什么說明1?? 指向視覺 API在~/.config/agent-vision-toolkit/env寫入 3 個環(huán)境變量這是唯一的必填項2?? CLI 放進 PATHclone 倉庫把bin/目錄加入 shell 的 PATH之后glance等命令全局可用3?? 安裝 skill把 skills/vision-skills/ 復(fù)制進 Agent 的 skills 目錄如~/.codex/skills/并重啟Agent 從此知道工具的存在和用法如果偏好手動操作第 2 步的命令就是git clone https://gitcode.com/Anionex/agent-vision-toolkit.git export PATH$PWD/agent-vision-toolkit/bin:$PATH # 寫入 shell 配置以持久生效第 1 步的配置格式只需 3 行VISION_API_KEYsk-... VISION_BASE_URLhttps://your-vision-endpoint/v1 VISION_MODELyour-vision-model?? 環(huán)境要求也很低glance只需 Python 3.11ground/detect/crop和長截圖 OCR 另需pillow。按需安裝即可無需為用不到的工具裝依賴。進階無縫接入層讓粘貼圖片直接可用基礎(chǔ)安裝后Agent 通過glance等命令看圖。而無縫接入層更進一步——圖片直接粘貼進對話、或 Agent 調(diào)用內(nèi)置看圖工具如 Codex 的view_image都不再報錯Agent接入方式狀態(tài)Codex透明本地代理vision_proxy.py監(jiān)聽127.0.0.1:19100? 已驗證Claude Code同一個代理把ANTHROPIC_BASE_URL指向它即可? 已驗證Pi / Oh My Pi單文件原生 extension見 extensions/pi/? 已驗證OpenCode單文件原生 plugin見 extensions/opencode/? 已驗證所有入口共享同一份VISION_*配置一次配置、處處可用。接入層的完整部署細節(jié)備份配置、后臺常駐、驗證流程都寫在 AGENT_INSTALL.md 里直接讓 Agent 照做即可。核心原理focus hint讓看圖有的放矢很多圖片轉(zhuǎn)文字方案只是讓多模態(tài)模型寫一段通用描述再交給純文本模型自己拼湊中間必然丟信息。agent-vision-toolkit 的做法是先提取Agent 為什么想看這張圖你的原始請求或模型調(diào)用看圖工具時自述的理由把它作為focus hint一并交給視覺模型。拿回來的就不再是一個帶側(cè)邊欄的界面這種空話而是布局、組件、間距、顏色等當前這一步真正要緊的細節(jié)——成本更低、準確率更高、響應(yīng)更快。裝完就能用4 個立竿見影的場景?圖片問答貼一張設(shè)計圖問這種背景風(fēng)格叫什么Agent 會給出彌散漸變、Mesh Gradient 等風(fēng)格辨析甚至附上 CSS 實現(xiàn)?看圖排 bug貼一張界面截圖問為什么字段名稱不符合預(yù)期Agent 直接對照代碼定位問題并給出修復(fù)方案?UI 還原從手繪稿或網(wǎng)頁截圖還原出可編輯的 HTML 界面流程見 restore-ui 技能指南?長截圖 OCR聊天記錄、滾動長頁逐塊識別并按序合并完整示例見 examples/long-screenshot-ocr/。常見問題會大幅增加費用嗎不會。每次看圖只把必要的意圖和圖片送入多模態(tài)模型上下文且有截斷機制不存在上下文膨脹。想進一步壓成本還可以用本地部署的視覺小模型如 Qwen-VL 系列充當視覺端。代理需要再配一份上游 API key 嗎不需要。你的文本模型鑒權(quán)頭由 Agent 原樣攜帶代理只透傳env里只寫視覺 API 的三個變量。有使用限制嗎它是圖片轉(zhuǎn)文字層不會把視覺 token 直接交給文本模型整體效果由主模型 視覺模型共同決定代理緩存重啟即清空。寫在最后3 分鐘流程回顧發(fā)一句安裝提示詞 → 填 3 個VISION_*配置 → 重啟 Agent。之后無論是圖片問答、長圖 OCR 還是 UI 還原你的純文本 Agent 都能像多模態(tài)模型一樣看世界。這就是 agent-vision-toolkit 想給你的東西——給 Agent 裝上眼睛而且一句話就裝好。贊分享人工智能AI 技能計算機視覺OCRGUI 自動化大模型DeepSeek【免費下載鏈接】agent-vision-toolkit為純文本模型看圖“設(shè)計更好的視覺工具箱和技能支持多圖理解圖片問答前端UI還原、GUI 自動化等并可選無縫接入多個主流agent直接識別粘貼圖片 A vision toolkit and skill designed for text-only llms — image QA, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode項目地址https://gitcode.com/Anionex/agent-vision-toolkit點擊查看免費下載相關(guān)推薦給純文本模型裝上眼睛agent-vision-toolkit 如何讓 DeepSeek 也能看懂圖片給純文本模型裝上眼睛agent vision toolkit 如何讓 DeepSeek 也能看懂圖片 agent vision toolkit 是一套面向純文3分鐘給Claude Code裝上眼睛World2Agent傳感器安裝實戰(zhàn)指南3分鐘給Claude Code裝上眼睛World2Agent傳感器安裝實戰(zhàn)指南 World2AgentW2A是一個開放協(xié)議專門解決AI Agent 如給Claude Code裝上眼睛PixelRAG pixelbrowse插件安裝與實戰(zhàn)教程給Claude Code裝上眼睛PixelRAG pixelbrowse插件安裝與實戰(zhàn)教程 ! PixelRAG 視覺檢索增強生成項目標志 https://rRAG人工智能大模型計算機視覺創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考