自然語言操控瀏覽器)
Midscene Chrome擴展快速上手指南3步實現(xiàn)自然語言操控瀏覽器【免費下載鏈接】midsceneGUI Agent for E2E Testing項目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene Chrome擴展用自然語言控制瀏覽器頁面完成操作、數(shù)據(jù)提取與界面校驗。它用截圖視覺識別解決選擇器脆弱和視覺校驗缺失兩個 UI 自動化痛點。適合開發(fā)者、測試工程師和普通用戶。Midscene 是一個 GUI 自動化工具通過視覺語言模型實現(xiàn)跨平臺 UI 自動化。擴展側(cè)邊欄的三類指令A(yù)ction、Query 與 Assert打開 Midscene 擴展后瀏覽器右側(cè)出現(xiàn)指令面板三類指令覆蓋大多數(shù)網(wǎng)頁自動化場景Action 操作讓瀏覽器執(zhí)行動作如點擊搜索框并輸入關(guān)鍵詞Query 數(shù)據(jù)讓模型返回結(jié)構(gòu)化數(shù)據(jù)如提取商品名稱和價格返回 JSONAssert 校驗檢查界面狀態(tài)如頁面頂部出現(xiàn)導(dǎo)航欄擴展先對當前頁面截圖再由模型基于截圖識別并執(zhí)行不依賴 DOM 選擇器頁面樣式變化后只要視覺結(jié)構(gòu)不變?nèi)钥刹僮?。Query 還支持指定返回結(jié)果的字段結(jié)構(gòu)例如要求返回{name, price}數(shù)組時會直接得到 JSON。面板同時顯示實時截圖與模型決策過程便于排查它為什么操作某個元素。輸入指令后點擊 Run 執(zhí)行復(fù)雜指令建議先到 Playground 驗證見下文。Bridge模式本地腳本遠程操控瀏覽器Bridge模式讓本機運行的 Node.js 腳本接管桌面版 Chrome復(fù)用其登錄態(tài)與 Cookie 環(huán)境。人機混合操作自動化與人工步驟交替進行適合需要人工介入的流程復(fù)用登錄狀態(tài)操作真實瀏覽器頁面避免重復(fù)認證跨設(shè)備控制腳本與瀏覽器運行在不同機器上時在擴展的 Bridge Mode 面板填寫 Bridge Server 地址即可連接安裝擴展后運行腳本在瀏覽器彈出的確認對話框中點擊 Allow 建立連接支持始終允許且可在 Bridge Mode 面板重置。擴展圖標以黃點、綠點區(qū)分監(jiān)聽與已連接狀態(tài)。YAML 腳本運行器中也可通過web字段設(shè)置bridgeMode啟用該模式。Playground調(diào)試復(fù)雜指令的沙盒環(huán)境Playground 提供獨立的執(zhí)行環(huán)境復(fù)雜指令可在其中調(diào)試而不影響實際流程。實時頁面上下文左側(cè)展示頁面截圖、右側(cè)展示執(zhí)行結(jié)果便于定位指令失敗原因指令復(fù)用在 Playground 中驗證通過的指令可直接復(fù)用到 YAML 腳本或代碼集成在側(cè)邊欄的 Playground 入口打開當前頁面輸入相同指令并點擊 Run即可對照截圖與執(zhí)行結(jié)果調(diào)試。從零到第一條自動化指令的4個步驟 克隆倉庫git clone https://gitcode.com/GitHub_Trending/mid/midscene配置模型準備一個具備 UI 定位能力的多模態(tài)模型將配置粘貼到擴展設(shè)置中保存安裝擴展從 Chrome Web Store 安裝開發(fā)版構(gòu)建 Chrome 擴展源碼 后在chrome://extensions/加載輸出目錄執(zhí)行第一條指令打開任意網(wǎng)頁在側(cè)邊欄輸入點擊搜索框并搜索 Midscene點擊 Run使用 Midscene 擴展的常見避坑點??指令模糊獲取數(shù)據(jù)過于籠統(tǒng) → 寫明確提取表格中所有產(chǎn)品的名稱、價格和庫存頁面未加載就點擊動態(tài)頁面直接點擊會失敗 → 在指令中加入等待如等待頁面加載完成后點擊登錄按鈕擴展沖突報Cannot access a chrome-extension:// URL of different extension時說明其他擴展注入了腳本 → 在開發(fā)者工具中定位沖突擴展并禁用本地 Ollama 返回 403設(shè)置環(huán)境變量OLLAMA_ORIGINS*允許擴展訪問開啟遠程訪問后暴露 Bridge服務(wù)端默認只監(jiān)聽 127.0.0.1使用allowRemoteAccess時需限制在可信網(wǎng)絡(luò)內(nèi)Midscene 把自然語言指令與視覺模型結(jié)合讓瀏覽器完成操作、數(shù)據(jù)提取與界面校驗。打開擴展輸入第一條指令開始調(diào)試你的第一個自動化流程?！久赓M下載鏈接】midsceneGUI Agent for E2E Testing項目地址: https://gitcode.com/GitHub_Trending/mid/midscene創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Midscene Chrome擴展快速上手指南：3步實現(xiàn)自然語言操控瀏覽器
Midscene Chrome擴展快速上手指南3步實現(xiàn)自然語言操控瀏覽器【免費下載鏈接】midsceneGUI Agent for E2E Testing項目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene Chrome擴展用自然語言控制瀏覽器頁面完成操作、數(shù)據(jù)提取與界面校驗。它用截圖視覺識別解決選擇器脆弱和視覺校驗缺失兩個 UI 自動化痛點。適合開發(fā)者、測試工程師和普通用戶。Midscene 是一個 GUI 自動化工具通過視覺語言模型實現(xiàn)跨平臺 UI 自動化。擴展側(cè)邊欄的三類指令A(yù)ction、Query 與 Assert打開 Midscene 擴展后瀏覽器右側(cè)出現(xiàn)指令面板三類指令覆蓋大多數(shù)網(wǎng)頁自動化場景Action 操作讓瀏覽器執(zhí)行動作如點擊搜索框并輸入關(guān)鍵詞Query 數(shù)據(jù)讓模型返回結(jié)構(gòu)化數(shù)據(jù)如提取商品名稱和價格返回 JSONAssert 校驗檢查界面狀態(tài)如頁面頂部出現(xiàn)導(dǎo)航欄擴展先對當前頁面截圖再由模型基于截圖識別并執(zhí)行不依賴 DOM 選擇器頁面樣式變化后只要視覺結(jié)構(gòu)不變?nèi)钥刹僮?。Query 還支持指定返回結(jié)果的字段結(jié)構(gòu)例如要求返回{name, price}數(shù)組時會直接得到 JSON。面板同時顯示實時截圖與模型決策過程便于排查它為什么操作某個元素。輸入指令后點擊 Run 執(zhí)行復(fù)雜指令建議先到 Playground 驗證見下文。Bridge模式本地腳本遠程操控瀏覽器Bridge模式讓本機運行的 Node.js 腳本接管桌面版 Chrome復(fù)用其登錄態(tài)與 Cookie 環(huán)境。人機混合操作自動化與人工步驟交替進行適合需要人工介入的流程復(fù)用登錄狀態(tài)操作真實瀏覽器頁面避免重復(fù)認證跨設(shè)備控制腳本與瀏覽器運行在不同機器上時在擴展的 Bridge Mode 面板填寫 Bridge Server 地址即可連接安裝擴展后運行腳本在瀏覽器彈出的確認對話框中點擊 Allow 建立連接支持始終允許且可在 Bridge Mode 面板重置。擴展圖標以黃點、綠點區(qū)分監(jiān)聽與已連接狀態(tài)。YAML 腳本運行器中也可通過web字段設(shè)置bridgeMode啟用該模式。Playground調(diào)試復(fù)雜指令的沙盒環(huán)境Playground 提供獨立的執(zhí)行環(huán)境復(fù)雜指令可在其中調(diào)試而不影響實際流程。實時頁面上下文左側(cè)展示頁面截圖、右側(cè)展示執(zhí)行結(jié)果便于定位指令失敗原因指令復(fù)用在 Playground 中驗證通過的指令可直接復(fù)用到 YAML 腳本或代碼集成在側(cè)邊欄的 Playground 入口打開當前頁面輸入相同指令并點擊 Run即可對照截圖與執(zhí)行結(jié)果調(diào)試。從零到第一條自動化指令的4個步驟 克隆倉庫git clone https://gitcode.com/GitHub_Trending/mid/midscene配置模型準備一個具備 UI 定位能力的多模態(tài)模型將配置粘貼到擴展設(shè)置中保存安裝擴展從 Chrome Web Store 安裝開發(fā)版構(gòu)建 Chrome 擴展源碼 后在chrome://extensions/加載輸出目錄執(zhí)行第一條指令打開任意網(wǎng)頁在側(cè)邊欄輸入點擊搜索框并搜索 Midscene點擊 Run使用 Midscene 擴展的常見避坑點??指令模糊獲取數(shù)據(jù)過于籠統(tǒng) → 寫明確提取表格中所有產(chǎn)品的名稱、價格和庫存頁面未加載就點擊動態(tài)頁面直接點擊會失敗 → 在指令中加入等待如等待頁面加載完成后點擊登錄按鈕擴展沖突報Cannot access a chrome-extension:// URL of different extension時說明其他擴展注入了腳本 → 在開發(fā)者工具中定位沖突擴展并禁用本地 Ollama 返回 403設(shè)置環(huán)境變量OLLAMA_ORIGINS*允許擴展訪問開啟遠程訪問后暴露 Bridge服務(wù)端默認只監(jiān)聽 127.0.0.1使用allowRemoteAccess時需限制在可信網(wǎng)絡(luò)內(nèi)Midscene 把自然語言指令與視覺模型結(jié)合讓瀏覽器完成操作、數(shù)據(jù)提取與界面校驗。打開擴展輸入第一條指令開始調(diào)試你的第一個自動化流程?！久赓M下載鏈接】midsceneGUI Agent for E2E Testing項目地址: https://gitcode.com/GitHub_Trending/mid/midscene創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考