最近在折騰一些自動(dòng)化腳本時(shí)我遇到了一個(gè)挺有意思的場(chǎng)景想把一個(gè)網(wǎng)頁(yè)上的操作流程固化下來比如定時(shí)抓取某個(gè)頁(yè)面的數(shù)據(jù)或者自動(dòng)填寫一些表單。傳統(tǒng)的做法是寫個(gè)Python腳本用Selenium或者Playwright去控制瀏覽器但這意味著我得維護(hù)一套獨(dú)立的運(yùn)行環(huán)境、處理瀏覽器驅(qū)動(dòng)版本、還得應(yīng)對(duì)網(wǎng)頁(yè)結(jié)構(gòu)變化帶來的腳本失效問題。就在我琢磨有沒有更輕量、更“嵌入式”的方案時(shí)注意到了Codex這個(gè)工具。它原本給我的印象是一個(gè)能通過自然語(yǔ)言生成代碼的AI助手但這次的變化有點(diǎn)不同——它開始支持在Edge瀏覽器里直接“使用計(jì)算機(jī)”。這聽起來有點(diǎn)抽象但簡(jiǎn)單來說它可能允許Codex直接與瀏覽器交互執(zhí)行點(diǎn)擊、輸入、導(dǎo)航等操作而無需你離開瀏覽器去寫一個(gè)完整的自動(dòng)化項(xiàng)目。這個(gè)變化讓我停下來想了很久。我們過去談瀏覽器自動(dòng)化談RPA機(jī)器人流程自動(dòng)化往往默認(rèn)那是一個(gè)獨(dú)立的、需要專門學(xué)習(xí)和部署的“工程”。但如果一個(gè)你每天都在用的AI編碼助手突然能直接在你瀏覽網(wǎng)頁(yè)時(shí)幫你完成一些重復(fù)性操作這意味著什么是噱頭還是一個(gè)真正能改變我們與瀏覽器交互方式的起點(diǎn)1. 先別急著找安裝包理解“計(jì)算機(jī)使用”到底指什么看到“Computer Use”這個(gè)功能很多人的第一反應(yīng)可能是去搜索“codex安裝教程”或者“codex桌面版下載”。但在此之前我們得先搞清楚這個(gè)功能的核心價(jià)值點(diǎn)在哪里以及它和我們熟知的那些自動(dòng)化工具比如瀏覽器插件、油猴腳本、或是獨(dú)立的RPA軟件到底有什么不同。1.1 從“代碼生成”到“動(dòng)作執(zhí)行”的跨越Codex最初為人熟知的能力是將自然語(yǔ)言描述轉(zhuǎn)化為可執(zhí)行的代碼片段。比如你描述“用Python讀取CSV文件并計(jì)算某列的平均值”它能生成對(duì)應(yīng)的代碼。這解決的是“寫代碼”的問題。而“計(jì)算機(jī)使用”Computer Use則試圖解決“執(zhí)行任務(wù)”的問題。它的目標(biāo)不是給你一段待運(yùn)行的代碼而是理解你的意圖后直接操控計(jì)算機(jī)在當(dāng)前語(yǔ)境下特指瀏覽器去完成這個(gè)意圖。例如你告訴它“幫我在這個(gè)電商網(wǎng)站搜索‘無線鼠標(biāo)’并按價(jià)格排序”它可能會(huì)嘗試自動(dòng)在搜索框輸入、點(diǎn)擊按鈕、解析頁(yè)面元素并執(zhí)行排序操作。這背后的邏輯是很多重復(fù)性的網(wǎng)頁(yè)操作其最終目的并不是為了得到一段代碼而是為了得到一個(gè)結(jié)果。如果AI能跳過“生成代碼-用戶復(fù)制-用戶運(yùn)行”這個(gè)中間環(huán)節(jié)直接產(chǎn)出結(jié)果效率的提升是顯而易見的。1.2 在Edge瀏覽器中實(shí)現(xiàn)輕量化與場(chǎng)景化的嘗試為什么是Edge瀏覽器而不是一個(gè)獨(dú)立的桌面應(yīng)用這其實(shí)體現(xiàn)了兩種不同的產(chǎn)品思路。獨(dú)立的自動(dòng)化軟件如一些RPA工具功能強(qiáng)大但通常較重需要安裝、配置學(xué)習(xí)成本不低。而集成在瀏覽器中則有以下幾個(gè)潛在優(yōu)勢(shì)環(huán)境統(tǒng)一操作直接發(fā)生在瀏覽器沙盒內(nèi)無需處理跨應(yīng)用、跨窗口的復(fù)雜交互。對(duì)于純網(wǎng)頁(yè)操作場(chǎng)景路徑最短。權(quán)限清晰它的操作范圍理論上被限制在瀏覽器標(biāo)簽頁(yè)內(nèi)這比一個(gè)擁有系統(tǒng)級(jí)權(quán)限的獨(dú)立應(yīng)用在安全感知上更讓人放心當(dāng)然具體實(shí)現(xiàn)決定了實(shí)際的安全邊界。即開即用無需單獨(dú)啟動(dòng)一個(gè)軟件在瀏覽網(wǎng)頁(yè)時(shí)隨時(shí)可以喚起處理臨時(shí)性的、輕量級(jí)的自動(dòng)化需求。與現(xiàn)有生態(tài)結(jié)合可以更容易地與瀏覽器插件、開發(fā)者工具、甚至其他AI功能如Copilot進(jìn)行聯(lián)動(dòng)。所以這個(gè)功能的目標(biāo)用戶可能不是需要構(gòu)建企業(yè)級(jí)復(fù)雜流程的RPA工程師而是廣大的普通用戶、運(yùn)營(yíng)人員、數(shù)據(jù)分析師或者開發(fā)者他們面對(duì)的是大量重復(fù)、規(guī)則明確但又不值得專門開發(fā)一個(gè)系統(tǒng)的網(wǎng)頁(yè)操作。1.3 與常見方案的模糊邊界理解一個(gè)新功能把它和已知的東西做對(duì)比會(huì)更清晰。我們可以看一個(gè)簡(jiǎn)單的對(duì)比表格特性瀏覽器插件/油猴腳本獨(dú)立自動(dòng)化工具 (如 Selenium, Playwright)Codex 的 “Computer Use” (概念推測(cè))核心能力通過注入JS腳本修改或增強(qiáng)頁(yè)面功能通過API編程控制瀏覽器實(shí)現(xiàn)復(fù)雜流程通過自然語(yǔ)言指令讓AI理解并執(zhí)行操作使用門檻需要會(huì)JavaScript了解DOM需要會(huì)編程處理環(huán)境、驅(qū)動(dòng)、反爬等理論上最低只需用語(yǔ)言描述靈活性高可深度定制頁(yè)面行為極高可跨頁(yè)面、跨應(yīng)用、處理復(fù)雜邏輯未知可能受限于AI的理解能力和安全邊界維護(hù)成本中需隨網(wǎng)頁(yè)結(jié)構(gòu)變化更新腳本高需維護(hù)代碼和運(yùn)行環(huán)境理論上低由AI適應(yīng)變化(存疑)適用場(chǎng)景固定頁(yè)面的功能增強(qiáng)、數(shù)據(jù)提取測(cè)試、數(shù)據(jù)采集、復(fù)雜的業(yè)務(wù)流程自動(dòng)化臨時(shí)的、簡(jiǎn)單的、描述清晰的重復(fù)操作從這個(gè)對(duì)比可以看出Codex的“計(jì)算機(jī)使用”試圖在“使用門檻”和“靈活性”之間找到一個(gè)新平衡點(diǎn)用極高的易用性自然語(yǔ)言來覆蓋那些不夠靈活但非常高頻的簡(jiǎn)單場(chǎng)景。注意目前關(guān)于該功能的具體實(shí)現(xiàn)細(xì)節(jié)、能力邊界和穩(wěn)定性信息非常有限。上述分析是基于其概念描述和常見技術(shù)路徑的合理推測(cè)。在嘗試前務(wù)必將其視為一個(gè)探索性功能而非成熟的生產(chǎn)力工具。2. 從概念到實(shí)操如何開始嘗試與核心邏輯推演由于沒有官方的詳細(xì)文檔和明確的公開入口我們無法給出一步步的點(diǎn)擊教程。但是我們可以根據(jù)這類功能通常的落地方式推演出一個(gè)合理的探索路徑和需要關(guān)注的核心邏輯。這比盲目尋找安裝包更有價(jià)值。2.1 探索入口與前置條件通常這類與AI深度結(jié)合的新功能可能會(huì)通過以下幾種方式提供Edge瀏覽器內(nèi)置側(cè)邊欄類似Copilot的側(cè)邊欄在瀏覽網(wǎng)頁(yè)時(shí)側(cè)邊欄的AI助手可能新增“執(zhí)行任務(wù)”或“自動(dòng)化”相關(guān)的選項(xiàng)。特定網(wǎng)站或服務(wù)集成可能需要訪問特定的實(shí)驗(yàn)室頁(yè)面或啟用特定的瀏覽器標(biāo)志edge://flags。作為ChatGPT Plus或企業(yè)版功能通過ChatGPT的“高級(jí)數(shù)據(jù)分析”或“自定義GPT”類似的路徑獲得瀏覽器交互權(quán)限。獨(dú)立的瀏覽器擴(kuò)展開發(fā)一個(gè)專門的擴(kuò)展申請(qǐng)必要的瀏覽器權(quán)限如activeTab,scripting,webNavigation等來實(shí)現(xiàn)。對(duì)于普通用戶最可能的入口是第一種或第二種。因此如果你的Edge瀏覽器已經(jīng)更新到最新版本可以留意側(cè)邊欄Copilot區(qū)域是否有新按鈕或描述詞的變化。同時(shí)在地址欄輸入edge://flags并搜索 “Codex” 或 “Computer Use” 之類的關(guān)鍵詞看看是否有實(shí)驗(yàn)性開關(guān)。關(guān)鍵前置條件猜想一個(gè)有效的、支持該功能的AI服務(wù)賬號(hào)如OpenAI的ChatGPT Plus。最新版本的Microsoft Edge瀏覽器?？赡苄枰鞔_授權(quán)該功能訪問當(dāng)前標(biāo)簽頁(yè)。2.2 理解其可能的工作流程即使無法立即上手理解它“可能怎么工作”也能幫助我們判斷其適用性。一個(gè)合理的工作流程推演如下意圖捕獲你在AI聊天界面或?yàn)g覽器側(cè)邊欄輸入自然語(yǔ)言指令如“把本頁(yè)面所有產(chǎn)品標(biāo)題和價(jià)格提取到一個(gè)表格里”。意圖解析與規(guī)劃AI模型如GPT-4會(huì)解析你的指令將其分解為一系列可執(zhí)行的原子操作步驟。例如步驟1識(shí)別頁(yè)面中所有可能是“產(chǎn)品”的容器。步驟2在每個(gè)容器中定位“標(biāo)題”和“價(jià)格”文本元素。步驟3提取文本內(nèi)容。步驟4將數(shù)據(jù)組織成表格格式。動(dòng)作執(zhí)行Codex或背后的執(zhí)行引擎將這些原子操作轉(zhuǎn)化為對(duì)瀏覽器DOM文檔對(duì)象模型的實(shí)際操作。這可能通過以下幾種技術(shù)之一實(shí)現(xiàn)瀏覽器擴(kuò)展API使用chrome.scripting.executeScript向頁(yè)面注入JavaScript代碼來執(zhí)行操作。無頭瀏覽器驅(qū)動(dòng)在后臺(tái)啟動(dòng)一個(gè)輕量級(jí)的瀏覽器實(shí)例來執(zhí)行操作對(duì)用戶透明。模擬用戶輸入通過系統(tǒng)級(jí)的自動(dòng)化工具模擬點(diǎn)擊和鍵盤輸入權(quán)限要求高可能性較低。結(jié)果反饋與確認(rèn)執(zhí)行過程中可能會(huì)需要你的確認(rèn)尤其是涉及輸入個(gè)人信息或執(zhí)行刪除等危險(xiǎn)操作時(shí)。最終將提取的數(shù)據(jù)以文本、表格或文件的形式返回給你。2.3 實(shí)操中必須關(guān)注的“安全邊界”與“權(quán)限控制”這是此類功能最核心、也最需要用戶警惕的部分。讓AI直接操作你的瀏覽器相當(dāng)于賦予了它“代你行事”的能力。因此以下幾個(gè)問題必須在嘗試前想清楚它能訪問哪些數(shù)據(jù)是僅限當(dāng)前打開的標(biāo)簽頁(yè)還是能訪問你的瀏覽器歷史、書簽、保存的密碼它能執(zhí)行哪些操作僅限于讀取和點(diǎn)擊還是可以輸入文本、下載文件、甚至進(jìn)行支付是否需要逐項(xiàng)確認(rèn)對(duì)于敏感操作如提交表單、下載文件是自動(dòng)執(zhí)行還是每次都需要你點(diǎn)擊“允許”操作記錄是否可審計(jì)你能否查看AI具體執(zhí)行了哪些步驟以便在出錯(cuò)時(shí)進(jìn)行追溯一個(gè)負(fù)責(zé)任的功能設(shè)計(jì)應(yīng)該遵循“最小權(quán)限原則”和“透明性原則”。作為用戶在首次啟用時(shí)務(wù)必仔細(xì)閱讀權(quán)限申請(qǐng)列表并盡量在測(cè)試環(huán)境如無重要信息的測(cè)試網(wǎng)站中先行驗(yàn)證。注意在任何情況下都不要授權(quán)此類功能訪問銀行、支付、郵箱主賬號(hào)或存有敏感信息的公司內(nèi)部網(wǎng)站。先從公開的、信息不敏感的新聞或電商網(wǎng)站開始測(cè)試。3. 能力邊界與當(dāng)前局限性別指望它是“萬(wàn)能自動(dòng)化機(jī)器人”基于現(xiàn)有信息和類似技術(shù)的普遍發(fā)展階段我們可以對(duì)Codex的“計(jì)算機(jī)使用”功能做出一些合理的預(yù)期管理。過早的夸大或貶低都無助于我們真正利用它。3.1 它可能擅長(zhǎng)什么理想場(chǎng)景信息提取與匯總從結(jié)構(gòu)相對(duì)規(guī)整的列表頁(yè)如產(chǎn)品列表、新聞列表、搜索結(jié)果頁(yè)中提取特定字段名稱、價(jià)格、日期、鏈接并整理成表格。這是自然語(yǔ)言描述清晰、頁(yè)面元素有規(guī)律的任務(wù)。簡(jiǎn)單的表單填寫在已知字段名稱和內(nèi)容的條件下幫你快速填充一些重復(fù)性的表單例如注冊(cè)測(cè)試賬號(hào)、批量錄入數(shù)據(jù)需確保數(shù)據(jù)安全。頁(yè)面導(dǎo)航與點(diǎn)擊操作執(zhí)行“點(diǎn)擊下一頁(yè)”、“展開所有評(píng)論”、“切換到表格視圖”等明確的導(dǎo)航和交互指令?；陧?yè)面內(nèi)容的簡(jiǎn)單決策例如“找到價(jià)格最低的那個(gè)選項(xiàng)并點(diǎn)擊‘加入購(gòu)物車’”。這需要AI能理解“價(jià)格最低”的比較邏輯。這些場(chǎng)景的共同點(diǎn)是目標(biāo)明確、頁(yè)面結(jié)構(gòu)可預(yù)測(cè)、操作步驟線性且簡(jiǎn)單。3.2 它很可能不擅長(zhǎng)什么當(dāng)前挑戰(zhàn)處理高度動(dòng)態(tài)或復(fù)雜交互的頁(yè)面對(duì)于大量使用JavaScript動(dòng)態(tài)加載內(nèi)容、元素ID隨機(jī)生成、或有復(fù)雜驗(yàn)證碼的頁(yè)面AI可能無法穩(wěn)定定位元素。需要復(fù)雜邏輯判斷或跨多步驟狀態(tài)維護(hù)的任務(wù)例如“監(jiān)控這個(gè)拍賣網(wǎng)站在最后5分鐘如果我的出價(jià)不是最高且價(jià)格低于100元?jiǎng)t自動(dòng)加價(jià)10元”。這涉及狀態(tài)監(jiān)控、條件判斷和循環(huán)超出了當(dāng)前AI執(zhí)行任務(wù)的典型設(shè)計(jì)范圍。理解模糊或主觀的指令“幫我找一款好看又便宜的藍(lán)牙耳機(jī)”。什么是“好看”“便宜”的標(biāo)準(zhǔn)是什么這種需要主觀審美和復(fù)雜權(quán)衡的任務(wù)AI很難直接轉(zhuǎn)化為瀏覽器操作。繞過反自動(dòng)化機(jī)制網(wǎng)站如果有反爬蟲或反自動(dòng)化措施依賴固定模式的自動(dòng)化操作很容易被識(shí)別和封鎖。AI驅(qū)動(dòng)的操作模式是否更隱蔽目前未知但原則上仍可能被檢測(cè)到。保證100%的準(zhǔn)確率和穩(wěn)定性網(wǎng)頁(yè)布局隨時(shí)可能改變AI的理解也可能出現(xiàn)偏差。它不適合用于處理金融交易、關(guān)鍵業(yè)務(wù)操作等不容有錯(cuò)的場(chǎng)景。3.3 與“ChatGPT完成Windows設(shè)置”的聯(lián)想與區(qū)分搜索詞中出現(xiàn)了“chatgpt 完成windows 設(shè)置”這反映了用戶一種普遍的期待AI能否直接操作整個(gè)操作系統(tǒng)Codex的“計(jì)算機(jī)使用”目前明確限定在瀏覽器內(nèi)這是一個(gè)重要的安全和技術(shù)邊界。操作瀏覽器一個(gè)相對(duì)標(biāo)準(zhǔn)化的應(yīng)用和操作整個(gè)Windows系統(tǒng)擁有無限可能性和極高風(fēng)險(xiǎn)是截然不同的兩件事。后者需要系統(tǒng)級(jí)權(quán)限面臨無限復(fù)雜的環(huán)境變量安全風(fēng)險(xiǎn)呈指數(shù)級(jí)增長(zhǎng)。因此短期內(nèi)看到AI全面接管操作系統(tǒng)設(shè)置的可能性極低。瀏覽器的沙盒環(huán)境是一個(gè)更可行、更安全的起點(diǎn)。4. 給開發(fā)者和進(jìn)階用戶的思考這背后是什么在驅(qū)動(dòng)對(duì)于不滿足于只是使用的技術(shù)愛好者來說這個(gè)功能背后透露的技術(shù)趨勢(shì)和可能性更值得玩味。4.1 技術(shù)棧猜想LLM 瀏覽器自動(dòng)化API要實(shí)現(xiàn)這個(gè)功能一個(gè)經(jīng)典的技術(shù)組合可能是大型語(yǔ)言模型 (LLM)如GPT-4負(fù)責(zé)理解用戶自然語(yǔ)言指令并將其分解、規(guī)劃成具體的操作步驟Action Plan。這一步的關(guān)鍵是“思維鏈”Chain-of-Thought和“工具調(diào)用”Function Calling能力。瀏覽器自動(dòng)化框架/API如Puppeteer或Playwright的核心庫(kù)或者直接使用Chrome DevTools Protocol (CDP)。這部分負(fù)責(zé)接收LLM規(guī)劃出的具體操作如click(selector),typeText(selector, text)并將其轉(zhuǎn)化為真實(shí)的瀏覽器交互命令。中間協(xié)調(diào)層一個(gè)關(guān)鍵的“翻譯器”或“執(zhí)行器”。它需要將LLM輸出的抽象計(jì)劃映射到當(dāng)前具體網(wǎng)頁(yè)的實(shí)際元素上。這可能是最復(fù)雜的一環(huán)因?yàn)長(zhǎng)LM需要“看到”網(wǎng)頁(yè)的結(jié)構(gòu)。實(shí)現(xiàn)方式可能是DOM樹簡(jiǎn)化與描述將頁(yè)面的DOM結(jié)構(gòu)簡(jiǎn)化并轉(zhuǎn)換成文本描述送給LLM分析。計(jì)算機(jī)視覺輔助對(duì)頁(yè)面進(jìn)行截圖使用多模態(tài)模型如GPT-4V來“看”頁(yè)面并定位元素?；旌夏Ｊ浇Y(jié)合DOM信息和視覺信息提高元素定位的魯棒性。4.2 對(duì)現(xiàn)有工作流的潛在影響如果這類技術(shù)成熟它不會(huì)完全取代傳統(tǒng)的自動(dòng)化開發(fā)但會(huì)重塑工作流的起點(diǎn)原型速度極大加快當(dāng)你需要為一個(gè)新的網(wǎng)頁(yè)操作寫自動(dòng)化腳本時(shí)可以先讓AI嘗試執(zhí)行。即使它不能100%完成其生成的“操作意圖”和可能定位到的元素選擇器也能為你提供寶貴的起點(diǎn)和參考節(jié)省大量探查頁(yè)面結(jié)構(gòu)的時(shí)間。降低自動(dòng)化需求的門檻很多“值不值得自動(dòng)化”的邊界會(huì)發(fā)生變化。以前覺得寫腳本太麻煩的一次性任務(wù)現(xiàn)在用幾句話描述就能解決這會(huì)讓自動(dòng)化滲透到更細(xì)微的工作環(huán)節(jié)中。人機(jī)協(xié)作模式變化從“人編寫完整程序 - 機(jī)器執(zhí)行”變?yōu)椤叭嗣枋鲆鈭D - AI嘗試執(zhí)行 - 人糾正與精調(diào)”的交互循環(huán)。人的角色更像是一個(gè)“監(jiān)工”和“糾正者”負(fù)責(zé)處理邊界情況和復(fù)雜邏輯。4.3 面臨的挑戰(zhàn)與未來方向這項(xiàng)技術(shù)要走向?qū)嵱没仨毥鉀Q幾個(gè)核心挑戰(zhàn)可靠性問題如何保證AI對(duì)頁(yè)面元素的理解和操作是穩(wěn)定、準(zhǔn)確的如何應(yīng)對(duì)網(wǎng)頁(yè)的A/B測(cè)試、動(dòng)態(tài)加載和改版可泛化性在一個(gè)網(wǎng)站上學(xué)會(huì)的操作能否遷移到結(jié)構(gòu)類似的其他網(wǎng)站還是每次都需要重新學(xué)習(xí)安全與倫理如何防止被惡意利用進(jìn)行點(diǎn)擊欺詐、數(shù)據(jù)爬取、或誘導(dǎo)用戶授權(quán)危險(xiǎn)操作如何確保操作過程透明、可審計(jì)成本問題每次操作都調(diào)用大模型成本是否可接受能否有小模型或本地模型來分擔(dān)部分任務(wù)未來的演進(jìn)方向可能會(huì)是“AI智能體”AI Agent在特定領(lǐng)域如瀏覽器的垂直化、工具化落地。它不會(huì)是一個(gè)全知全能的通用人工智能而是一個(gè)配備了“瀏覽器操作工具箱”的專用助手。5. 理性看待當(dāng)前階段你應(yīng)該如何嘗試與定位它綜合以上分析我們可以為這個(gè)尚在迷霧中的功能畫一個(gè)相對(duì)清晰的用戶畫像和行動(dòng)指南。5.1 誰(shuí)應(yīng)該去嘗試熱衷于體驗(yàn)前沿技術(shù)的探索者你樂于嘗試新事物能接受功能不穩(wěn)定、效果不完美并愿意提供反饋。被大量簡(jiǎn)單重復(fù)網(wǎng)頁(yè)操作困擾的普通用戶比如經(jīng)常需要從多個(gè)網(wǎng)頁(yè)收集數(shù)據(jù)做對(duì)比或定期執(zhí)行固定流程的填報(bào)工作。開發(fā)者與測(cè)試人員你可以通過觀察AI如何操作頁(yè)面來獲得UI元素定位的新思路或者用它來快速生成一些測(cè)試用例的初始步驟。5.2 誰(shuí)可以暫時(shí)觀望尋求穩(wěn)定、可靠生產(chǎn)級(jí)解決方案的用戶如果你需要每天處理成千上萬(wàn)次操作要求100%準(zhǔn)確率和穩(wěn)定性那么成熟的RPA工具或自研腳本仍然是更靠譜的選擇。處理高度敏感數(shù)據(jù)的用戶在安全機(jī)制完全明確之前謹(jǐn)慎總是對(duì)的。對(duì)自動(dòng)化完全陌生的用戶如果連瀏覽器開發(fā)者工具都沒打開過直接上手這種AI驅(qū)動(dòng)的高級(jí)自動(dòng)化可能在遇到問題時(shí)更難排查。5.3 如果找到入口你的“嘗鮮三步法”假設(shè)你已經(jīng)在Edge中找到了這個(gè)功能的入口我建議按以下順序進(jìn)行這能幫你最快地理解其能力和局限第一步從最簡(jiǎn)單的“讀取”開始找一個(gè)結(jié)構(gòu)清晰的頁(yè)面比如一篇維基百科文章或一個(gè)產(chǎn)品列表頁(yè)。給出最簡(jiǎn)單的指令“列出本頁(yè)的所有標(biāo)題H1 H2”。觀察它能否正確識(shí)別并提取文本。這一步驗(yàn)證其基本的頁(yè)面理解和信息提取能力。第二步嘗試基礎(chǔ)的“點(diǎn)擊”與“導(dǎo)航”在同一個(gè)網(wǎng)站內(nèi)給出指令“點(diǎn)擊‘下一頁(yè)’按鈕”或“點(diǎn)擊第一個(gè)產(chǎn)品的鏈接”。觀察它能否正確識(shí)別交互元素并完成導(dǎo)航。這一步驗(yàn)證其執(zhí)行基礎(chǔ)交互的能力。第三步挑戰(zhàn)組合任務(wù)與模糊指令嘗試一個(gè)需要多個(gè)步驟的任務(wù)“在這個(gè)電商網(wǎng)站搜索‘筆記本’按價(jià)格從低到高排序然后把第一頁(yè)的產(chǎn)品名稱和價(jià)格給我”?；蛘呓o出一個(gè)模糊指令“幫我找找關(guān)于這個(gè)主題的更詳細(xì)信息”。這一步將暴露其在復(fù)雜規(guī)劃、元素定位和意圖理解上的邊界。在整個(gè)過程中請(qǐng)務(wù)必打開瀏覽器的開發(fā)者工具F12切換到“控制臺(tái)”(Console)或“網(wǎng)絡(luò)”(Network)標(biāo)簽頁(yè)。你可以觀察是否有額外的腳本被注入以及執(zhí)行過程中是否有錯(cuò)誤信息輸出。這是理解其工作原理和排查問題的最直接方式。5.4 一個(gè)務(wù)實(shí)的定位輔助者而非替代者至少在可預(yù)見的未來我們應(yīng)該將此類AI驅(qū)動(dòng)的“計(jì)算機(jī)使用”功能定位為一個(gè)強(qiáng)大的輔助者和效率倍增器而非完全替代人類判斷和專業(yè)自動(dòng)化工具的替代者。它的價(jià)值在于快速原型幫你把想法瞬間變成可操作的嘗試。處理瑣事接手那些規(guī)則明確、枯燥乏味的重復(fù)性點(diǎn)擊和收集工作。激發(fā)思路當(dāng)你不知道如何用代碼實(shí)現(xiàn)某個(gè)頁(yè)面操作時(shí)它的嘗試可以給你提供線索。而復(fù)雜的邏輯判斷、關(guān)鍵的業(yè)務(wù)流程、對(duì)穩(wěn)定性和安全性要求極高的任務(wù)仍然需要經(jīng)過設(shè)計(jì)、編碼、測(cè)試和評(píng)審的傳統(tǒng)自動(dòng)化流程來保障?；氐介_頭我自己的那個(gè)場(chǎng)景如果Codex的“計(jì)算機(jī)使用”功能可用我可能會(huì)先讓它嘗試幫我抓取數(shù)據(jù)。如果成功了皆大歡喜如果失敗了它嘗試的過程和遇到的錯(cuò)誤很可能已經(jīng)幫我摸清了頁(yè)面的大部分結(jié)構(gòu)我再去寫Python腳本時(shí)會(huì)順暢得多。這本身就是一種有價(jià)值的進(jìn)步。技術(shù)的演進(jìn)往往不是突然替換掉舊工具而是先在某些環(huán)節(jié)上打開一個(gè)新的、更便捷的可能性讓我們重新思考整個(gè)工作流的優(yōu)化方式。