動Web UI自動化：基于YAML的回歸測試框架設(shè)計與實踐)
干過幾年Web UI自動化測試的人應(yīng)該都經(jīng)歷過這種崩潰瞬間昨天還全綠的回歸用例今天早起一看全部標紅。改了一早上定位符之后剛松了口氣下午前端又上個彈窗組件整個執(zhí)行從頭再來一遍。時間長了你會意識到真正的瓶頸早就不在怎么寫腳本上而在怎么讓腳本別那么脆弱。copaw 1.1 是我在之前團隊里花了大半個迭代做出來的一套基于描述驅(qū)動的Web UI自動化測試框架。所謂描述驅(qū)動就是測試人員不再直接編寫操作瀏覽器的過程式代碼而是用一份結(jié)構(gòu)清晰的YAML描述文件去表達我要去哪個頁面、做什么操作、目標元素在哪里、期望結(jié)果是什么引擎讀取描述之后自動完成瀏覽器交互、斷言和結(jié)果記錄。整套框架不吹噓能替代所有自動化場景但它確實把日?；貧w用例的編寫和維護成本砍掉了很大一塊。如果你正在用Selenium或Playwright堆腳本又被頁面頻繁改版折磨得不行或者團隊里有人不寫代碼、但需要深度參與用例評審設(shè)計那這篇文檔應(yīng)該有參考價值。下面我按當時的設(shè)計歷程把copaw 1.1從思路、實現(xiàn)到實際落地踩過的坑完整攤開講一遍。1. 立項背景傳統(tǒng)UI自動化腳本的三個典型痛點1.1 腳本與頁面結(jié)構(gòu)深度耦合前端一重構(gòu)就全崩在開始動手之前我先歸納了一下當時團隊里UI自動化腳本活不過一個迭代的原因。最核心的問題并非定位符過時而是腳本代碼與頁面的DOM結(jié)構(gòu)綁得太緊——前端把某個按鈕從div包一層span或者把CSS類名從btn-primary改成btn_primarySelenium腳本里對應(yīng)的find_element_by_id、find_element_by_css_selector就全部失效。一個中等規(guī)模的后臺系統(tǒng)哪怕只是統(tǒng)一調(diào)整一次組件庫樣式都能引起上百條用例的連鎖失敗。更要命的是這些失敗并不能簡單靠全局替換解決。因為每個腳本在寫的時候夾帶了大量針對當時頁面特性的臨時判斷某處要先清空輸入框再輸入某處要等一個v-loading的遮罩消失某處需要先滾動到可視區(qū)域。這些和業(yè)務(wù)意圖無關(guān)的頁面適配代碼才是維護成本最高的部分。我統(tǒng)計過當時倉庫里約三千行用例代碼真正描述業(yè)務(wù)操作的部分可能只占四成其余六成都是在跟渲染時序、彈窗遮擋、滾動位置這些底層問題作斗爭。1.2 腳本可讀性差業(yè)務(wù)側(cè)完全沒法參與用例評審第二個痛點來自協(xié)作環(huán)節(jié)。自動化腳本是用編程語言寫的就算代碼風(fēng)格再好業(yè)務(wù)產(chǎn)品經(jīng)理和手工測試同學(xué)也很難在代碼評審中看懂一條用例到底覆蓋了什么場景。結(jié)果就是測試用例的評審基本流于形式——寫的人自己說這條用例覆蓋了XX功能其余人只能點頭。這個問題在項目迭代快的時候尤其致命。某次大版本升級砍掉了一個舊入口手工測試同學(xué)知道這個改動可能影響一批流程但從代碼層面完全看不出來哪些腳本和這個入口相關(guān)。最后只能靠自動化測試同學(xué)逐條跑等紅了才知道影響面。我當時就在想如果用例本身是用一種接近自然語言的格式寫出來的評審和影響面分析是不是會簡單很多。1.3 方案選型為什么最終落地的是描述驅(qū)動而不是傳統(tǒng)關(guān)鍵字驅(qū)動當時其實也考慮過現(xiàn)成的關(guān)鍵字驅(qū)動框架。這類框架把常見動作封裝成關(guān)鍵字用例寫成表格或腳本中的關(guān)鍵字序列思路本身沒問題但很多現(xiàn)成框架的關(guān)鍵字仍然是過程式的——打開URL、輸入文本、點擊按鈕、斷言文本一字排開本質(zhì)上只是給Selenium API套了一層業(yè)務(wù)名字并沒有把測試場景和斷言意圖放到同等的描述層面。相比之下描述驅(qū)動更強調(diào)一份文檔描述一個完整場景它把頁面元素定位、操作數(shù)據(jù)、預(yù)期結(jié)果統(tǒng)一收編進用例文件。用例里直接寫在用戶名字段輸入qa_standard點擊登錄按鈕期望看到歡迎語中出現(xiàn)該用戶名而不是一行一行地寫driver.find_element(...).send_keys(...)。從工程角度看描述驅(qū)動和關(guān)鍵字驅(qū)動的底層執(zhí)行器可以做成相同的但面向使用者的表達層會友好得多。這也是我最終決定自研copaw而不是套用現(xiàn)成框架的核心原因。2. 描述層設(shè)計一套DSL覆蓋九成Web交互場景2.1 YAML用例長什么樣先給一張完整模板所有設(shè)計最后都要落到一個具體形態(tài)上。copaw 1.1的用例文件選用YAML作為載體原因很簡單YAML天然支持嵌套結(jié)構(gòu)、注釋和字符串變量插值人類讀起來幾乎就是一份帶縮進的業(yè)務(wù)清單不需要額外學(xué)習(xí)標記語言。先看一份最基礎(chǔ)的登錄用例- name: 登錄成功-標準賬號 base_url: https://example.test retry: 2 variables: username: qa_standard password: Abc#2024 steps: - action: goto target: ${base_url}/login - action: input element: locator: id value: username data: ${username} - action: input element: locator: css value: #password data: ${password} - action: click element: locator: id value: login_btn - action: assert_url pattern: /home - action: assert_text element: locator: css value: .user-badge expected: 歡迎您${username} fuzzy: true頂層是一個列表每個元素代表一條用例。name用于報告展示retry聲明失敗重試次數(shù)variables掛載本次用例的局部變量steps是核心步驟序列。細看會發(fā)現(xiàn)每一步只關(guān)心三個問題做什么操作、操作哪個元素、帶了什么數(shù)據(jù)或期望結(jié)果。至于瀏覽器該怎么等、元素是否可見這些細節(jié)全部下沉到引擎層處理。2.2 定位器設(shè)計七種定位方式統(tǒng)一成一個結(jié)構(gòu)在copaw 1.1里所有元素定位統(tǒng)一采用element這個嵌套結(jié)構(gòu)字段二選一必填locator指定定位方式value指定對應(yīng)表達式。我把當時常用到的定位策略收斂為七種多余的一律不開放給描述層倒逼寫用例的人少依賴XPath絕對路徑。定位方式描述典型應(yīng)用id元素id屬性表單控件、唯一按鈕name元素name屬性老式表單classclass屬性中的單個類名業(yè)務(wù)樣式cssCSS選擇器大部分場景xpathXPath表達式需要按層級找的場景text文本精確匹配鏈接、菜單項roleARIA角色與可訪問名稱無障礙結(jié)構(gòu)頁面統(tǒng)一成一個結(jié)構(gòu)有個容易被忽視的好處實施人員如果想在引擎里加一種新的定位能力比如根據(jù)placeholder定位輸入框只需要補充一個strategy實現(xiàn)并注冊所有歷史用例不用改一行描述。如果當初每個腳本各寫各的定位方式這種能力升級幾乎不可能做到全局生效。2.3 動作指令池十幾個原子動作組合出復(fù)雜場景描述文件里只有十來個動作指令靠組合覆蓋頁面交互的絕大多數(shù)情況。當時設(shè)計動作池的原則是多一步少一步都不合適——多于二十個會讓描述層顯得臃腫少于八個則復(fù)雜場景需要頻繁使用通用擴展失去描述的意義。最終定下來的核心動作如下動作作用關(guān)鍵參數(shù)goto打開URLtargetinput輸入/清空后輸入element, dataclick點擊元素elementselect下拉框選擇element, optioncheck勾選/取消勾選element, checkedupload上傳文件element, pathscroll_to滾動到元素可見elementwait顯式等待元素出現(xiàn)/消失element, visible, timeoutassert_text斷言元素文本element, expected, fuzzyassert_url斷言當前URLpatternassert_exists斷言元素存在/不存在element, existsextract提取文本/屬性到變量element, attr, asexec_js執(zhí)行一段JSscriptscreenshot主動截圖name其中extract是自認為很關(guān)鍵的一個動作。很多用例需要把上一步生成的訂單號、流水號帶進下一步斷言有了extract就可以在頁面里把某個數(shù)值提取為order_no后面步驟直接用${order_no}引用。這一步讓copaw具備了一定程度的上下文感知能力而不只是線性執(zhí)行腳本。2.4 等待策略把同步與輪詢邏輯統(tǒng)一塞進引擎UI自動化的頭號敵人是渲染時序不穩(wěn)定。傳統(tǒng)做法是在腳本里到處插time.sleep()copaw 1.1從一開始就禁止描述層寫任何顯式等待時間等待邏輯全部由引擎根據(jù)動作類型自動推斷。具體的策略是每個操作執(zhí)行前引擎會先做一次元素就緒輪詢。默認每500ms檢查一次最長可等10秒直到元素可見且可交互wait動作則允許用例顯式聲明等待的元素和可見性條件但依然由引擎統(tǒng)一輪詢。這樣描述文件完全不需要關(guān)心要不要等1秒這種問題前端頁面即使把某個接口的返回從200ms變成800ms用例本身不需要改動。只有遇到極特殊的場景比如頁面有長輪詢?nèi)蝿?wù)超過10秒才需要顯式指定更長的timeout參數(shù)。3. 引擎核心實現(xiàn)從YAML到瀏覽器執(zhí)行3.1 解析器與歸一化先把描述轉(zhuǎn)換成標準步驟列表copaw 1.1的引擎分為三層。第一層是CaseLoader負責(zé)把YAML文件讀取成Python對象。真正寫過解析器的人應(yīng)該知道YAML解析本身不難難的是容錯和變量展開。CaseLoader在加載時做了三件事校驗必填字段、展開${variable}占位符、把每個步驟的action統(tǒng)一轉(zhuǎn)成小寫字符串。變量展開支持兩層作用域全局配置和用例內(nèi)variables局部優(yōu)先。多個用例復(fù)用的變量比如環(huán)境地址、默認賬號統(tǒng)一放在環(huán)境配置文件里用例只寫相對路徑和變量名。3.2 執(zhí)行器與動作分發(fā)用一張注冊表把動作變成函數(shù)第二層是Executor核心是一張動作分發(fā)注冊表。每個動作對應(yīng)一個處理器函數(shù)函數(shù)簽名統(tǒng)一為handler(driver, step, context)返回一行執(zhí)行記錄。這種注冊表模式的好處是后續(xù)新增動作不需要改動Executor主流程只要寫一個函數(shù)并注冊即可。看一下核心分發(fā)邏輯的大致樣子# executor.py import re ACTION_HANDLERS {} def register(action): def wrapper(func): ACTION_HANDLERS[action] func return func return wrapper class Executor: def __init__(self, driver, context): self.driver driver self.context context def _resolve(self, text): if isinstance(text, str): pattern r\$\{(\w)\} def _replace(match): key match.group(1) return str(self.context.get(key, )) return re.sub(pattern, _replace, text) return text def run(self, case): steps case.get(steps, []) for index, step in enumerate(steps, start1): action step.get(action, ).lower() handler ACTION_HANDLERS.get(action) if not handler: raise RuntimeError(f未知動作: {action} 位于第 {index} 步) handler(self.driver, step, self)這里所有的data、target、expected都會先經(jīng)過_resolve統(tǒng)一做變量替換。變量可能來自頂層配置、用例variables也可能是之前用extract動作寫入的上下文值。這樣就從機制上保證了動態(tài)數(shù)據(jù)能順暢傳遞給后續(xù)步驟。3.3 處理器實現(xiàn)以goto和click為例看邊界處理每個處理器內(nèi)部并不復(fù)雜但邊界情況處理很重要。以goto為例它需要判斷target是不是完整URL如果只是路徑片段就自動拼接base_url。click處理器則會先調(diào)用引擎的統(tǒng)一就緒檢查再滾動到元素附近最后才點擊點擊完成后還會額外等待頁面進入穩(wěn)定狀態(tài)判定方式是DOM在500ms內(nèi)沒有明顯變化。# handlers.py from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC STRATEGIES { id: By.ID, name: By.NAME, class: By.CLASS_NAME, css: By.CSS_SELECTOR, xpath: By.XPATH, text: By.XPATH, } def _find_element(driver, element_spec): locator element_spec.get(locator, ) value element_spec.get(value, ) if locator text: # 文本定位直接轉(zhuǎn)XPath return driver.find_element(By.XPATH, f//*[text(){value}]) if locator not in STRATEGIES: raise ValueError(f不支持的定位器: {locator}) return driver.find_element(STRATEGIES[locator], value) register(click) def handle_click(driver, step, executor): element_spec step.get(element) target _find_element(driver, element_spec) WebDriverWait(driver, 10).until(EC.visibility_of(target)) driver.execute_script(arguments[0].scrollIntoView({block:center});, target) target.click()text定位之所以轉(zhuǎn)成XPath而不是單獨走Selenium的find_element_by_link_text是為了統(tǒng)一所有元素查找都走STRATEGIES這張表減少特殊分支。實際跑下來這種寫法在菜單和鏈接上的查找成功率很高代價是XPath內(nèi)部構(gòu)建稍微復(fù)雜一些但這對描述層用戶完全透明。3.4 斷言引擎精確與模糊之間的平衡斷言是測試框架的靈魂。copaw 1.1的斷言設(shè)計借鑒了接口測試里模式匹配的思路精確文本用expected靈活匹配用fuzzy: true——引擎內(nèi)部先把兩端文本做規(guī)范化處理去掉首尾空白、統(tǒng)一換行符、合并多個連續(xù)空格再做子串包含判斷。這樣即使前端在歡迎語前面加了圖標占位符斷言也不會誤報。assert_url用的則是正則匹配這是因為很多單頁應(yīng)用的URL會帶一長串查詢參數(shù)硬比對整段URL毫無意義。用例里寫pattern: /home引擎會在內(nèi)部轉(zhuǎn)成/home($|\?|)的正則來匹配。assert_exists則專門用來處理購物車為空無搜索結(jié)果這類空態(tài)校驗用exists: false配合wait前置效果比傳統(tǒng)腳本里硬等一個不存在的元素要穩(wěn)定得多。3.5 失敗回收截圖、頁面快照與日志聯(lián)動用例執(zhí)行失敗時最讓人頭大的環(huán)節(jié)不是定位失敗本身而是失敗現(xiàn)場信息不足。copaw 1.1在這塊下了不少功夫一旦某一步拋出異常引擎會立刻捕獲并做三件事。第一是截取當前瀏覽器全屏截圖保存為PNG并按用例名加時間戳命名第二是采集當前頁面的HTML快照方便事后離線分析DOM結(jié)構(gòu)第三是記錄最近十步的執(zhí)行記錄包括每步動作、耗時和元素定位情況。這三份材料會一起拼進最終測試報告。后來排查線上問題時基本都能靠這些現(xiàn)場信息定位到是前端改樣式還是后端接口慢而不是靠猜。4. 實戰(zhàn)記錄登錄與加購用例從零到落地4.1 登錄功能的正反路徑用例登錄是每個后臺系統(tǒng)的標配模塊也是copaw 1.1首個落地試點。正常情況下要覆蓋的正路徑至少包括標準賬號登錄、回車鍵登錄、切換環(huán)境登錄反路徑包括空賬號、空密碼、錯誤密碼、賬號鎖定提示等。用傳統(tǒng)腳本寫這些用例每個場景都要重復(fù)一段找輸入框、清空、輸入、點擊、等待的模板代碼。換成copaw之后正路徑用例基本就是2.1小節(jié)那張模板的樣子。反路徑則在一個YAML文件里用兩個用例描述一個故意填錯密碼斷言出現(xiàn)用戶名或密碼錯誤一個留空密碼斷言出現(xiàn)請輸入密碼。整個文件不到六十行不寫代碼的人也能看懂覆蓋點是什么。當時我拿這份描述文件給業(yè)務(wù)同事做用例評審花了十分鐘就確認了所有覆蓋點這在之前基于腳本的用例評審里是不可想象的。4.2 商品加購與購物車校驗用例第二個試點是帶訂單號的加購流程。這個用例最大的難點是訂單號隨機生成無法在描述文件里寫死。copaw 1.1的extract動作在這個場景中派上了大用場先斷言購物車內(nèi)出現(xiàn)一個商品行再用extract把訂單號和商品金額拿出來最后用${order_no}和${amount}去斷言結(jié)算頁的對應(yīng)字段。整條用例跑下來的穩(wěn)定性比同期用原生Selenium寫的腳本要高不少。原因不難理解描述文件里沒有任何等待秒數(shù)和臨時判斷所有時序邏輯都在引擎層統(tǒng)一處理相當于把幾千行腳本里反復(fù)出現(xiàn)的等待、重試、兜底都集中優(yōu)化了一遍。4.3 回歸維護的ROI評估框架上線三個月后我簡單統(tǒng)計過一組內(nèi)部數(shù)據(jù)回歸用例數(shù)量從四十條漲到一百二十條但每周因前端改動引起的用例維護量從平均二十多個定位符及相關(guān)代碼修改降到五六個YAML字段修改。新增一條普通用例的時間也從原來的二十分鐘縮短到五分鐘前提是使用的元素和動作都在已有指令池內(nèi)。這里我更看重的是另一個隱性收益用例編寫不再要求測試人員掌握完整的編程能力。團隊里一位主要做手工測試的同事在經(jīng)過半天培訓(xùn)后就能動手寫新用例而且產(chǎn)出的描述文件格式幾乎沒有返工。對于一個需要快速擴展回歸覆蓋面的團隊來說這一點價值可能比執(zhí)行穩(wěn)定性還要重要。5. 踩坑記錄copaw落地過程中翻過的五個車5.1 動態(tài)列表元素定位失敗同一個class對應(yīng)多個元素上線的第二個星期加購用例開始出現(xiàn)偶發(fā)失敗。排查發(fā)現(xiàn)商品列表中每一行都用相同的CSS類名引擎里的定位策略默認返回第一個匹配元素但頁面上方有個營銷推薦位結(jié)構(gòu)上也用了同一個類名導(dǎo)致點擊目標被頂?shù)搅瞬豢梢妳^(qū)域。后來在click處理器里增加了一個可點擊性檢查一旦目標元素被遮擋或不可見就自動在當前頁面里搜索下一個匹配元素。這個兜底邏輯放進去之后這類用例就沒再翻過車。5.2 iframe嵌套頁面斷言像在隔空喊話某個第三方支付頁面的確認按鈕被包在兩層iframe里寫定位符時明明能定位到但執(zhí)行時就是點不中。這個問題不是copaw特有的原生Selenium腳本一樣會遇到區(qū)別在于我需要在描述引擎里提供一個不暴露細節(jié)的處理方案。最終在element結(jié)構(gòu)里增加了一個可選的frame字段引擎在執(zhí)行前會臨時切換上下文到對應(yīng)iframe操作完成后再切回主文檔。描述層用戶不需要理解Selenium的switch_to.frame細節(jié)只要在用例里聲明這個元素位于哪一層的iframe即可。5.3 慢網(wǎng)絡(luò)環(huán)境下的誤報斷言跑得比頁面還快手機端頁面在弱網(wǎng)環(huán)境測試時頁面往往已經(jīng)渲染出了首屏框架但業(yè)務(wù)數(shù)據(jù)還在接口返回的路上。assert_text默認只檢查元素存在并不校驗內(nèi)容是否最終渲染完成于是出現(xiàn)了斷言執(zhí)行成功但實際數(shù)據(jù)是空的的假通過。給斷言動作補上內(nèi)容非空和文本穩(wěn)定兩個前置條件后這種假通過基本絕跡。這也是copaw迭代到1.1版本時修復(fù)的一個關(guān)鍵問題。5.4 不同環(huán)境DOM結(jié)構(gòu)不一致一份描述文件跑遍三個環(huán)境團隊有三個環(huán)境功能一樣但前端構(gòu)建時間不同偶爾出現(xiàn)某個環(huán)境多一個公告橫幅、少一個引導(dǎo)浮層。這導(dǎo)致同一份描述文件在A環(huán)境全綠在B環(huán)境第一屏就被橫幅遮擋。copaw的解法是支持在環(huán)境配置文件里臨時聲明忽略某個文案塊的CSS類名引擎在初始頁面穩(wěn)定判斷階段自動排除這些元素。這個機制雖然簡單但避免了大量因環(huán)境裝飾性組件不同而寫出的條件分支。5.5 用例順序依賴引發(fā)連鎖失敗差點把報告系統(tǒng)跑掛早期我把登錄用例放在第一個文件后面的用例會在setup階段復(fù)用登錄態(tài)。某次登錄接口故障導(dǎo)致第一條用例失敗后面三十多條全部跟著紅。后來專門設(shè)計了pre_actions鉤子允許每條用例獨立完成前置登錄準備而不是共享執(zhí)行過程中的瀏覽器會話狀態(tài)。調(diào)整之后單條用例的失敗不再引發(fā)雪崩效應(yīng)報告上的紅色也就恢復(fù)了可信度。把這些坑一個個填平之后copaw 1.1才算真正從我的自嗨框架變成了團隊日常依賴的回歸工具。我個人在實際操作中最大的體會是描述驅(qū)動的價值不在于省掉幾行代碼而在于它強迫你把頁面適配邏輯和業(yè)務(wù)測試意圖拆開。前端穩(wěn)定性問題交給引擎的輪詢和重試去消化業(yè)務(wù)場景交給一份人能讀懂的YAML去表達回歸測試的維護成本才能真正降下來。后面如果再迭代我建議可以往兩個方向走一是把extract擴展成支持從接口響應(yīng)中取值讓UI層跟接口層的數(shù)據(jù)斷言打通二是做一批針對Vue和React頁面常見渲染模式的智能等待模板比如組件級的更新完成信號。這些方向當時因為排期沒來得及做但如果你的團隊也在用類似的思路做UI自動化非常值得繼續(xù)往下挖。 描述驅(qū)動Web UI自動化：基于YAML的回歸測試框架設(shè)計與實踐
干過幾年Web UI自動化測試的人應(yīng)該都經(jīng)歷過這種崩潰瞬間昨天還全綠的回歸用例今天早起一看全部標紅。改了一早上定位符之后剛松了口氣下午前端又上個彈窗組件整個執(zhí)行從頭再來一遍。時間長了你會意識到真正的瓶頸早就不在怎么寫腳本上而在怎么讓腳本別那么脆弱。copaw 1.1 是我在之前團隊里花了大半個迭代做出來的一套基于描述驅(qū)動的Web UI自動化測試框架。所謂描述驅(qū)動就是測試人員不再直接編寫操作瀏覽器的過程式代碼而是用一份結(jié)構(gòu)清晰的YAML描述文件去表達我要去哪個頁面、做什么操作、目標元素在哪里、期望結(jié)果是什么引擎讀取描述之后自動完成瀏覽器交互、斷言和結(jié)果記錄。整套框架不吹噓能替代所有自動化場景但它確實把日?；貧w用例的編寫和維護成本砍掉了很大一塊。如果你正在用Selenium或Playwright堆腳本又被頁面頻繁改版折磨得不行或者團隊里有人不寫代碼、但需要深度參與用例評審設(shè)計那這篇文檔應(yīng)該有參考價值。下面我按當時的設(shè)計歷程把copaw 1.1從思路、實現(xiàn)到實際落地踩過的坑完整攤開講一遍。1. 立項背景傳統(tǒng)UI自動化腳本的三個典型痛點1.1 腳本與頁面結(jié)構(gòu)深度耦合前端一重構(gòu)就全崩在開始動手之前我先歸納了一下當時團隊里UI自動化腳本活不過一個迭代的原因。最核心的問題并非定位符過時而是腳本代碼與頁面的DOM結(jié)構(gòu)綁得太緊——前端把某個按鈕從div包一層span或者把CSS類名從btn-primary改成btn_primarySelenium腳本里對應(yīng)的find_element_by_id、find_element_by_css_selector就全部失效。一個中等規(guī)模的后臺系統(tǒng)哪怕只是統(tǒng)一調(diào)整一次組件庫樣式都能引起上百條用例的連鎖失敗。更要命的是這些失敗并不能簡單靠全局替換解決。因為每個腳本在寫的時候夾帶了大量針對當時頁面特性的臨時判斷某處要先清空輸入框再輸入某處要等一個v-loading的遮罩消失某處需要先滾動到可視區(qū)域。這些和業(yè)務(wù)意圖無關(guān)的頁面適配代碼才是維護成本最高的部分。我統(tǒng)計過當時倉庫里約三千行用例代碼真正描述業(yè)務(wù)操作的部分可能只占四成其余六成都是在跟渲染時序、彈窗遮擋、滾動位置這些底層問題作斗爭。1.2 腳本可讀性差業(yè)務(wù)側(cè)完全沒法參與用例評審第二個痛點來自協(xié)作環(huán)節(jié)。自動化腳本是用編程語言寫的就算代碼風(fēng)格再好業(yè)務(wù)產(chǎn)品經(jīng)理和手工測試同學(xué)也很難在代碼評審中看懂一條用例到底覆蓋了什么場景。結(jié)果就是測試用例的評審基本流于形式——寫的人自己說這條用例覆蓋了XX功能其余人只能點頭。這個問題在項目迭代快的時候尤其致命。某次大版本升級砍掉了一個舊入口手工測試同學(xué)知道這個改動可能影響一批流程但從代碼層面完全看不出來哪些腳本和這個入口相關(guān)。最后只能靠自動化測試同學(xué)逐條跑等紅了才知道影響面。我當時就在想如果用例本身是用一種接近自然語言的格式寫出來的評審和影響面分析是不是會簡單很多。1.3 方案選型為什么最終落地的是描述驅(qū)動而不是傳統(tǒng)關(guān)鍵字驅(qū)動當時其實也考慮過現(xiàn)成的關(guān)鍵字驅(qū)動框架。這類框架把常見動作封裝成關(guān)鍵字用例寫成表格或腳本中的關(guān)鍵字序列思路本身沒問題但很多現(xiàn)成框架的關(guān)鍵字仍然是過程式的——打開URL、輸入文本、點擊按鈕、斷言文本一字排開本質(zhì)上只是給Selenium API套了一層業(yè)務(wù)名字并沒有把測試場景和斷言意圖放到同等的描述層面。相比之下描述驅(qū)動更強調(diào)一份文檔描述一個完整場景它把頁面元素定位、操作數(shù)據(jù)、預(yù)期結(jié)果統(tǒng)一收編進用例文件。用例里直接寫在用戶名字段輸入qa_standard點擊登錄按鈕期望看到歡迎語中出現(xiàn)該用戶名而不是一行一行地寫driver.find_element(...).send_keys(...)。從工程角度看描述驅(qū)動和關(guān)鍵字驅(qū)動的底層執(zhí)行器可以做成相同的但面向使用者的表達層會友好得多。這也是我最終決定自研copaw而不是套用現(xiàn)成框架的核心原因。2. 描述層設(shè)計一套DSL覆蓋九成Web交互場景2.1 YAML用例長什么樣先給一張完整模板所有設(shè)計最后都要落到一個具體形態(tài)上。copaw 1.1的用例文件選用YAML作為載體原因很簡單YAML天然支持嵌套結(jié)構(gòu)、注釋和字符串變量插值人類讀起來幾乎就是一份帶縮進的業(yè)務(wù)清單不需要額外學(xué)習(xí)標記語言。先看一份最基礎(chǔ)的登錄用例- name: 登錄成功-標準賬號 base_url: https://example.test retry: 2 variables: username: qa_standard password: Abc#2024 steps: - action: goto target: ${base_url}/login - action: input element: locator: id value: username data: ${username} - action: input element: locator: css value: #password data: ${password} - action: click element: locator: id value: login_btn - action: assert_url pattern: /home - action: assert_text element: locator: css value: .user-badge expected: 歡迎您${username} fuzzy: true頂層是一個列表每個元素代表一條用例。name用于報告展示retry聲明失敗重試次數(shù)variables掛載本次用例的局部變量steps是核心步驟序列。細看會發(fā)現(xiàn)每一步只關(guān)心三個問題做什么操作、操作哪個元素、帶了什么數(shù)據(jù)或期望結(jié)果。至于瀏覽器該怎么等、元素是否可見這些細節(jié)全部下沉到引擎層處理。2.2 定位器設(shè)計七種定位方式統(tǒng)一成一個結(jié)構(gòu)在copaw 1.1里所有元素定位統(tǒng)一采用element這個嵌套結(jié)構(gòu)字段二選一必填locator指定定位方式value指定對應(yīng)表達式。我把當時常用到的定位策略收斂為七種多余的一律不開放給描述層倒逼寫用例的人少依賴XPath絕對路徑。定位方式描述典型應(yīng)用id元素id屬性表單控件、唯一按鈕name元素name屬性老式表單classclass屬性中的單個類名業(yè)務(wù)樣式cssCSS選擇器大部分場景xpathXPath表達式需要按層級找的場景text文本精確匹配鏈接、菜單項roleARIA角色與可訪問名稱無障礙結(jié)構(gòu)頁面統(tǒng)一成一個結(jié)構(gòu)有個容易被忽視的好處實施人員如果想在引擎里加一種新的定位能力比如根據(jù)placeholder定位輸入框只需要補充一個strategy實現(xiàn)并注冊所有歷史用例不用改一行描述。如果當初每個腳本各寫各的定位方式這種能力升級幾乎不可能做到全局生效。2.3 動作指令池十幾個原子動作組合出復(fù)雜場景描述文件里只有十來個動作指令靠組合覆蓋頁面交互的絕大多數(shù)情況。當時設(shè)計動作池的原則是多一步少一步都不合適——多于二十個會讓描述層顯得臃腫少于八個則復(fù)雜場景需要頻繁使用通用擴展失去描述的意義。最終定下來的核心動作如下動作作用關(guān)鍵參數(shù)goto打開URLtargetinput輸入/清空后輸入element, dataclick點擊元素elementselect下拉框選擇element, optioncheck勾選/取消勾選element, checkedupload上傳文件element, pathscroll_to滾動到元素可見elementwait顯式等待元素出現(xiàn)/消失element, visible, timeoutassert_text斷言元素文本element, expected, fuzzyassert_url斷言當前URLpatternassert_exists斷言元素存在/不存在element, existsextract提取文本/屬性到變量element, attr, asexec_js執(zhí)行一段JSscriptscreenshot主動截圖name其中extract是自認為很關(guān)鍵的一個動作。很多用例需要把上一步生成的訂單號、流水號帶進下一步斷言有了extract就可以在頁面里把某個數(shù)值提取為order_no后面步驟直接用${order_no}引用。這一步讓copaw具備了一定程度的上下文感知能力而不只是線性執(zhí)行腳本。2.4 等待策略把同步與輪詢邏輯統(tǒng)一塞進引擎UI自動化的頭號敵人是渲染時序不穩(wěn)定。傳統(tǒng)做法是在腳本里到處插time.sleep()copaw 1.1從一開始就禁止描述層寫任何顯式等待時間等待邏輯全部由引擎根據(jù)動作類型自動推斷。具體的策略是每個操作執(zhí)行前引擎會先做一次元素就緒輪詢。默認每500ms檢查一次最長可等10秒直到元素可見且可交互wait動作則允許用例顯式聲明等待的元素和可見性條件但依然由引擎統(tǒng)一輪詢。這樣描述文件完全不需要關(guān)心要不要等1秒這種問題前端頁面即使把某個接口的返回從200ms變成800ms用例本身不需要改動。只有遇到極特殊的場景比如頁面有長輪詢?nèi)蝿?wù)超過10秒才需要顯式指定更長的timeout參數(shù)。3. 引擎核心實現(xiàn)從YAML到瀏覽器執(zhí)行3.1 解析器與歸一化先把描述轉(zhuǎn)換成標準步驟列表copaw 1.1的引擎分為三層。第一層是CaseLoader負責(zé)把YAML文件讀取成Python對象。真正寫過解析器的人應(yīng)該知道YAML解析本身不難難的是容錯和變量展開。CaseLoader在加載時做了三件事校驗必填字段、展開${variable}占位符、把每個步驟的action統(tǒng)一轉(zhuǎn)成小寫字符串。變量展開支持兩層作用域全局配置和用例內(nèi)variables局部優(yōu)先。多個用例復(fù)用的變量比如環(huán)境地址、默認賬號統(tǒng)一放在環(huán)境配置文件里用例只寫相對路徑和變量名。3.2 執(zhí)行器與動作分發(fā)用一張注冊表把動作變成函數(shù)第二層是Executor核心是一張動作分發(fā)注冊表。每個動作對應(yīng)一個處理器函數(shù)函數(shù)簽名統(tǒng)一為handler(driver, step, context)返回一行執(zhí)行記錄。這種注冊表模式的好處是后續(xù)新增動作不需要改動Executor主流程只要寫一個函數(shù)并注冊即可。看一下核心分發(fā)邏輯的大致樣子# executor.py import re ACTION_HANDLERS {} def register(action): def wrapper(func): ACTION_HANDLERS[action] func return func return wrapper class Executor: def __init__(self, driver, context): self.driver driver self.context context def _resolve(self, text): if isinstance(text, str): pattern r\$\{(\w)\} def _replace(match): key match.group(1) return str(self.context.get(key, )) return re.sub(pattern, _replace, text) return text def run(self, case): steps case.get(steps, []) for index, step in enumerate(steps, start1): action step.get(action, ).lower() handler ACTION_HANDLERS.get(action) if not handler: raise RuntimeError(f未知動作: {action} 位于第 {index} 步) handler(self.driver, step, self)這里所有的data、target、expected都會先經(jīng)過_resolve統(tǒng)一做變量替換。變量可能來自頂層配置、用例variables也可能是之前用extract動作寫入的上下文值。這樣就從機制上保證了動態(tài)數(shù)據(jù)能順暢傳遞給后續(xù)步驟。3.3 處理器實現(xiàn)以goto和click為例看邊界處理每個處理器內(nèi)部并不復(fù)雜但邊界情況處理很重要。以goto為例它需要判斷target是不是完整URL如果只是路徑片段就自動拼接base_url。click處理器則會先調(diào)用引擎的統(tǒng)一就緒檢查再滾動到元素附近最后才點擊點擊完成后還會額外等待頁面進入穩(wěn)定狀態(tài)判定方式是DOM在500ms內(nèi)沒有明顯變化。# handlers.py from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC STRATEGIES { id: By.ID, name: By.NAME, class: By.CLASS_NAME, css: By.CSS_SELECTOR, xpath: By.XPATH, text: By.XPATH, } def _find_element(driver, element_spec): locator element_spec.get(locator, ) value element_spec.get(value, ) if locator text: # 文本定位直接轉(zhuǎn)XPath return driver.find_element(By.XPATH, f//*[text(){value}]) if locator not in STRATEGIES: raise ValueError(f不支持的定位器: {locator}) return driver.find_element(STRATEGIES[locator], value) register(click) def handle_click(driver, step, executor): element_spec step.get(element) target _find_element(driver, element_spec) WebDriverWait(driver, 10).until(EC.visibility_of(target)) driver.execute_script(arguments[0].scrollIntoView({block:center});, target) target.click()text定位之所以轉(zhuǎn)成XPath而不是單獨走Selenium的find_element_by_link_text是為了統(tǒng)一所有元素查找都走STRATEGIES這張表減少特殊分支。實際跑下來這種寫法在菜單和鏈接上的查找成功率很高代價是XPath內(nèi)部構(gòu)建稍微復(fù)雜一些但這對描述層用戶完全透明。3.4 斷言引擎精確與模糊之間的平衡斷言是測試框架的靈魂。copaw 1.1的斷言設(shè)計借鑒了接口測試里模式匹配的思路精確文本用expected靈活匹配用fuzzy: true——引擎內(nèi)部先把兩端文本做規(guī)范化處理去掉首尾空白、統(tǒng)一換行符、合并多個連續(xù)空格再做子串包含判斷。這樣即使前端在歡迎語前面加了圖標占位符斷言也不會誤報。assert_url用的則是正則匹配這是因為很多單頁應(yīng)用的URL會帶一長串查詢參數(shù)硬比對整段URL毫無意義。用例里寫pattern: /home引擎會在內(nèi)部轉(zhuǎn)成/home($|\?|)的正則來匹配。assert_exists則專門用來處理購物車為空無搜索結(jié)果這類空態(tài)校驗用exists: false配合wait前置效果比傳統(tǒng)腳本里硬等一個不存在的元素要穩(wěn)定得多。3.5 失敗回收截圖、頁面快照與日志聯(lián)動用例執(zhí)行失敗時最讓人頭大的環(huán)節(jié)不是定位失敗本身而是失敗現(xiàn)場信息不足。copaw 1.1在這塊下了不少功夫一旦某一步拋出異常引擎會立刻捕獲并做三件事。第一是截取當前瀏覽器全屏截圖保存為PNG并按用例名加時間戳命名第二是采集當前頁面的HTML快照方便事后離線分析DOM結(jié)構(gòu)第三是記錄最近十步的執(zhí)行記錄包括每步動作、耗時和元素定位情況。這三份材料會一起拼進最終測試報告。后來排查線上問題時基本都能靠這些現(xiàn)場信息定位到是前端改樣式還是后端接口慢而不是靠猜。4. 實戰(zhàn)記錄登錄與加購用例從零到落地4.1 登錄功能的正反路徑用例登錄是每個后臺系統(tǒng)的標配模塊也是copaw 1.1首個落地試點。正常情況下要覆蓋的正路徑至少包括標準賬號登錄、回車鍵登錄、切換環(huán)境登錄反路徑包括空賬號、空密碼、錯誤密碼、賬號鎖定提示等。用傳統(tǒng)腳本寫這些用例每個場景都要重復(fù)一段找輸入框、清空、輸入、點擊、等待的模板代碼。換成copaw之后正路徑用例基本就是2.1小節(jié)那張模板的樣子。反路徑則在一個YAML文件里用兩個用例描述一個故意填錯密碼斷言出現(xiàn)用戶名或密碼錯誤一個留空密碼斷言出現(xiàn)請輸入密碼。整個文件不到六十行不寫代碼的人也能看懂覆蓋點是什么。當時我拿這份描述文件給業(yè)務(wù)同事做用例評審花了十分鐘就確認了所有覆蓋點這在之前基于腳本的用例評審里是不可想象的。4.2 商品加購與購物車校驗用例第二個試點是帶訂單號的加購流程。這個用例最大的難點是訂單號隨機生成無法在描述文件里寫死。copaw 1.1的extract動作在這個場景中派上了大用場先斷言購物車內(nèi)出現(xiàn)一個商品行再用extract把訂單號和商品金額拿出來最后用${order_no}和${amount}去斷言結(jié)算頁的對應(yīng)字段。整條用例跑下來的穩(wěn)定性比同期用原生Selenium寫的腳本要高不少。原因不難理解描述文件里沒有任何等待秒數(shù)和臨時判斷所有時序邏輯都在引擎層統(tǒng)一處理相當于把幾千行腳本里反復(fù)出現(xiàn)的等待、重試、兜底都集中優(yōu)化了一遍。4.3 回歸維護的ROI評估框架上線三個月后我簡單統(tǒng)計過一組內(nèi)部數(shù)據(jù)回歸用例數(shù)量從四十條漲到一百二十條但每周因前端改動引起的用例維護量從平均二十多個定位符及相關(guān)代碼修改降到五六個YAML字段修改。新增一條普通用例的時間也從原來的二十分鐘縮短到五分鐘前提是使用的元素和動作都在已有指令池內(nèi)。這里我更看重的是另一個隱性收益用例編寫不再要求測試人員掌握完整的編程能力。團隊里一位主要做手工測試的同事在經(jīng)過半天培訓(xùn)后就能動手寫新用例而且產(chǎn)出的描述文件格式幾乎沒有返工。對于一個需要快速擴展回歸覆蓋面的團隊來說這一點價值可能比執(zhí)行穩(wěn)定性還要重要。5. 踩坑記錄copaw落地過程中翻過的五個車5.1 動態(tài)列表元素定位失敗同一個class對應(yīng)多個元素上線的第二個星期加購用例開始出現(xiàn)偶發(fā)失敗。排查發(fā)現(xiàn)商品列表中每一行都用相同的CSS類名引擎里的定位策略默認返回第一個匹配元素但頁面上方有個營銷推薦位結(jié)構(gòu)上也用了同一個類名導(dǎo)致點擊目標被頂?shù)搅瞬豢梢妳^(qū)域。后來在click處理器里增加了一個可點擊性檢查一旦目標元素被遮擋或不可見就自動在當前頁面里搜索下一個匹配元素。這個兜底邏輯放進去之后這類用例就沒再翻過車。5.2 iframe嵌套頁面斷言像在隔空喊話某個第三方支付頁面的確認按鈕被包在兩層iframe里寫定位符時明明能定位到但執(zhí)行時就是點不中。這個問題不是copaw特有的原生Selenium腳本一樣會遇到區(qū)別在于我需要在描述引擎里提供一個不暴露細節(jié)的處理方案。最終在element結(jié)構(gòu)里增加了一個可選的frame字段引擎在執(zhí)行前會臨時切換上下文到對應(yīng)iframe操作完成后再切回主文檔。描述層用戶不需要理解Selenium的switch_to.frame細節(jié)只要在用例里聲明這個元素位于哪一層的iframe即可。5.3 慢網(wǎng)絡(luò)環(huán)境下的誤報斷言跑得比頁面還快手機端頁面在弱網(wǎng)環(huán)境測試時頁面往往已經(jīng)渲染出了首屏框架但業(yè)務(wù)數(shù)據(jù)還在接口返回的路上。assert_text默認只檢查元素存在并不校驗內(nèi)容是否最終渲染完成于是出現(xiàn)了斷言執(zhí)行成功但實際數(shù)據(jù)是空的的假通過。給斷言動作補上內(nèi)容非空和文本穩(wěn)定兩個前置條件后這種假通過基本絕跡。這也是copaw迭代到1.1版本時修復(fù)的一個關(guān)鍵問題。5.4 不同環(huán)境DOM結(jié)構(gòu)不一致一份描述文件跑遍三個環(huán)境團隊有三個環(huán)境功能一樣但前端構(gòu)建時間不同偶爾出現(xiàn)某個環(huán)境多一個公告橫幅、少一個引導(dǎo)浮層。這導(dǎo)致同一份描述文件在A環(huán)境全綠在B環(huán)境第一屏就被橫幅遮擋。copaw的解法是支持在環(huán)境配置文件里臨時聲明忽略某個文案塊的CSS類名引擎在初始頁面穩(wěn)定判斷階段自動排除這些元素。這個機制雖然簡單但避免了大量因環(huán)境裝飾性組件不同而寫出的條件分支。5.5 用例順序依賴引發(fā)連鎖失敗差點把報告系統(tǒng)跑掛早期我把登錄用例放在第一個文件后面的用例會在setup階段復(fù)用登錄態(tài)。某次登錄接口故障導(dǎo)致第一條用例失敗后面三十多條全部跟著紅。后來專門設(shè)計了pre_actions鉤子允許每條用例獨立完成前置登錄準備而不是共享執(zhí)行過程中的瀏覽器會話狀態(tài)。調(diào)整之后單條用例的失敗不再引發(fā)雪崩效應(yīng)報告上的紅色也就恢復(fù)了可信度。把這些坑一個個填平之后copaw 1.1才算真正從我的自嗨框架變成了團隊日常依賴的回歸工具。我個人在實際操作中最大的體會是描述驅(qū)動的價值不在于省掉幾行代碼而在于它強迫你把頁面適配邏輯和業(yè)務(wù)測試意圖拆開。前端穩(wěn)定性問題交給引擎的輪詢和重試去消化業(yè)務(wù)場景交給一份人能讀懂的YAML去表達回歸測試的維護成本才能真正降下來。后面如果再迭代我建議可以往兩個方向走一是把extract擴展成支持從接口響應(yīng)中取值讓UI層跟接口層的數(shù)據(jù)斷言打通二是做一批針對Vue和React頁面常見渲染模式的智能等待模板比如組件級的更新完成信號。這些方向當時因為排期沒來得及做但如果你的團隊也在用類似的思路做UI自動化非常值得繼續(xù)往下挖。