用自動化測試：AT-SPI與圖像識別的混合方案實(shí)踐)
1. 項(xiàng)目概述當(dāng)國產(chǎn)操作系統(tǒng)遇上GUI自動化測試最近幾年國產(chǎn)化替代的浪潮席卷了各行各業(yè)尤其是在一些對自主可控要求極高的領(lǐng)域。作為國產(chǎn)操作系統(tǒng)的代表之一麒麟操作系統(tǒng)包括桌面版和服務(wù)器版的裝機(jī)量和使用場景正在快速擴(kuò)大。隨之而來的一個現(xiàn)實(shí)問題是運(yùn)行在其上的應(yīng)用軟件其質(zhì)量如何保障特別是那些基于QT框架開發(fā)的、擁有復(fù)雜圖形界面的桌面應(yīng)用傳統(tǒng)的點(diǎn)點(diǎn)點(diǎn)手工測試不僅效率低下更難以保證回歸測試的覆蓋率。這就是我們今天要深入探討的核心為麒麟操作系統(tǒng)上的QT應(yīng)用構(gòu)建一套行之有效的自動化測試解決方案。簡單來說這個方案要解決的就是“在國產(chǎn)麒麟OS上如何讓機(jī)器自動去操作和驗(yàn)證QT圖形界面程序”的問題。它絕不僅僅是找個自動化測試工具那么簡單而是一個涉及操作系統(tǒng)適配、GUI控件識別、測試腳本開發(fā)、持續(xù)集成和結(jié)果管理的系統(tǒng)工程。無論是開發(fā)人員自測、測試團(tuán)隊(duì)進(jìn)行版本回歸還是構(gòu)建CI/CD流水線一套穩(wěn)定的自動化測試體系都能極大提升效率和質(zhì)量信心。如果你正在或即將面臨麒麟QT環(huán)境下的測試挑戰(zhàn)那么接下來的內(nèi)容或許能給你提供一條清晰的實(shí)踐路徑。2. 核心挑戰(zhàn)與方案選型背后的邏輯在麒麟OS上對QT應(yīng)用做自動化測試聽起來和在其他Linux發(fā)行版上做類似但實(shí)際上暗坑不少。首先得明白我們面對的是什么。2.1 環(huán)境特殊性帶來的核心挑戰(zhàn)第一圖形環(huán)境的多樣性。麒麟桌面操作系統(tǒng)通常提供多種桌面環(huán)境如UKUI麒麟主推、GNOME或KDE。不同的桌面環(huán)境其窗口管理器、合成器以及對 accessibility無障礙訪問技術(shù)的支持程度不同這會直接影響基于坐標(biāo)或基于控件識別的自動化工具的穩(wěn)定性。比如一個在GNOME下能穩(wěn)定識別的控件在UKUI下可能就“隱身”了。第二QT應(yīng)用的渲染與識別。QT應(yīng)用默認(rèn)使用自身的渲染引擎繪制界面。對于自動化工具而言看到的可能不是一個由標(biāo)準(zhǔn)系統(tǒng)控件如GTK組成的窗口而更像是一張“圖片”。傳統(tǒng)的基于角色role和名稱name的識別方式如Linux上的at-spi2可能失效或者只能識別到一個頂層的窗口無法穿透到內(nèi)部的按鈕、輸入框等。第三ARM架構(gòu)的兼容性。隨著信創(chuàng)推進(jìn)很多麒麟系統(tǒng)運(yùn)行在ARM64架構(gòu)的硬件上如飛騰、鯤鵬處理器。這意味著我們選擇的自動化測試工具、驅(qū)動乃至依賴庫都必須有對應(yīng)的ARM64版本或者能夠從源碼順利編譯通過。x86_64生態(tài)下的現(xiàn)成二進(jìn)制包很可能無法直接運(yùn)行。第四生態(tài)與工具的成熟度。相比Windows上的豐富選擇如PyWinAuto、TestComplete for Windows或通用Web/API測試專注于Linux桌面QT GUI自動化的開源工具鏈相對小眾中文社區(qū)的實(shí)踐分享和踩坑記錄也較少。2.2 主流技術(shù)路線分析與選型面對這些挑戰(zhàn)通常有幾條技術(shù)路線可供選擇基于坐標(biāo)和圖像的“黑盒”測試使用像SikuliX或PyAutoGUI這樣的工具通過屏幕截圖匹配和模擬鼠標(biāo)鍵盤事件來操作。優(yōu)點(diǎn)是幾乎與具體控件技術(shù)無關(guān)跨平臺性強(qiáng)。缺點(diǎn)是對UI變化極度敏感一個像素的偏移都可能導(dǎo)致失敗、執(zhí)行速度慢、無法讀取控件狀態(tài)如某個復(fù)選框是否被勾選且在多分辨率或縮放環(huán)境下適應(yīng)性差。這更適合作為輔助手段處理一些難以識別的自定義控件?；诓僮飨到y(tǒng)無障礙接口的“白盒”測試在Linux上主要是通過AT-SPIAssistive Technology Service Provider Interface接口。工具如dogtail、LDTPLinux Desktop Testing Project或pyatspi庫可以通過這個接口獲取應(yīng)用的控件樹和屬性。這對于支持AT-SPI的QT應(yīng)用需要編譯時開啟 accessibility 選項(xiàng)并且應(yīng)用開發(fā)時設(shè)置了正確的控件屬性是理想選擇。但現(xiàn)實(shí)是很多QT應(yīng)用對此支持不完善?；赒T原生框架的測試這是最直接、最穩(wěn)定的方式。既然應(yīng)用是QT寫的我們就用QT官方或社區(qū)提供的測試框架來驅(qū)動它。Qt Test FrameworkQT自帶的單元測試框架非常適合測試業(yè)務(wù)邏輯和底層模塊。它也可以進(jìn)行GUI事件模擬QTest但更偏向于開發(fā)人員自測對于復(fù)雜的端到端E2E用戶操作流編寫和維護(hù)成本較高。Squish來自 froglogic 的商業(yè)化GUI測試工具對QT的支持是它的核心賣點(diǎn)。它通過注入的方式直接訪問QT對象的內(nèi)部屬性和方法識別率近乎100%功能強(qiáng)大。但它是商業(yè)軟件需要付費(fèi)授權(quán)可能不符合所有團(tuán)隊(duì)的成本預(yù)算。QCumber或Golem一些較新的開源框架但生態(tài)和穩(wěn)定性有待驗(yàn)證。基于開源生態(tài)的混合方案這也是目前很多團(tuán)隊(duì)在成本和技術(shù)可控性權(quán)衡下的選擇。其核心思想是以基于AT-SPI的工具如pyautogui的Linux增強(qiáng)版或AT-SPI庫直接操作為主力對于無法識別的控件用圖像識別或甚至直接調(diào)用QT測試模塊如果可能作為補(bǔ)充。同時結(jié)合pytest這樣的通用測試框架來組織用例和斷言用Allure生成漂亮報(bào)告再用Jenkins或GitLab CI做持續(xù)集成。注意在麒麟OS的ARM64環(huán)境下第一條要務(wù)是驗(yàn)證你選擇的工具鏈及其所有依賴如at-spi2-core,pygi,python3-xlib等是否能在該架構(gòu)下正常安裝和運(yùn)行。優(yōu)先通過系統(tǒng)包管理器如yum或apt取決于麒麟版本安裝其次考慮源碼編譯。2.3 我們的方案選型思路基于以上分析對于一個追求穩(wěn)定性、可控性且需考慮成本的團(tuán)隊(duì)我推薦一條以“AT-SPI pytest”為核心圖像識別為輔助”的混合路線。具體工具上可以考慮使用python3libatspi(或pyatspi) pytest作為基礎(chǔ)框架。為什么穩(wěn)定性AT-SPI是Linux桌面標(biāo)準(zhǔn)接口只要QT應(yīng)用做了基本適配很多現(xiàn)代QT應(yīng)用默認(rèn)就有一定支持識別比圖像穩(wěn)定得多?？删S護(hù)性通過控件屬性如name、role定位腳本可讀性好對UI布局變化的容忍度高于圖像。成本完全開源無授權(quán)費(fèi)用。生態(tài)Python生態(tài)豐富可以方便地集成API測試、數(shù)據(jù)庫校驗(yàn)等。靈活性遇到“頑固”控件可以無縫切入pyautogui或opencv進(jìn)行圖像輔助操作形成互補(bǔ)。接下來我們就沿著這條路線看看如何一步步搭建起整個測試框架。3. 測試環(huán)境搭建與核心工具鏈配置工欲善其事必先利其器。在麒麟OS上搭建這套測試環(huán)境需要一些細(xì)致的配置工作。以下以麒麟桌面操作系統(tǒng)V10ARM64架構(gòu)為例假設(shè)使用UKUI桌面環(huán)境。3.1 基礎(chǔ)系統(tǒng)與開發(fā)環(huán)境準(zhǔn)備首先確保你的麒麟系統(tǒng)已經(jīng)更新并安裝必要的開發(fā)工具和Python環(huán)境。# 1. 更新系統(tǒng)包列表 sudo yum update -y # 如果系統(tǒng)基于Fedora/RHEL # 或 sudo apt update -y # 如果系統(tǒng)基于Debian/Ubuntu # 2. 安裝Python3及pip麒麟系統(tǒng)通常已預(yù)裝但確保版本3.6 python3 --version pip3 --version # 3. 安裝開發(fā)工具和依賴庫這些是編譯某些Python包或AT-SPI綁定所必需的 sudo yum groupinstall Development Tools -y sudo yum install python3-devel at-spi2-atk at-spi2-core libatspi2.0-dev gcc-c make -y # 注意包名可能因麒麟版本略有不同可用 yum search at-spi 查找3.2 AT-SPI環(huán)境驗(yàn)證與QT應(yīng)用適配這是最關(guān)鍵的一步。我們需要確認(rèn)兩件事1) AT-SPI服務(wù)正常運(yùn)行2) 被測QT應(yīng)用暴露了足夠的控件信息。啟動AT-SPI服務(wù) 通常AT-SPI服務(wù)會隨桌面環(huán)境自動啟動。你可以通過以下命令檢查ps aux | grep at-spi應(yīng)該能看到at-spi-bus-launcher和at-spi2-registryd進(jìn)程。如果沒有可能需要檢查桌面環(huán)境的無障礙功能是否開啟。驗(yàn)證QT應(yīng)用的可訪問性 安裝accerciser工具這是一個AT-SPI檢查器。sudo yum install accerciser -y啟動你的QT應(yīng)用然后運(yùn)行accerciser。在accerciser中點(diǎn)擊“Inspect”按鈕再點(diǎn)擊你的QT應(yīng)用窗口。如果能在左側(cè)的樹形結(jié)構(gòu)中看到應(yīng)用的窗口、按鈕、文本框等控件及其屬性如name,role,states那么恭喜你自動化的大門已經(jīng)敞開。如果只能看到一個頂層窗口內(nèi)部空空如也那么你需要確保你的QT應(yīng)用在編譯時啟用了 accessibility 支持。實(shí)操心得對于自行開發(fā)的QT應(yīng)用在編譯時無論是qmake還是CMake請確保加入了-accessibility相關(guān)標(biāo)志。對于使用第三方QT應(yīng)用可以嘗試設(shè)置環(huán)境變量QT_ACCESSIBILITY1來啟動它有時能激活基礎(chǔ)的可訪問性支持。命令如QT_ACCESSIBILITY1 ./your-qt-app 。3.3 Python測試框架與AT-SPI綁定安裝我們將使用pytest作為測試運(yùn)行器和管理框架并使用python-atspi或pyatspi庫來驅(qū)動GUI。# 安裝 pytest 及常用插件用于生成報(bào)告、并行運(yùn)行等 pip3 install pytest pytest-html pytest-xdist allure-pytest -i https://pypi.tuna.tsinghua.edu.cn/simple # 安裝 AT-SPI 的 Python 綁定 # 注意包名可能是 pyatspi 或 python3-atspi優(yōu)先嘗試通過系統(tǒng)包管理器安裝 sudo yum install python3-atspi -y # 如果系統(tǒng)倉庫沒有則使用pip安裝可能需要先安裝一些系統(tǒng)依賴 pip3 install pyatspi -i https://pypi.tuna.tsinghua.edu.cn/simple驗(yàn)證安裝是否成功python3 -c “import atspi; print(atspi.__version__)”3.4 輔助工具安裝圖像識別與全局輸入作為備用方案安裝圖像識別和全局輸入模擬庫。# 安裝 PyAutoGUI 用于全局輸入控制注意其在Linux下的依賴 sudo yum install scrot tkinter python3-tk -y # 安裝截圖和GUI庫依賴 pip3 install pyautogui opencv-python-headless numpy -i https://pypi.tuna.tsinghua.edu.cn/simple # 安裝 Pillow 用于圖像處理 pip3 install Pillow注意事項(xiàng)pyautogui在Linux上依賴scrot進(jìn)行截圖依賴Xlib或PyTk進(jìn)行部分操作。在ARM64架構(gòu)上務(wù)必確保這些依賴的ARM版本可用。如果遇到問題可以考慮使用pyscreeze和pynput等庫進(jìn)行更底層的組合。至此核心的工具鏈就準(zhǔn)備完畢了。接下來我們將進(jìn)入實(shí)戰(zhàn)環(huán)節(jié)編寫第一個自動化測試腳本。4. 核心測試腳本開發(fā)與框架搭建現(xiàn)在我們開始構(gòu)建測試框架的核心。我們將創(chuàng)建一個結(jié)構(gòu)清晰、易于維護(hù)的測試項(xiàng)目。4.1 項(xiàng)目目錄結(jié)構(gòu)設(shè)計(jì)一個好的目錄結(jié)構(gòu)能讓后續(xù)的維護(hù)和擴(kuò)展事半功倍。建議如下qt_auto_test_on_kylin/ ├── conftest.py # pytest全局配置、夾具定義 ├── requirements.txt # Python依賴列表 ├── pages/ # 頁面對象模型Page Object Model │ ├── __init__.py │ ├── main_window.py # 主窗口頁面類 │ └── login_dialog.py # 登錄對話框頁面類 ├── cases/ # 測試用例 │ ├── __init__.py │ ├── test_login.py # 登錄功能測試 │ └── test_data_processing.py # 數(shù)據(jù)處理功能測試 ├── utils/ # 工具函數(shù) │ ├── __init__.py │ ├── atspi_helper.py # AT-SPI操作封裝 │ ├── image_helper.py # 圖像識別輔助函數(shù) │ └── config.py # 配置文件讀取 ├── resources/ # 測試資源 │ ├── icons/ # 用于圖像識別的圖標(biāo) │ └── test_data/ # 測試數(shù)據(jù)文件 ├── reports/ # 測試報(bào)告輸出目錄.gitignore忽略 └── logs/ # 運(yùn)行日志目錄.gitignore忽略4.2 封裝AT-SPI核心操作類在utils/atspi_helper.py中我們封裝一個通用的AT-SPI操作類簡化控件查找和操作。import time import atspi class AtspiController: def __init__(self): # 初始化AT-SPI連接到總線 atspi.init() self.desktop atspi.get_desktop(0) # 獲取第一個桌面 def find_app_window(self, app_name): 根據(jù)應(yīng)用程序名稱查找頂層窗口 for i in range(self.desktop.get_child_count()): child self.desktop.get_child_at_index(i) # 獲取窗口的角色和名稱進(jìn)行匹配 try: role child.get_role_name() name child.get_name() # 通常應(yīng)用窗口角色是 ‘frame’ 或 ‘window’ if role in [frame, window] and app_name in name: return child except Exception as e: # 某些對象可能無法獲取屬性跳過 continue raise Exception(f“Application window with name containing ‘{app_name}’ not found.”) def find_child_by_attributes(self, parent, **attributes): 遞歸查找符合指定屬性的子控件。 常用屬性role如 ‘push button’ ‘text’ name控件名稱 description等。 def _recursive_find(obj): try: match True for attr, value in attributes.items(): obj_attr_value getattr(obj, f“get_{attr}”, lambda: None)() if callable(obj_attr_value): obj_attr_value obj_attr_value() # 支持模糊匹配in和精確匹配 if value not in str(obj_attr_value): match False break if match: return obj except Exception: pass # 忽略無法獲取屬性的對象 # 遞歸查找子對象 for i in range(obj.get_child_count()): try: child obj.get_child_at_index(i) result _recursive_find(child) if result: return result except Exception: continue return None return _recursive_find(parent) def click_button(self, window, button_name): 點(diǎn)擊指定名稱的按鈕 button self.find_child_by_attributes(window, role‘push button’, namebutton_name) if not button: raise Exception(f“Button ‘{button_name}’ not found.”) # 獲取動作接口并執(zhí)行點(diǎn)擊動作 for i in range(button.get_n_actions()): if button.get_action_name(i).lower() ‘click’: button.do_action(i) time.sleep(0.5) # 操作后等待一小段時間 return # 如果沒有明確的click動作嘗試模擬鼠標(biāo)事件通過組件接口 try: component button.queryComponent() if component: extents component.get_extents(atspi.CoordType.SCREEN) # 計(jì)算中心點(diǎn)并模擬點(diǎn)擊這里簡化實(shí)際可用pyautogui print(f“Button found at {extents}, but no click action. May need alternative method.”) except Exception as e: print(f“Cannot get component info: {e}”) raise Exception(f“Cannot click button ‘{button_name}’.”) def set_text(self, window, textfield_name, text): 向指定名稱的文本框中輸入文字 textfield self.find_child_by_attributes(window, role‘text’, nametextfield_name) if not textfield: # 有時文本框的role可能是 ‘entry’ textfield self.find_child_by_attributes(window, role‘entry’, nametextfield_name) if not textfield: raise Exception(f“Text field ‘{textfield_name}’ not found.”) # 文本框通常實(shí)現(xiàn)EditableText接口 editable textfield.queryEditableText() if editable: editable.set_text_contents(text) time.sleep(0.3) else: raise Exception(f“Text field ‘{textfield_name}’ is not editable.”) # 全局控制器實(shí)例方便調(diào)用 controller AtspiController()這個封裝類提供了查找應(yīng)用窗口、根據(jù)屬性和角色查找子控件、點(diǎn)擊按鈕和設(shè)置文本的基礎(chǔ)操作。這是整個GUI自動化的基石。4.3 實(shí)現(xiàn)頁面對象模型Page Object以登錄對話框?yàn)槔趐ages/login_dialog.py中from utils.atspi_helper import controller import time class LoginDialog: def __init__(self, main_window): # 假設(shè)登錄對話框是從主窗口的某個按鈕觸發(fā)的 self.main_window main_window # 可以在這里定義控件的定位屬性名稱、角色等便于維護(hù) self.locators { ‘username_input’: {‘role’: ‘text’, ‘name’: ‘用戶名’}, ‘password_input’: {‘role’: ‘password text’, ‘name’: ‘密碼’}, # 密碼框角色可能不同 ‘login_button’: {‘role’: ‘push button’, ‘name’: ‘登錄’}, ‘cancel_button’: {‘role’: ‘push button’, ‘name’: ‘取消’} } self.dialog None def open(self): 從主窗口打開登錄對話框 # 假設(shè)主窗口有一個“登錄”按鈕 controller.click_button(self.main_window, ‘登錄’) time.sleep(1) # 等待對話框彈出 # 查找當(dāng)前活躍的對話框窗口這里簡化處理實(shí)際可能需要更精確的查找 for i in range(controller.desktop.get_child_count()): child controller.desktop.get_child_at_index(i) if child.get_role_name() ‘dialog’: self.dialog child break if not self.dialog: raise Exception(“Login dialog not opened.”) return self def input_credentials(self, username, password): 輸入用戶名和密碼 # 使用封裝的find_child_by_attributes方法 username_field controller.find_child_by_attributes(self.dialog, **self.locators[‘username_input’]) password_field controller.find_child_by_attributes(self.dialog, **self.locators[‘password_input’]) if username_field and hasattr(username_field.queryEditableText(), ‘set_text_contents’): username_field.queryEditableText().set_text_contents(username) if password_field and hasattr(password_field.queryEditableText(), ‘set_text_contents’): password_field.queryEditableText().set_text_contents(password) time.sleep(0.5) return self def click_login(self): 點(diǎn)擊登錄按鈕 login_btn controller.find_child_by_attributes(self.dialog, **self.locators[‘login_button’]) if login_btn: for i in range(login_btn.get_n_actions()): if login_btn.get_action_name(i).lower() ‘click’: login_btn.do_action(i) time.sleep(2) # 等待登錄過程 return True return False def click_cancel(self): 點(diǎn)擊取消按鈕 cancel_btn controller.find_child_by_attributes(self.dialog, **self.locators[‘cancel_button’]) if cancel_btn: for i in range(cancel_btn.get_n_actions()): if cancel_btn.get_action_name(i).lower() ‘click’: cancel_btn.do_action(i) time.sleep(0.5) return True return False頁面對象模型將UI元素定位和操作封裝成類的方法使測試用例腳本更簡潔、更面向業(yè)務(wù)也便于在UI變化時集中修改。4.4 編寫第一個pytest測試用例在cases/test_login.py中import pytest import time from utils.atspi_helper import controller from pages.main_window import MainWindow # 假設(shè)有主窗口頁面類 from pages.login_dialog import LoginDialog class TestLogin: pytest.fixture(scope“class”) def app(self): 啟動被測QT應(yīng)用的夾具 # 這里需要你替換為啟動你的QT應(yīng)用的實(shí)際命令 import subprocess app_process subprocess.Popen([‘/path/to/your/qt_app’]) time.sleep(3) # 等待應(yīng)用啟動 yield # 測試結(jié)束后關(guān)閉應(yīng)用 app_process.terminate() app_process.wait() pytest.fixture def main_window(self, app): 獲取應(yīng)用主窗口的夾具 window controller.find_app_window(“Your QT App Name”) # 替換為你的應(yīng)用窗口名稱 assert window is not None, “Main application window not found!” return window def test_successful_login(self, main_window): 測試成功登錄流程 main_page MainWindow(main_window) login_dialog LoginDialog(main_window).open() login_dialog.input_credentials(“correct_user”, “correct_password”) assert login_dialog.click_login() True # 驗(yàn)證登錄成功例如檢查主界面某個元素出現(xiàn) # welcome_label controller.find_child_by_attributes(main_window, role‘label’, name‘歡迎correct_user’) # assert welcome_label is not None # 這里先打印日志示意 print(“Login successful.”) def test_failed_login_with_wrong_password(self, main_window): 測試密碼錯誤登錄失敗 main_page MainWindow(main_window) login_dialog LoginDialog(main_window).open() login_dialog.input_credentials(“correct_user”, “wrong_password”) assert login_dialog.click_login() True # 點(diǎn)擊了登錄按鈕 time.sleep(1) # 驗(yàn)證出現(xiàn)了錯誤提示框 error_dialog None for i in range(controller.desktop.get_child_count()): child controller.desktop.get_child_at_index(i) if child.get_role_name() ‘a(chǎn)lert’ and ‘錯誤’ in child.get_name(): error_dialog child break assert error_dialog is not None, “Error dialog should appear for wrong password.” # 關(guān)閉錯誤提示框 ok_btn controller.find_child_by_attributes(error_dialog, role‘push button’, name‘確定’) if ok_btn: for i in range(ok_btn.get_n_actions()): if ok_btn.get_action_name(i).lower() ‘click’: ok_btn.do_action(i) print(“Failed login handled correctly.”)這個測試用例展示了如何使用pytest的夾具fixture來管理應(yīng)用生命周期以及如何調(diào)用頁面對象來組織清晰的測試步驟。4.5 集成圖像識別作為后備方案在utils/image_helper.py中我們封裝一個簡單的圖像識別點(diǎn)擊函數(shù)用于處理AT-SPI無法識別的控件。import pyautogui import cv2 import numpy as np import time from PIL import ImageGrab class ImageHelper: def __init__(self, confidence0.9): self.confidence confidence def click_icon(self, icon_path, regionNone, grayscaleTrue): 在屏幕上查找指定圖標(biāo)并點(diǎn)擊其中心。 :param icon_path: 圖標(biāo)圖片路徑 :param region: 搜索區(qū)域 (left, top, width, height)為None時全屏搜索 :param grayscale: 是否轉(zhuǎn)換為灰度圖進(jìn)行匹配通常能提升速度和抗顏色變化能力 :return: 成功點(diǎn)擊返回True否則返回False try: # 讀取圖標(biāo) icon cv2.imread(icon_path, cv2.IMREAD_UNCHANGED) if icon is None: raise ValueError(f“Cannot read icon image from {icon_path}”) # 截取屏幕 screenshot ImageGrab.grab(bboxregion) if region else ImageGrab.grab() screenshot_cv cv2.cvtColor(np.array(screenshot), cv2.COLOR_RGB2BGR) if grayscale: icon_gray cv2.cvtColor(icon, cv2.COLOR_BGR2GRAY) screen_gray cv2.cvtColor(screenshot_cv, cv2.COLOR_BGR2GRAY) method cv2.TM_CCOEFF_NORMED result cv2.matchTemplate(screen_gray, icon_gray, method) else: method cv2.TM_CCOEFF_NORMED result cv2.matchTemplate(screenshot_cv, icon, method) min_val, max_val, min_loc, max_loc cv2.minMaxLoc(result) if max_val self.confidence: # 計(jì)算圖標(biāo)中心點(diǎn) h, w icon.shape[:2] center_x max_loc[0] w // 2 center_y max_loc[1] h // 2 # 移動鼠標(biāo)并點(diǎn)擊 pyautogui.moveTo(center_x, center_y, duration0.2) pyautogui.click() time.sleep(0.5) return True else: print(f“Icon not found. Max confidence: {max_val}”) return False except Exception as e: print(f“Image recognition failed: {e}”) return False # 使用示例 # helper ImageHelper() # helper.click_icon(‘resources/icons/save_button.png’)在測試用例中可以這樣使用后備方案def test_save_with_custom_icon(self, main_window): 測試保存功能保存按鈕是一個自定義圖標(biāo)AT-SPI無法識別 # ... 先進(jìn)行一些操作 # 嘗試用AT-SPI點(diǎn)擊保存按鈕假設(shè)失敗 try: controller.click_button(main_window, ‘保存’) except Exception: print(“Save button not found via AT-SPI, trying image recognition...”) image_helper ImageHelper() success image_helper.click_icon(‘resources/icons/save_icon.png’) assert success, “Failed to click save button even with image recognition.” # ... 后續(xù)驗(yàn)證通過這種主次分明的策略我們構(gòu)建了一個健壯性更強(qiáng)的測試框架。5. 持續(xù)集成與測試報(bào)告生成自動化測試只有融入開發(fā)流程才能發(fā)揮最大價值。我們將測試框架集成到Jenkins中并生成直觀的測試報(bào)告。5.1 使用pytest生成多樣化測試報(bào)告pytest支持多種報(bào)告格式我們可以同時生成HTML報(bào)告和Allure報(bào)告后者更美觀且支持歷史趨勢分析。首先在項(xiàng)目根目錄創(chuàng)建pytest.ini配置文件[pytest] # 指定測試文件的位置和命名規(guī)則 testpaths cases python_files test_*.py python_classes Test* python_functions test_* # 添加命令行默認(rèn)選項(xiàng) addopts -v --htmlreports/report.html --self-contained-html --alluredirreports/allure_results # -v: 詳細(xì)輸出 # --html: 生成HTML報(bào)告 # --alluredir: 生成Allure原始數(shù)據(jù) # 配置日志 log_cli true log_cli_level INFO log_file logs/pytest.log log_file_level INFO運(yùn)行測試時只需執(zhí)行pytest即可在reports/目錄下生成報(bào)告。要查看Allure報(bào)告需要先安裝Allure命令行工具然后生成并打開# 運(yùn)行測試 pytest # 生成Allure報(bào)告需要先安裝allure命令行工具可從官網(wǎng)下載 allure generate reports/allure_results -o reports/allure_report --clean # 打開報(bào)告會啟動一個本地web服務(wù) allure open reports/allure_report5.2 搭建Jenkins持續(xù)集成任務(wù)在麒麟服務(wù)器上安裝Jenkins可以通過Docker或直接安裝War包然后創(chuàng)建一個自由風(fēng)格的任務(wù)。源碼管理配置Git倉庫地址拉取你的測試代碼和被測應(yīng)用如果需要。構(gòu)建觸發(fā)器可以配置定時構(gòu)建如每晚或輪詢SCM代碼有更新時觸發(fā)。構(gòu)建環(huán)境確保Jenkins節(jié)點(diǎn)可以是Master也可以是ARM64的Agent上安裝了所需的Python版本、依賴庫通過pip install -r requirements.txt以及AT-SPI相關(guān)的系統(tǒng)包。構(gòu)建步驟執(zhí)行Shell# 激活Python虛擬環(huán)境如果使用 # source venv/bin/activate # 安裝依賴 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 確保顯示環(huán)境對于無頭headless服務(wù)器需要虛擬顯示 export DISPLAY:99 # 啟動一個虛擬X服務(wù)器例如使用Xvfb Xvfb :99 -screen 0 1920x1080x24 # 等待Xvfb啟動 sleep 3 # 運(yùn)行測試 pytest # 停止Xvfb (可選Jenkins任務(wù)結(jié)束時會清理) # pkill -f “Xvfb”后置步驟添加“Publish HTML reports”插件將reports/report.html發(fā)布到Jenkins界面。也可以添加Allure插件來發(fā)布Allure報(bào)告。構(gòu)建后操作可以配置郵件通知當(dāng)測試失敗時通知相關(guān)人員。踩坑實(shí)錄在無圖形界面的服務(wù)器如麒麟服務(wù)器版上運(yùn)行GUI自動化測試必須配置虛擬顯示服務(wù)器如Xvfb或Xephyr。否則AT-SPI將無法連接到顯示服務(wù)器所有操作都會失敗。另外確保Jenkins用戶有權(quán)限啟動Xvfb和訪問AT-SPI總線通常需要添加到audio、video等用戶組或者直接以有桌面會話的用戶運(yùn)行Jenkins agent。6. 常見問題排查與性能優(yōu)化技巧在實(shí)際部署和運(yùn)行過程中你肯定會遇到各種各樣的問題。這里記錄了一些典型問題的排查思路和優(yōu)化技巧。6.1 AT-SPI控件查找失敗現(xiàn)象find_child_by_attributes返回Noneaccerciser中也看不到控件詳情。排查確認(rèn)應(yīng)用可訪問性支持使用accerciser檢查。如果控件樹為空嘗試設(shè)置環(huán)境變量QT_ACCESSIBILITY1重啟應(yīng)用。對于自己開發(fā)的應(yīng)用確保編譯時添加了-qt-accessibility或?qū)?yīng)CMake選項(xiàng)。檢查控件屬性有時控件的name屬性為空或不是預(yù)期值。嘗試使用role、description或其他屬性組合定位。在accerciser中選中控件查看其“屬性”選項(xiàng)卡中的所有信息。延遲等待控件可能尚未加載完成。在查找前增加time.sleep()或?qū)崿F(xiàn)一個輪詢查找函數(shù)在超時時間內(nèi)不斷嘗試。層級問題控件可能嵌套在復(fù)雜的容器如QML組件、自定義控件中AT-SPI無法穿透。嘗試逐層查找先定位父容器再在其子節(jié)點(diǎn)中查找。6.2 自動化操作導(dǎo)致應(yīng)用卡死或無響應(yīng)現(xiàn)象腳本點(diǎn)擊按鈕或輸入文本后應(yīng)用界面卡住腳本也停止響應(yīng)。排查與解決操作間隔過快的連續(xù)操作可能導(dǎo)致應(yīng)用事件隊(duì)列處理不過來。在關(guān)鍵操作如點(diǎn)擊按鈕打開新窗口、提交表單后增加合理的等待時間time.sleep(1-2)。使用異步等待更好的方法是等待某個條件成立而不是固定睡眠。例如等待某個提示成功的標(biāo)簽出現(xiàn)或者等待窗口標(biāo)題改變。def wait_for_object(parent, **attributes, timeout10): start_time time.time() while time.time() - start_time timeout: obj controller.find_child_by_attributes(parent, **attributes) if obj: return obj time.sleep(0.5) raise TimeoutError(f“Object with attributes {attributes} not found within {timeout} seconds.”)檢查模態(tài)對話框你的操作可能彈出了一個未被腳本捕獲的模態(tài)對話框阻塞了主線程。確保腳本能處理所有可能的彈窗。6.3 在ARM64架構(gòu)上的特殊問題現(xiàn)象在x86上運(yùn)行良好的腳本或工具在ARM64麒麟上安裝失敗或運(yùn)行報(bào)錯。解決依賴庫優(yōu)先使用系統(tǒng)包管理器yum/apt安裝二進(jìn)制包。對于必須從源碼編譯的Python包確保已安裝對應(yīng)架構(gòu)的編譯工具鏈gcc,g,make和頭文件python3-dev。預(yù)編譯輪子wheel許多常用Python包如numpy,opencv-python都提供了ARM64的預(yù)編譯輪子pip會自動選擇。如果下載慢或找不到可以指定國內(nèi)的ARM64鏡像源或者從華為、清華等鏡像站尋找。工具兼容性像scrot、xdotool這類系統(tǒng)工具確保安裝的是ARM64版本。6.4 測試腳本的穩(wěn)定性和可維護(hù)性優(yōu)化使用明確的等待避免硬編碼sleep盡可能使用條件等待WebDriverWait的思想減少因機(jī)器性能差異導(dǎo)致的失敗。為控件定位信息設(shè)置“別名”或“資源文件”將控件的定位屬性如{‘role’: ‘push button’, ‘name’: ‘登錄’}統(tǒng)一管理在一個配置文件中如YAML或JSON當(dāng)UI微調(diào)時只需修改配置文件無需改動大量測試腳本。引入日志記錄使用Python的logging模塊詳細(xì)記錄每個步驟的操作和結(jié)果。當(dāng)測試失敗時詳細(xì)的日志是排查問題的第一手資料?？梢詫⑷罩炯墑e設(shè)置為INFO或DEBUG。實(shí)現(xiàn)失敗截圖功能在pytest的鉤子函數(shù)中如pytest_runtest_makereport當(dāng)測試失敗時截取當(dāng)前屏幕保存這對于調(diào)試圖像識別失敗或界面狀態(tài)異常非常有幫助。測試數(shù)據(jù)驅(qū)動使用pytest.mark.parametrize將測試用例與測試數(shù)據(jù)分離用多組數(shù)據(jù)驅(qū)動同一個測試流程提高用例的覆蓋率和編寫效率。6.5 處理動態(tài)內(nèi)容和自定義控件對于內(nèi)容動態(tài)加載如列表滾動加載或完全自定義繪制的控件AT-SPI和圖像都難以識別可能需要更高級的策略與開發(fā)團(tuán)隊(duì)協(xié)作為關(guān)鍵的自定義控件添加可訪問性屬性或者提供用于測試的專用接口如一個隱藏的、可通過特殊快捷鍵激活的“測試模式”暴露內(nèi)部狀態(tài)。結(jié)合底層接口如果應(yīng)用提供了DBus接口或其他進(jìn)程間通信機(jī)制可以直接通過DBus調(diào)用來觸發(fā)某些操作或獲取狀態(tài)繞過GUI層。這需要開發(fā)端的支持。OCR輔助對于無法直接獲取的文本內(nèi)容可以使用Tesseract等OCR庫從屏幕截圖中識別文字。這可以作為最后的手段因?yàn)槠錅?zhǔn)確率和速度相對較低。構(gòu)建麒麟操作系統(tǒng)上QT應(yīng)用的自動化測試體系是一個需要耐心和不斷調(diào)試的過程。它沒有銀彈核心在于理解AT-SPI的工作原理構(gòu)建一個以它為主、圖像識別為輔的混合框架并通過良好的工程實(shí)踐如頁面對象、條件等待、CI集成來提升腳本的穩(wěn)定性和可維護(hù)性。當(dāng)你的自動化測試套件能夠在無人值守的情況下每晚對最新構(gòu)建的應(yīng)用進(jìn)行全面的回歸測試并生成清晰的報(bào)告時你會發(fā)現(xiàn)所有的投入都是值得的。這不僅提升了產(chǎn)品質(zhì)量也為在國產(chǎn)化平臺上的持續(xù)、快速交付提供了堅(jiān)實(shí)保障。 麒麟OS QT應(yīng)用自動化測試：AT-SPI與圖像識別的混合方案實(shí)踐
1. 項(xiàng)目概述當(dāng)國產(chǎn)操作系統(tǒng)遇上GUI自動化測試最近幾年國產(chǎn)化替代的浪潮席卷了各行各業(yè)尤其是在一些對自主可控要求極高的領(lǐng)域。作為國產(chǎn)操作系統(tǒng)的代表之一麒麟操作系統(tǒng)包括桌面版和服務(wù)器版的裝機(jī)量和使用場景正在快速擴(kuò)大。隨之而來的一個現(xiàn)實(shí)問題是運(yùn)行在其上的應(yīng)用軟件其質(zhì)量如何保障特別是那些基于QT框架開發(fā)的、擁有復(fù)雜圖形界面的桌面應(yīng)用傳統(tǒng)的點(diǎn)點(diǎn)點(diǎn)手工測試不僅效率低下更難以保證回歸測試的覆蓋率。這就是我們今天要深入探討的核心為麒麟操作系統(tǒng)上的QT應(yīng)用構(gòu)建一套行之有效的自動化測試解決方案。簡單來說這個方案要解決的就是“在國產(chǎn)麒麟OS上如何讓機(jī)器自動去操作和驗(yàn)證QT圖形界面程序”的問題。它絕不僅僅是找個自動化測試工具那么簡單而是一個涉及操作系統(tǒng)適配、GUI控件識別、測試腳本開發(fā)、持續(xù)集成和結(jié)果管理的系統(tǒng)工程。無論是開發(fā)人員自測、測試團(tuán)隊(duì)進(jìn)行版本回歸還是構(gòu)建CI/CD流水線一套穩(wěn)定的自動化測試體系都能極大提升效率和質(zhì)量信心。如果你正在或即將面臨麒麟QT環(huán)境下的測試挑戰(zhàn)那么接下來的內(nèi)容或許能給你提供一條清晰的實(shí)踐路徑。2. 核心挑戰(zhàn)與方案選型背后的邏輯在麒麟OS上對QT應(yīng)用做自動化測試聽起來和在其他Linux發(fā)行版上做類似但實(shí)際上暗坑不少。首先得明白我們面對的是什么。2.1 環(huán)境特殊性帶來的核心挑戰(zhàn)第一圖形環(huán)境的多樣性。麒麟桌面操作系統(tǒng)通常提供多種桌面環(huán)境如UKUI麒麟主推、GNOME或KDE。不同的桌面環(huán)境其窗口管理器、合成器以及對 accessibility無障礙訪問技術(shù)的支持程度不同這會直接影響基于坐標(biāo)或基于控件識別的自動化工具的穩(wěn)定性。比如一個在GNOME下能穩(wěn)定識別的控件在UKUI下可能就“隱身”了。第二QT應(yīng)用的渲染與識別。QT應(yīng)用默認(rèn)使用自身的渲染引擎繪制界面。對于自動化工具而言看到的可能不是一個由標(biāo)準(zhǔn)系統(tǒng)控件如GTK組成的窗口而更像是一張“圖片”。傳統(tǒng)的基于角色role和名稱name的識別方式如Linux上的at-spi2可能失效或者只能識別到一個頂層的窗口無法穿透到內(nèi)部的按鈕、輸入框等。第三ARM架構(gòu)的兼容性。隨著信創(chuàng)推進(jìn)很多麒麟系統(tǒng)運(yùn)行在ARM64架構(gòu)的硬件上如飛騰、鯤鵬處理器。這意味著我們選擇的自動化測試工具、驅(qū)動乃至依賴庫都必須有對應(yīng)的ARM64版本或者能夠從源碼順利編譯通過。x86_64生態(tài)下的現(xiàn)成二進(jìn)制包很可能無法直接運(yùn)行。第四生態(tài)與工具的成熟度。相比Windows上的豐富選擇如PyWinAuto、TestComplete for Windows或通用Web/API測試專注于Linux桌面QT GUI自動化的開源工具鏈相對小眾中文社區(qū)的實(shí)踐分享和踩坑記錄也較少。2.2 主流技術(shù)路線分析與選型面對這些挑戰(zhàn)通常有幾條技術(shù)路線可供選擇基于坐標(biāo)和圖像的“黑盒”測試使用像SikuliX或PyAutoGUI這樣的工具通過屏幕截圖匹配和模擬鼠標(biāo)鍵盤事件來操作。優(yōu)點(diǎn)是幾乎與具體控件技術(shù)無關(guān)跨平臺性強(qiáng)。缺點(diǎn)是對UI變化極度敏感一個像素的偏移都可能導(dǎo)致失敗、執(zhí)行速度慢、無法讀取控件狀態(tài)如某個復(fù)選框是否被勾選且在多分辨率或縮放環(huán)境下適應(yīng)性差。這更適合作為輔助手段處理一些難以識別的自定義控件?；诓僮飨到y(tǒng)無障礙接口的“白盒”測試在Linux上主要是通過AT-SPIAssistive Technology Service Provider Interface接口。工具如dogtail、LDTPLinux Desktop Testing Project或pyatspi庫可以通過這個接口獲取應(yīng)用的控件樹和屬性。這對于支持AT-SPI的QT應(yīng)用需要編譯時開啟 accessibility 選項(xiàng)并且應(yīng)用開發(fā)時設(shè)置了正確的控件屬性是理想選擇。但現(xiàn)實(shí)是很多QT應(yīng)用對此支持不完善?；赒T原生框架的測試這是最直接、最穩(wěn)定的方式。既然應(yīng)用是QT寫的我們就用QT官方或社區(qū)提供的測試框架來驅(qū)動它。Qt Test FrameworkQT自帶的單元測試框架非常適合測試業(yè)務(wù)邏輯和底層模塊。它也可以進(jìn)行GUI事件模擬QTest但更偏向于開發(fā)人員自測對于復(fù)雜的端到端E2E用戶操作流編寫和維護(hù)成本較高。Squish來自 froglogic 的商業(yè)化GUI測試工具對QT的支持是它的核心賣點(diǎn)。它通過注入的方式直接訪問QT對象的內(nèi)部屬性和方法識別率近乎100%功能強(qiáng)大。但它是商業(yè)軟件需要付費(fèi)授權(quán)可能不符合所有團(tuán)隊(duì)的成本預(yù)算。QCumber或Golem一些較新的開源框架但生態(tài)和穩(wěn)定性有待驗(yàn)證。基于開源生態(tài)的混合方案這也是目前很多團(tuán)隊(duì)在成本和技術(shù)可控性權(quán)衡下的選擇。其核心思想是以基于AT-SPI的工具如pyautogui的Linux增強(qiáng)版或AT-SPI庫直接操作為主力對于無法識別的控件用圖像識別或甚至直接調(diào)用QT測試模塊如果可能作為補(bǔ)充。同時結(jié)合pytest這樣的通用測試框架來組織用例和斷言用Allure生成漂亮報(bào)告再用Jenkins或GitLab CI做持續(xù)集成。注意在麒麟OS的ARM64環(huán)境下第一條要務(wù)是驗(yàn)證你選擇的工具鏈及其所有依賴如at-spi2-core,pygi,python3-xlib等是否能在該架構(gòu)下正常安裝和運(yùn)行。優(yōu)先通過系統(tǒng)包管理器如yum或apt取決于麒麟版本安裝其次考慮源碼編譯。2.3 我們的方案選型思路基于以上分析對于一個追求穩(wěn)定性、可控性且需考慮成本的團(tuán)隊(duì)我推薦一條以“AT-SPI pytest”為核心圖像識別為輔助”的混合路線。具體工具上可以考慮使用python3libatspi(或pyatspi) pytest作為基礎(chǔ)框架。為什么穩(wěn)定性AT-SPI是Linux桌面標(biāo)準(zhǔn)接口只要QT應(yīng)用做了基本適配很多現(xiàn)代QT應(yīng)用默認(rèn)就有一定支持識別比圖像穩(wěn)定得多?？删S護(hù)性通過控件屬性如name、role定位腳本可讀性好對UI布局變化的容忍度高于圖像。成本完全開源無授權(quán)費(fèi)用。生態(tài)Python生態(tài)豐富可以方便地集成API測試、數(shù)據(jù)庫校驗(yàn)等。靈活性遇到“頑固”控件可以無縫切入pyautogui或opencv進(jìn)行圖像輔助操作形成互補(bǔ)。接下來我們就沿著這條路線看看如何一步步搭建起整個測試框架。3. 測試環(huán)境搭建與核心工具鏈配置工欲善其事必先利其器。在麒麟OS上搭建這套測試環(huán)境需要一些細(xì)致的配置工作。以下以麒麟桌面操作系統(tǒng)V10ARM64架構(gòu)為例假設(shè)使用UKUI桌面環(huán)境。3.1 基礎(chǔ)系統(tǒng)與開發(fā)環(huán)境準(zhǔn)備首先確保你的麒麟系統(tǒng)已經(jīng)更新并安裝必要的開發(fā)工具和Python環(huán)境。# 1. 更新系統(tǒng)包列表 sudo yum update -y # 如果系統(tǒng)基于Fedora/RHEL # 或 sudo apt update -y # 如果系統(tǒng)基于Debian/Ubuntu # 2. 安裝Python3及pip麒麟系統(tǒng)通常已預(yù)裝但確保版本3.6 python3 --version pip3 --version # 3. 安裝開發(fā)工具和依賴庫這些是編譯某些Python包或AT-SPI綁定所必需的 sudo yum groupinstall Development Tools -y sudo yum install python3-devel at-spi2-atk at-spi2-core libatspi2.0-dev gcc-c make -y # 注意包名可能因麒麟版本略有不同可用 yum search at-spi 查找3.2 AT-SPI環(huán)境驗(yàn)證與QT應(yīng)用適配這是最關(guān)鍵的一步。我們需要確認(rèn)兩件事1) AT-SPI服務(wù)正常運(yùn)行2) 被測QT應(yīng)用暴露了足夠的控件信息。啟動AT-SPI服務(wù) 通常AT-SPI服務(wù)會隨桌面環(huán)境自動啟動。你可以通過以下命令檢查ps aux | grep at-spi應(yīng)該能看到at-spi-bus-launcher和at-spi2-registryd進(jìn)程。如果沒有可能需要檢查桌面環(huán)境的無障礙功能是否開啟。驗(yàn)證QT應(yīng)用的可訪問性 安裝accerciser工具這是一個AT-SPI檢查器。sudo yum install accerciser -y啟動你的QT應(yīng)用然后運(yùn)行accerciser。在accerciser中點(diǎn)擊“Inspect”按鈕再點(diǎn)擊你的QT應(yīng)用窗口。如果能在左側(cè)的樹形結(jié)構(gòu)中看到應(yīng)用的窗口、按鈕、文本框等控件及其屬性如name,role,states那么恭喜你自動化的大門已經(jīng)敞開。如果只能看到一個頂層窗口內(nèi)部空空如也那么你需要確保你的QT應(yīng)用在編譯時啟用了 accessibility 支持。實(shí)操心得對于自行開發(fā)的QT應(yīng)用在編譯時無論是qmake還是CMake請確保加入了-accessibility相關(guān)標(biāo)志。對于使用第三方QT應(yīng)用可以嘗試設(shè)置環(huán)境變量QT_ACCESSIBILITY1來啟動它有時能激活基礎(chǔ)的可訪問性支持。命令如QT_ACCESSIBILITY1 ./your-qt-app 。3.3 Python測試框架與AT-SPI綁定安裝我們將使用pytest作為測試運(yùn)行器和管理框架并使用python-atspi或pyatspi庫來驅(qū)動GUI。# 安裝 pytest 及常用插件用于生成報(bào)告、并行運(yùn)行等 pip3 install pytest pytest-html pytest-xdist allure-pytest -i https://pypi.tuna.tsinghua.edu.cn/simple # 安裝 AT-SPI 的 Python 綁定 # 注意包名可能是 pyatspi 或 python3-atspi優(yōu)先嘗試通過系統(tǒng)包管理器安裝 sudo yum install python3-atspi -y # 如果系統(tǒng)倉庫沒有則使用pip安裝可能需要先安裝一些系統(tǒng)依賴 pip3 install pyatspi -i https://pypi.tuna.tsinghua.edu.cn/simple驗(yàn)證安裝是否成功python3 -c “import atspi; print(atspi.__version__)”3.4 輔助工具安裝圖像識別與全局輸入作為備用方案安裝圖像識別和全局輸入模擬庫。# 安裝 PyAutoGUI 用于全局輸入控制注意其在Linux下的依賴 sudo yum install scrot tkinter python3-tk -y # 安裝截圖和GUI庫依賴 pip3 install pyautogui opencv-python-headless numpy -i https://pypi.tuna.tsinghua.edu.cn/simple # 安裝 Pillow 用于圖像處理 pip3 install Pillow注意事項(xiàng)pyautogui在Linux上依賴scrot進(jìn)行截圖依賴Xlib或PyTk進(jìn)行部分操作。在ARM64架構(gòu)上務(wù)必確保這些依賴的ARM版本可用。如果遇到問題可以考慮使用pyscreeze和pynput等庫進(jìn)行更底層的組合。至此核心的工具鏈就準(zhǔn)備完畢了。接下來我們將進(jìn)入實(shí)戰(zhàn)環(huán)節(jié)編寫第一個自動化測試腳本。4. 核心測試腳本開發(fā)與框架搭建現(xiàn)在我們開始構(gòu)建測試框架的核心。我們將創(chuàng)建一個結(jié)構(gòu)清晰、易于維護(hù)的測試項(xiàng)目。4.1 項(xiàng)目目錄結(jié)構(gòu)設(shè)計(jì)一個好的目錄結(jié)構(gòu)能讓后續(xù)的維護(hù)和擴(kuò)展事半功倍。建議如下qt_auto_test_on_kylin/ ├── conftest.py # pytest全局配置、夾具定義 ├── requirements.txt # Python依賴列表 ├── pages/ # 頁面對象模型Page Object Model │ ├── __init__.py │ ├── main_window.py # 主窗口頁面類 │ └── login_dialog.py # 登錄對話框頁面類 ├── cases/ # 測試用例 │ ├── __init__.py │ ├── test_login.py # 登錄功能測試 │ └── test_data_processing.py # 數(shù)據(jù)處理功能測試 ├── utils/ # 工具函數(shù) │ ├── __init__.py │ ├── atspi_helper.py # AT-SPI操作封裝 │ ├── image_helper.py # 圖像識別輔助函數(shù) │ └── config.py # 配置文件讀取 ├── resources/ # 測試資源 │ ├── icons/ # 用于圖像識別的圖標(biāo) │ └── test_data/ # 測試數(shù)據(jù)文件 ├── reports/ # 測試報(bào)告輸出目錄.gitignore忽略 └── logs/ # 運(yùn)行日志目錄.gitignore忽略4.2 封裝AT-SPI核心操作類在utils/atspi_helper.py中我們封裝一個通用的AT-SPI操作類簡化控件查找和操作。import time import atspi class AtspiController: def __init__(self): # 初始化AT-SPI連接到總線 atspi.init() self.desktop atspi.get_desktop(0) # 獲取第一個桌面 def find_app_window(self, app_name): 根據(jù)應(yīng)用程序名稱查找頂層窗口 for i in range(self.desktop.get_child_count()): child self.desktop.get_child_at_index(i) # 獲取窗口的角色和名稱進(jìn)行匹配 try: role child.get_role_name() name child.get_name() # 通常應(yīng)用窗口角色是 ‘frame’ 或 ‘window’ if role in [frame, window] and app_name in name: return child except Exception as e: # 某些對象可能無法獲取屬性跳過 continue raise Exception(f“Application window with name containing ‘{app_name}’ not found.”) def find_child_by_attributes(self, parent, **attributes): 遞歸查找符合指定屬性的子控件。 常用屬性role如 ‘push button’ ‘text’ name控件名稱 description等。 def _recursive_find(obj): try: match True for attr, value in attributes.items(): obj_attr_value getattr(obj, f“get_{attr}”, lambda: None)() if callable(obj_attr_value): obj_attr_value obj_attr_value() # 支持模糊匹配in和精確匹配 if value not in str(obj_attr_value): match False break if match: return obj except Exception: pass # 忽略無法獲取屬性的對象 # 遞歸查找子對象 for i in range(obj.get_child_count()): try: child obj.get_child_at_index(i) result _recursive_find(child) if result: return result except Exception: continue return None return _recursive_find(parent) def click_button(self, window, button_name): 點(diǎn)擊指定名稱的按鈕 button self.find_child_by_attributes(window, role‘push button’, namebutton_name) if not button: raise Exception(f“Button ‘{button_name}’ not found.”) # 獲取動作接口并執(zhí)行點(diǎn)擊動作 for i in range(button.get_n_actions()): if button.get_action_name(i).lower() ‘click’: button.do_action(i) time.sleep(0.5) # 操作后等待一小段時間 return # 如果沒有明確的click動作嘗試模擬鼠標(biāo)事件通過組件接口 try: component button.queryComponent() if component: extents component.get_extents(atspi.CoordType.SCREEN) # 計(jì)算中心點(diǎn)并模擬點(diǎn)擊這里簡化實(shí)際可用pyautogui print(f“Button found at {extents}, but no click action. May need alternative method.”) except Exception as e: print(f“Cannot get component info: {e}”) raise Exception(f“Cannot click button ‘{button_name}’.”) def set_text(self, window, textfield_name, text): 向指定名稱的文本框中輸入文字 textfield self.find_child_by_attributes(window, role‘text’, nametextfield_name) if not textfield: # 有時文本框的role可能是 ‘entry’ textfield self.find_child_by_attributes(window, role‘entry’, nametextfield_name) if not textfield: raise Exception(f“Text field ‘{textfield_name}’ not found.”) # 文本框通常實(shí)現(xiàn)EditableText接口 editable textfield.queryEditableText() if editable: editable.set_text_contents(text) time.sleep(0.3) else: raise Exception(f“Text field ‘{textfield_name}’ is not editable.”) # 全局控制器實(shí)例方便調(diào)用 controller AtspiController()這個封裝類提供了查找應(yīng)用窗口、根據(jù)屬性和角色查找子控件、點(diǎn)擊按鈕和設(shè)置文本的基礎(chǔ)操作。這是整個GUI自動化的基石。4.3 實(shí)現(xiàn)頁面對象模型Page Object以登錄對話框?yàn)槔趐ages/login_dialog.py中from utils.atspi_helper import controller import time class LoginDialog: def __init__(self, main_window): # 假設(shè)登錄對話框是從主窗口的某個按鈕觸發(fā)的 self.main_window main_window # 可以在這里定義控件的定位屬性名稱、角色等便于維護(hù) self.locators { ‘username_input’: {‘role’: ‘text’, ‘name’: ‘用戶名’}, ‘password_input’: {‘role’: ‘password text’, ‘name’: ‘密碼’}, # 密碼框角色可能不同 ‘login_button’: {‘role’: ‘push button’, ‘name’: ‘登錄’}, ‘cancel_button’: {‘role’: ‘push button’, ‘name’: ‘取消’} } self.dialog None def open(self): 從主窗口打開登錄對話框 # 假設(shè)主窗口有一個“登錄”按鈕 controller.click_button(self.main_window, ‘登錄’) time.sleep(1) # 等待對話框彈出 # 查找當(dāng)前活躍的對話框窗口這里簡化處理實(shí)際可能需要更精確的查找 for i in range(controller.desktop.get_child_count()): child controller.desktop.get_child_at_index(i) if child.get_role_name() ‘dialog’: self.dialog child break if not self.dialog: raise Exception(“Login dialog not opened.”) return self def input_credentials(self, username, password): 輸入用戶名和密碼 # 使用封裝的find_child_by_attributes方法 username_field controller.find_child_by_attributes(self.dialog, **self.locators[‘username_input’]) password_field controller.find_child_by_attributes(self.dialog, **self.locators[‘password_input’]) if username_field and hasattr(username_field.queryEditableText(), ‘set_text_contents’): username_field.queryEditableText().set_text_contents(username) if password_field and hasattr(password_field.queryEditableText(), ‘set_text_contents’): password_field.queryEditableText().set_text_contents(password) time.sleep(0.5) return self def click_login(self): 點(diǎn)擊登錄按鈕 login_btn controller.find_child_by_attributes(self.dialog, **self.locators[‘login_button’]) if login_btn: for i in range(login_btn.get_n_actions()): if login_btn.get_action_name(i).lower() ‘click’: login_btn.do_action(i) time.sleep(2) # 等待登錄過程 return True return False def click_cancel(self): 點(diǎn)擊取消按鈕 cancel_btn controller.find_child_by_attributes(self.dialog, **self.locators[‘cancel_button’]) if cancel_btn: for i in range(cancel_btn.get_n_actions()): if cancel_btn.get_action_name(i).lower() ‘click’: cancel_btn.do_action(i) time.sleep(0.5) return True return False頁面對象模型將UI元素定位和操作封裝成類的方法使測試用例腳本更簡潔、更面向業(yè)務(wù)也便于在UI變化時集中修改。4.4 編寫第一個pytest測試用例在cases/test_login.py中import pytest import time from utils.atspi_helper import controller from pages.main_window import MainWindow # 假設(shè)有主窗口頁面類 from pages.login_dialog import LoginDialog class TestLogin: pytest.fixture(scope“class”) def app(self): 啟動被測QT應(yīng)用的夾具 # 這里需要你替換為啟動你的QT應(yīng)用的實(shí)際命令 import subprocess app_process subprocess.Popen([‘/path/to/your/qt_app’]) time.sleep(3) # 等待應(yīng)用啟動 yield # 測試結(jié)束后關(guān)閉應(yīng)用 app_process.terminate() app_process.wait() pytest.fixture def main_window(self, app): 獲取應(yīng)用主窗口的夾具 window controller.find_app_window(“Your QT App Name”) # 替換為你的應(yīng)用窗口名稱 assert window is not None, “Main application window not found!” return window def test_successful_login(self, main_window): 測試成功登錄流程 main_page MainWindow(main_window) login_dialog LoginDialog(main_window).open() login_dialog.input_credentials(“correct_user”, “correct_password”) assert login_dialog.click_login() True # 驗(yàn)證登錄成功例如檢查主界面某個元素出現(xiàn) # welcome_label controller.find_child_by_attributes(main_window, role‘label’, name‘歡迎correct_user’) # assert welcome_label is not None # 這里先打印日志示意 print(“Login successful.”) def test_failed_login_with_wrong_password(self, main_window): 測試密碼錯誤登錄失敗 main_page MainWindow(main_window) login_dialog LoginDialog(main_window).open() login_dialog.input_credentials(“correct_user”, “wrong_password”) assert login_dialog.click_login() True # 點(diǎn)擊了登錄按鈕 time.sleep(1) # 驗(yàn)證出現(xiàn)了錯誤提示框 error_dialog None for i in range(controller.desktop.get_child_count()): child controller.desktop.get_child_at_index(i) if child.get_role_name() ‘a(chǎn)lert’ and ‘錯誤’ in child.get_name(): error_dialog child break assert error_dialog is not None, “Error dialog should appear for wrong password.” # 關(guān)閉錯誤提示框 ok_btn controller.find_child_by_attributes(error_dialog, role‘push button’, name‘確定’) if ok_btn: for i in range(ok_btn.get_n_actions()): if ok_btn.get_action_name(i).lower() ‘click’: ok_btn.do_action(i) print(“Failed login handled correctly.”)這個測試用例展示了如何使用pytest的夾具fixture來管理應(yīng)用生命周期以及如何調(diào)用頁面對象來組織清晰的測試步驟。4.5 集成圖像識別作為后備方案在utils/image_helper.py中我們封裝一個簡單的圖像識別點(diǎn)擊函數(shù)用于處理AT-SPI無法識別的控件。import pyautogui import cv2 import numpy as np import time from PIL import ImageGrab class ImageHelper: def __init__(self, confidence0.9): self.confidence confidence def click_icon(self, icon_path, regionNone, grayscaleTrue): 在屏幕上查找指定圖標(biāo)并點(diǎn)擊其中心。 :param icon_path: 圖標(biāo)圖片路徑 :param region: 搜索區(qū)域 (left, top, width, height)為None時全屏搜索 :param grayscale: 是否轉(zhuǎn)換為灰度圖進(jìn)行匹配通常能提升速度和抗顏色變化能力 :return: 成功點(diǎn)擊返回True否則返回False try: # 讀取圖標(biāo) icon cv2.imread(icon_path, cv2.IMREAD_UNCHANGED) if icon is None: raise ValueError(f“Cannot read icon image from {icon_path}”) # 截取屏幕 screenshot ImageGrab.grab(bboxregion) if region else ImageGrab.grab() screenshot_cv cv2.cvtColor(np.array(screenshot), cv2.COLOR_RGB2BGR) if grayscale: icon_gray cv2.cvtColor(icon, cv2.COLOR_BGR2GRAY) screen_gray cv2.cvtColor(screenshot_cv, cv2.COLOR_BGR2GRAY) method cv2.TM_CCOEFF_NORMED result cv2.matchTemplate(screen_gray, icon_gray, method) else: method cv2.TM_CCOEFF_NORMED result cv2.matchTemplate(screenshot_cv, icon, method) min_val, max_val, min_loc, max_loc cv2.minMaxLoc(result) if max_val self.confidence: # 計(jì)算圖標(biāo)中心點(diǎn) h, w icon.shape[:2] center_x max_loc[0] w // 2 center_y max_loc[1] h // 2 # 移動鼠標(biāo)并點(diǎn)擊 pyautogui.moveTo(center_x, center_y, duration0.2) pyautogui.click() time.sleep(0.5) return True else: print(f“Icon not found. Max confidence: {max_val}”) return False except Exception as e: print(f“Image recognition failed: {e}”) return False # 使用示例 # helper ImageHelper() # helper.click_icon(‘resources/icons/save_button.png’)在測試用例中可以這樣使用后備方案def test_save_with_custom_icon(self, main_window): 測試保存功能保存按鈕是一個自定義圖標(biāo)AT-SPI無法識別 # ... 先進(jìn)行一些操作 # 嘗試用AT-SPI點(diǎn)擊保存按鈕假設(shè)失敗 try: controller.click_button(main_window, ‘保存’) except Exception: print(“Save button not found via AT-SPI, trying image recognition...”) image_helper ImageHelper() success image_helper.click_icon(‘resources/icons/save_icon.png’) assert success, “Failed to click save button even with image recognition.” # ... 后續(xù)驗(yàn)證通過這種主次分明的策略我們構(gòu)建了一個健壯性更強(qiáng)的測試框架。5. 持續(xù)集成與測試報(bào)告生成自動化測試只有融入開發(fā)流程才能發(fā)揮最大價值。我們將測試框架集成到Jenkins中并生成直觀的測試報(bào)告。5.1 使用pytest生成多樣化測試報(bào)告pytest支持多種報(bào)告格式我們可以同時生成HTML報(bào)告和Allure報(bào)告后者更美觀且支持歷史趨勢分析。首先在項(xiàng)目根目錄創(chuàng)建pytest.ini配置文件[pytest] # 指定測試文件的位置和命名規(guī)則 testpaths cases python_files test_*.py python_classes Test* python_functions test_* # 添加命令行默認(rèn)選項(xiàng) addopts -v --htmlreports/report.html --self-contained-html --alluredirreports/allure_results # -v: 詳細(xì)輸出 # --html: 生成HTML報(bào)告 # --alluredir: 生成Allure原始數(shù)據(jù) # 配置日志 log_cli true log_cli_level INFO log_file logs/pytest.log log_file_level INFO運(yùn)行測試時只需執(zhí)行pytest即可在reports/目錄下生成報(bào)告。要查看Allure報(bào)告需要先安裝Allure命令行工具然后生成并打開# 運(yùn)行測試 pytest # 生成Allure報(bào)告需要先安裝allure命令行工具可從官網(wǎng)下載 allure generate reports/allure_results -o reports/allure_report --clean # 打開報(bào)告會啟動一個本地web服務(wù) allure open reports/allure_report5.2 搭建Jenkins持續(xù)集成任務(wù)在麒麟服務(wù)器上安裝Jenkins可以通過Docker或直接安裝War包然后創(chuàng)建一個自由風(fēng)格的任務(wù)。源碼管理配置Git倉庫地址拉取你的測試代碼和被測應(yīng)用如果需要。構(gòu)建觸發(fā)器可以配置定時構(gòu)建如每晚或輪詢SCM代碼有更新時觸發(fā)。構(gòu)建環(huán)境確保Jenkins節(jié)點(diǎn)可以是Master也可以是ARM64的Agent上安裝了所需的Python版本、依賴庫通過pip install -r requirements.txt以及AT-SPI相關(guān)的系統(tǒng)包。構(gòu)建步驟執(zhí)行Shell# 激活Python虛擬環(huán)境如果使用 # source venv/bin/activate # 安裝依賴 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 確保顯示環(huán)境對于無頭headless服務(wù)器需要虛擬顯示 export DISPLAY:99 # 啟動一個虛擬X服務(wù)器例如使用Xvfb Xvfb :99 -screen 0 1920x1080x24 # 等待Xvfb啟動 sleep 3 # 運(yùn)行測試 pytest # 停止Xvfb (可選Jenkins任務(wù)結(jié)束時會清理) # pkill -f “Xvfb”后置步驟添加“Publish HTML reports”插件將reports/report.html發(fā)布到Jenkins界面。也可以添加Allure插件來發(fā)布Allure報(bào)告。構(gòu)建后操作可以配置郵件通知當(dāng)測試失敗時通知相關(guān)人員。踩坑實(shí)錄在無圖形界面的服務(wù)器如麒麟服務(wù)器版上運(yùn)行GUI自動化測試必須配置虛擬顯示服務(wù)器如Xvfb或Xephyr。否則AT-SPI將無法連接到顯示服務(wù)器所有操作都會失敗。另外確保Jenkins用戶有權(quán)限啟動Xvfb和訪問AT-SPI總線通常需要添加到audio、video等用戶組或者直接以有桌面會話的用戶運(yùn)行Jenkins agent。6. 常見問題排查與性能優(yōu)化技巧在實(shí)際部署和運(yùn)行過程中你肯定會遇到各種各樣的問題。這里記錄了一些典型問題的排查思路和優(yōu)化技巧。6.1 AT-SPI控件查找失敗現(xiàn)象find_child_by_attributes返回Noneaccerciser中也看不到控件詳情。排查確認(rèn)應(yīng)用可訪問性支持使用accerciser檢查。如果控件樹為空嘗試設(shè)置環(huán)境變量QT_ACCESSIBILITY1重啟應(yīng)用。對于自己開發(fā)的應(yīng)用確保編譯時添加了-qt-accessibility或?qū)?yīng)CMake選項(xiàng)。檢查控件屬性有時控件的name屬性為空或不是預(yù)期值。嘗試使用role、description或其他屬性組合定位。在accerciser中選中控件查看其“屬性”選項(xiàng)卡中的所有信息。延遲等待控件可能尚未加載完成。在查找前增加time.sleep()或?qū)崿F(xiàn)一個輪詢查找函數(shù)在超時時間內(nèi)不斷嘗試。層級問題控件可能嵌套在復(fù)雜的容器如QML組件、自定義控件中AT-SPI無法穿透。嘗試逐層查找先定位父容器再在其子節(jié)點(diǎn)中查找。6.2 自動化操作導(dǎo)致應(yīng)用卡死或無響應(yīng)現(xiàn)象腳本點(diǎn)擊按鈕或輸入文本后應(yīng)用界面卡住腳本也停止響應(yīng)。排查與解決操作間隔過快的連續(xù)操作可能導(dǎo)致應(yīng)用事件隊(duì)列處理不過來。在關(guān)鍵操作如點(diǎn)擊按鈕打開新窗口、提交表單后增加合理的等待時間time.sleep(1-2)。使用異步等待更好的方法是等待某個條件成立而不是固定睡眠。例如等待某個提示成功的標(biāo)簽出現(xiàn)或者等待窗口標(biāo)題改變。def wait_for_object(parent, **attributes, timeout10): start_time time.time() while time.time() - start_time timeout: obj controller.find_child_by_attributes(parent, **attributes) if obj: return obj time.sleep(0.5) raise TimeoutError(f“Object with attributes {attributes} not found within {timeout} seconds.”)檢查模態(tài)對話框你的操作可能彈出了一個未被腳本捕獲的模態(tài)對話框阻塞了主線程。確保腳本能處理所有可能的彈窗。6.3 在ARM64架構(gòu)上的特殊問題現(xiàn)象在x86上運(yùn)行良好的腳本或工具在ARM64麒麟上安裝失敗或運(yùn)行報(bào)錯。解決依賴庫優(yōu)先使用系統(tǒng)包管理器yum/apt安裝二進(jìn)制包。對于必須從源碼編譯的Python包確保已安裝對應(yīng)架構(gòu)的編譯工具鏈gcc,g,make和頭文件python3-dev。預(yù)編譯輪子wheel許多常用Python包如numpy,opencv-python都提供了ARM64的預(yù)編譯輪子pip會自動選擇。如果下載慢或找不到可以指定國內(nèi)的ARM64鏡像源或者從華為、清華等鏡像站尋找。工具兼容性像scrot、xdotool這類系統(tǒng)工具確保安裝的是ARM64版本。6.4 測試腳本的穩(wěn)定性和可維護(hù)性優(yōu)化使用明確的等待避免硬編碼sleep盡可能使用條件等待WebDriverWait的思想減少因機(jī)器性能差異導(dǎo)致的失敗。為控件定位信息設(shè)置“別名”或“資源文件”將控件的定位屬性如{‘role’: ‘push button’, ‘name’: ‘登錄’}統(tǒng)一管理在一個配置文件中如YAML或JSON當(dāng)UI微調(diào)時只需修改配置文件無需改動大量測試腳本。引入日志記錄使用Python的logging模塊詳細(xì)記錄每個步驟的操作和結(jié)果。當(dāng)測試失敗時詳細(xì)的日志是排查問題的第一手資料?？梢詫⑷罩炯墑e設(shè)置為INFO或DEBUG。實(shí)現(xiàn)失敗截圖功能在pytest的鉤子函數(shù)中如pytest_runtest_makereport當(dāng)測試失敗時截取當(dāng)前屏幕保存這對于調(diào)試圖像識別失敗或界面狀態(tài)異常非常有幫助。測試數(shù)據(jù)驅(qū)動使用pytest.mark.parametrize將測試用例與測試數(shù)據(jù)分離用多組數(shù)據(jù)驅(qū)動同一個測試流程提高用例的覆蓋率和編寫效率。6.5 處理動態(tài)內(nèi)容和自定義控件對于內(nèi)容動態(tài)加載如列表滾動加載或完全自定義繪制的控件AT-SPI和圖像都難以識別可能需要更高級的策略與開發(fā)團(tuán)隊(duì)協(xié)作為關(guān)鍵的自定義控件添加可訪問性屬性或者提供用于測試的專用接口如一個隱藏的、可通過特殊快捷鍵激活的“測試模式”暴露內(nèi)部狀態(tài)。結(jié)合底層接口如果應(yīng)用提供了DBus接口或其他進(jìn)程間通信機(jī)制可以直接通過DBus調(diào)用來觸發(fā)某些操作或獲取狀態(tài)繞過GUI層。這需要開發(fā)端的支持。OCR輔助對于無法直接獲取的文本內(nèi)容可以使用Tesseract等OCR庫從屏幕截圖中識別文字。這可以作為最后的手段因?yàn)槠錅?zhǔn)確率和速度相對較低。構(gòu)建麒麟操作系統(tǒng)上QT應(yīng)用的自動化測試體系是一個需要耐心和不斷調(diào)試的過程。它沒有銀彈核心在于理解AT-SPI的工作原理構(gòu)建一個以它為主、圖像識別為輔的混合框架并通過良好的工程實(shí)踐如頁面對象、條件等待、CI集成來提升腳本的穩(wěn)定性和可維護(hù)性。當(dāng)你的自動化測試套件能夠在無人值守的情況下每晚對最新構(gòu)建的應(yīng)用進(jìn)行全面的回歸測試并生成清晰的報(bào)告時你會發(fā)現(xiàn)所有的投入都是值得的。這不僅提升了產(chǎn)品質(zhì)量也為在國產(chǎn)化平臺上的持續(xù)、快速交付提供了堅(jiān)實(shí)保障。