【摘要】? ? 本文介紹了移動多端自動化測試平臺的建設思路，該平臺實現(xiàn)了對國內(nèi)移動政務服務應用的自動化真機在線測試和智能化測試結(jié)果在線分析，替代傳統(tǒng)人工測試。提供給各級政府在政務服務APP、H5、支付寶小程序、微信小程序等移動渠道研發(fā)、上線、運維過程中，對功能、性能、兼容性、穩(wěn)定性、安全性等全維度測試的能力，并提高軟件質(zhì)量和市場競爭力。文章對自動化測試平臺進行概述，分析了自動化平臺結(jié)構(gòu)設計理念，闡述了自動化平臺設計和實現(xiàn)思路。

【關鍵詞】? ? 自動化? ? 在線測試? ? 軟件質(zhì)量? ? 市場競爭力

一、測試平臺需要解決的問題

目前市場上有部分移動政務APP應用在安裝、啟動、卸載時存在耗時較長，使用過程中出現(xiàn)閃退、卡死等常見的問題;同時，一些軟件病毒、惡意插件、漏洞和敏感數(shù)據(jù)也在嚴重影響用戶信息安全。因此用戶對移動政務服務應用在兼容性、性能、穩(wěn)定性、安全性上面提出了更高的要求。自動化云測平臺可以協(xié)助人工提供這方面的測試能力，很好的彌補了當前測試階段存在幾個典型的痛點：

1.人工測試為主，效率低下：目前政務服務App質(zhì)量團隊的測試手段依然以手工測試為主，人工成本較高。

2.缺乏安全滲透測試技術：政務服務領域內(nèi)研發(fā)團隊主要以面向政務業(yè)務為主，缺乏自動化安全測試的專業(yè)技術。

3.適配機型復雜：傳統(tǒng)測試方式下，無法覆蓋市面上眾多的手機型號。

二、測試平臺功能矩陣

為了解決移動政務服務應用在“性能”、“安全性”、“穩(wěn)定性”、“兼容性”以及功能上的問題，規(guī)范建設者們在移動政務應用建設前、中、后期的專項測試標準，讓不同技術實力的開發(fā)者所開發(fā)的移動政務應用均按統(tǒng)一標準進行測試，為全國移動政務應用開發(fā)領域的健康發(fā)展提供規(guī)范化、自動化的品控服務。測試平臺主要功能矩陣如下：

2.1性能測試

在APP的安裝啟動卸載過程中，檢測APP的安裝卸載時長，啟動時長;在APP運行過程中，實時檢測APP的前端性能數(shù)據(jù)，例如：FPS，流量，電量，內(nèi)存，CPU，上行流量，下行流量等性能。測試人員拿到獲取到的性能可以實時的分析此款APP在測試過程中可能會存在的哪些問題，例如：內(nèi)存泄漏，加載時長過長，流暢度較差，加載圖片過大等一系列問題。移動終端應用，不管是Native還是WebView的應用，對性能要求都非常高，主要是卡頓、耗電、速度這幾個常見關鍵性的指標，而這類測試重復性強，指標路徑固定，自動化測試可以更快捷地完成性能測試任務。

2.2兼容性測試

不同的業(yè)務可能會有不同的適配要求，一般情況下平臺能提供幾百甚至上千臺機器進行測試，包括在不同操作系統(tǒng)（android、ios、鴻蒙，每個還包含多個版本）、不同廠家手機（華為、小米和蘋果等）、不同屏幕尺寸和不同帶寬等方面的測試。

2.3穩(wěn)定性測試

APP的穩(wěn)定性一般通過閃退率、卡頓等可用性指標來衡量。需要通過一定時間內(nèi)的持續(xù)使用或暴力測試來發(fā)現(xiàn)問題。

提到穩(wěn)定性測試大家都會想到用系統(tǒng)自帶的Monkey工具進行測試，此工具既易上手也實用，但運用起來有非常多的講究和技巧，簡單的Monkey工具不一定能完成使命，不能完全測試出應用的穩(wěn)定性情況。很多時候，需要測試開發(fā)人員按照一定規(guī)則自定義智能探索腳本，最大限度覆蓋APP的功能，保證穩(wěn)定性測試的全面性。

2.4功能測試

功能測試一般會通過運行自動測試用例來檢測功能是否符合預期。往往測試結(jié)果是和業(yè)務緊密相關的。

關于功能測試的爭議比較多，因為產(chǎn)品都需要快速迭代，而腳本的穩(wěn)定性、實現(xiàn)時間等成本開銷大，真正發(fā)揮作用也需要不斷地打磨，并且還有很多后期維護成本，所以比較折中的辦法是做一些BVT測試和持續(xù)集成配合，在開發(fā)編譯新的build后直接運行這些核心的BVT用例，以免出現(xiàn)嚴重的Regression/Block問題，日常的工作中選定較小范圍的用例及適合的框架一般就可以解決問題。

2.5安全測試

隨著互聯(lián)網(wǎng)的發(fā)展，手機移動端的普及，移動APP風險漏洞也逐漸暴露出來。

所謂的風險漏洞一般來說是應用代碼編寫過程中出現(xiàn)的安全漏洞、編碼隱患、甚至業(yè)務邏輯上的缺陷。APP風險漏洞往往帶來很多危害，諸如應用內(nèi)信息泄露、本地拒絕服務等多種安全問題，嚴重的可能影響應用正常運行，更為嚴重的是用戶信息泄漏、業(yè)務數(shù)據(jù)被篡改等。

針對以上可能存在的安全問題，APP客戶端內(nèi)部進行了一系列的安全處理機制，用于保障APP的安全使用，保護用戶的個人信息，保證業(yè)務委托的安全可靠。

自動化測試平臺對APP進行基礎信息、數(shù)據(jù)、代碼、組件四個維度的安全測試，可多緯度發(fā)現(xiàn)APP的安全問題。

2.6線上監(jiān)控測試

線上監(jiān)控測試通過對全網(wǎng)渠道的各類APP進行盜版仿冒、惡意違規(guī)等唯獨的監(jiān)測，分析采集的數(shù)據(jù)，精確識別出有問題的應用。

這塊測試方向不應該直接歸屬于傳統(tǒng)的自動化測試范疇，因為它不需要常規(guī)情況下提到的自動化測試框架支持，也不需要開發(fā)測試用例腳本，這里主要是對線上測試數(shù)據(jù)的監(jiān)控，并且利用大數(shù)據(jù)分析進行“自動化”測試，在互聯(lián)網(wǎng)產(chǎn)品中極為適用而且能非常直接地體現(xiàn)產(chǎn)品的質(zhì)量。舉個簡單的例子，通過瀏覽器的網(wǎng)頁瀏覽功能，可以監(jiān)控用戶在瀏覽網(wǎng)頁時有多少個404的頁面;出現(xiàn)瀏覽失敗的網(wǎng)站的地域/DNS是什么等。如此層層過濾，縮小問題排查范圍，提高安全防范效率。

三、系統(tǒng)架構(gòu)

移動多端自動化測試平臺系統(tǒng)架構(gòu)由以下幾部分組成：

1.機柜層：為平臺提供必要的硬件支撐，由若干PC主機連接多臺手機設備組成。

2.環(huán)境配置層：手機和物理主機使用USB接口進行連接，通信過程中依賴 JDK環(huán)境和SDK環(huán)境，完成對手機的調(diào)試工作。

3.框架工具層：Appium是一個移動端自動化測試底層框架，可以測試原生應用以及移動端web項目，該框架是跨平臺的，可以運行在osx、windows以及l(fā)inux桌面系統(tǒng)上。

4.基礎服務層：基于Pycharm腳本語言封裝了一系列的基礎服務組件，如“服務日志”、“文件儲存”、“數(shù)據(jù)儲存”等基礎服務，為上層應用提供能力支撐。

5.能力框架層：該層統(tǒng)一管理自動化測試用戶腳本，實現(xiàn)了多機并行操作，并監(jiān)控手機的空閑狀態(tài)，通過智能遍歷腳本運行獲取過程指標，然后經(jīng)過實時計算輸出業(yè)務層需要的結(jié)果數(shù)據(jù)。

6.業(yè)務能力層：業(yè)務能力層包括性能測試、兼容性測試、功能測試、安全測試、穩(wěn)定性測試、線上監(jiān)控測試，另外該層向上提供相關能力的openAPI，自動生成詳細的可視化測試報告。

四、應用場景

移動多端自動化測試平臺被應用的場景有很多，覆蓋政企、金融、教育、電商等多個行業(yè)。其中自動化成為大家共性的需求，安全性測試視安全等級要求而定，一般金融行業(yè)要求比較高，會涉及到要求人為滲透測試，并借助三方的一些加固工具進行加固。

可以預見未來移動多端自動化測試平臺應用的場景通常解決用戶的需求包括：

4.1用戶挑戰(zhàn)

· 手工測試無法完成量級龐大的測試內(nèi)容;

· 缺乏有效的測試管理流程以及測試效果的把控;

· 缺乏實用易讀的測試報告以及圖形化的管理工具;

· 每次發(fā)布要執(zhí)行的回歸案例量巨大，投入成本高;

· 手機設備沒有有效的管理;

· 客戶需要一套移動端自動化測試用例體系。

4.2用戶收益

· 通過客戶端自動化測試工具，提升測試效率，增加測試覆蓋率;

· 降低大量重復的人力，將有限的精力放在重要的功能測試上;

· 持續(xù)的本地化服務，使得服務質(zhì)量提升;

· 隨著測試需求的復雜度的提升及測試范圍的擴大，可快速完成完整的功能性測試執(zhí)行。

五、結(jié)束語

綜上，本文對移動多端自動化測試平臺的建設背景、相關的功能矩陣及系統(tǒng)架構(gòu)做了簡要的介紹。隨著互聯(lián)網(wǎng)的快速發(fā)展，移動化的普及，以及各種應用場景的訴求提出，自動化測試平臺的建設將在用戶不斷的摸索和實踐過程中得到不斷的優(yōu)化和提升，最終發(fā)揮重要的作用。

參? 考? 文? 獻

[1] 《軟件自動化測試開發(fā)》，2017年1月電子工業(yè)出版社出版;作者鄒輝

[2] 《高效自動化測試平臺：設計與開發(fā)實戰(zhàn)》，2020年6月電子工業(yè)出版社出版;作者徐德晨，茹炳晟

[3] 《Python自動化測試實戰(zhàn)》，2019年電子工業(yè)出版社出版;作者無涯

[4] 《全棧自動化測試實戰(zhàn)――基于TestNG、HttpClient、Selenium和Appium》，2020年4月電子工業(yè)出版社出版;作者盧家濤

[5] 《軟件性能測試、分析與調(diào)優(yōu)實踐之路》，2020年7月1日清華大學出版社出版;作者張永清

王知明（1975.06），男，漢族，江蘇鹽城，大學本科，研究方向：自然語音處理，數(shù)據(jù)挖掘，深度學習;自動化測試技術。