段虎才 中國信息通信研究院泰爾終端實驗室互聯(lián)網(wǎng)與軟件部高級研發(fā)工程師

郭 琛 中國信息通信研究院泰爾終端實驗室互聯(lián)網(wǎng)與軟件部項目經(jīng)理

1 引言

軟件測試是為了確保用戶對于應(yīng)用程序的滿意度而進行的必要程序——通過對軟件產(chǎn)品進行驗證和確認，盡早盡快地發(fā)現(xiàn)軟件產(chǎn)品在整個開發(fā)生命周期中存在的各種缺陷，從而評估軟件的質(zhì)量是否達到可發(fā)布水平。隨著信息技術(shù)的高速發(fā)展，軟件產(chǎn)品更加趨向大型化、復(fù)雜化發(fā)展，軟件開發(fā)也逐漸由混亂無序的開發(fā)過程向結(jié)構(gòu)化開發(fā)過程發(fā)展，人們對軟件的質(zhì)量要求越來越高。隨著軟件開發(fā)的發(fā)展演進，軟件測試相關(guān)的一些基礎(chǔ)理論和實用技術(shù)亦逐漸開始形成，“質(zhì)量”的概念也開始融入軟件測試中，測試不再是單純的發(fā)現(xiàn)錯誤的過程，而是作為軟件質(zhì)量保證的主要職能而存在。

然而與軟件在各行各業(yè)的廣泛應(yīng)用所帶動的軟件工業(yè)快速發(fā)展相比，軟件測試技術(shù)的發(fā)展仍然處于一個較低的水平?，F(xiàn)有的軟件測試技術(shù)及理論和軟件測試工具還無法完全適應(yīng)現(xiàn)代軟件工業(yè)的開發(fā)需要。軟件測試技術(shù)的滯后嚴重影響了軟件項目的開發(fā)進度。很多大型的開發(fā)項目，測試會占據(jù)項目周期一半以上的時間。以微軟的IE4.0為例，代碼開發(fā)時間為6個月，而穩(wěn)定程序花去了8個月的時間。面對應(yīng)用程序的復(fù)雜性增加和交付速度的加快，軟件測試的諸多問題日益凸顯，人們亟需尋求一種更高效的測試方法來應(yīng)對挑戰(zhàn)。隨著測試越來越多地朝著更自動化的方向發(fā)展，我們將目光轉(zhuǎn)向了人工智能（Artificial Intelligence，AI），軟件測試需要它的幫助。

2 AI應(yīng)用于軟件測試的研究

2.1 人工智能概述

圖1展示了人工智能的概貌。什么是人工智能？通俗的說就是模擬和擴展人的智能，讓機器像人一樣有感知、認知以及計算的能力。從技術(shù)上看，人工智能的興起離不開大數(shù)據(jù)、云計算和深度學習等技術(shù)的突破，而就目前來說，人工智能更多的是用機器人來模擬人的多種行為以及能力。當前AI主要依賴機器學習來實現(xiàn)，而在機器學習中，深度學習是最有效的一類算法，目前在深度學習上我們已經(jīng)獲得極大成功，Alpha Go就是一個范例。Alpha Go的出色表演讓人工智能名聲鵲起，而在不久前的全國兩會期間，人工智能被首次寫入政府工作報告，人工智能再次向人們展示出了它的魅力。毫無疑問，人工智能、萬物互聯(lián)是未來趨勢。

圖1 人工智能概貌

2.2 傳統(tǒng)軟件測試痛點

2.2.1 被測產(chǎn)品日趨復(fù)雜

（1）運行場景復(fù)雜。除了操作系統(tǒng)和設(shè)備外，APP還會在各種復(fù)雜的場景中運行。比如說：Wi-Fi、2G、3G、4G等網(wǎng)絡(luò)狀態(tài)，移動或靜止等運動狀態(tài)。這些復(fù)雜的場景都是傳統(tǒng)軟件都未曾面臨的，這些也成為測試的難點。

（2）功能高度復(fù)雜。一款A(yù)PP可能會處理很多傳統(tǒng)軟件所不曾面臨的復(fù)雜信息，比如手勢、GPS坐標、加速度、攝像頭、推送通知、其它互操作設(shè)備、云端存儲、網(wǎng)絡(luò)交互、移動支付等，對這些復(fù)雜信息的處理增加了軟件的復(fù)雜度，也增加了測試的難度。

2.2.2 測試耗時且昂貴

（1）測試工作量大。因為測試不僅僅包括測試用例，還包括測試數(shù)據(jù)、路徑、環(huán)境和應(yīng)用場景、上下文等。這經(jīng)常會導(dǎo)致測試過程中產(chǎn)生序列爆炸、組合爆炸、路徑爆炸等一系列問題。

（2）測試設(shè)備碎片化問題嚴重。長期以來，終端碎片化飽受詬病：設(shè)備繁雜、品牌眾多、版本各異、分辨率不統(tǒng)一等等。這些不僅對開發(fā)造成了巨大的障礙，而且也給測試帶來了高昂的成本。

（3）測試速度慢。目前很多的測試工作還是通過人工來完成，缺少必要的自動化測試，如果需要加快測試速度，只能通過增加成本和精力的投入。除此之外，需求不穩(wěn)定、不清晰或者業(yè)務(wù)邏輯本身就比較復(fù)雜都會增加溝通成本，從而影響測試進度。

（4）測試技術(shù)滯后。在用戶場景下發(fā)生的閃退，還是難以復(fù)現(xiàn)，難以追蹤，仍然是測試人員揮之不去的夢魘?，F(xiàn)有的自動化測試投資回報率不高，層出不窮的軟件新版本，不斷出現(xiàn)的新特性和功能變更，讓測試人員疲于寫測試腳本，相比手工測試，似乎沒有節(jié)省太多的工作量。普通的自動化測試雖然能夠通過機器的模擬能力來進行一些人工重復(fù)性的測試工作，但實際上其投資回報率卻不高，這就導(dǎo)致了傳統(tǒng)自動化測試與手工測試之間的一個尷尬關(guān)系。

2.2.3 測試結(jié)果可靠性低

（1）測試覆蓋不足

正因為測試工作量大，內(nèi)測用戶難以獲取，測試團隊的時間和精力又有限，不能面面俱到，造成測試覆蓋程度不足，測試不足則意味著讓用戶來承擔隱藏錯誤所帶來的危險和損失。因此開發(fā)人員經(jīng)常面臨的一個問題是，產(chǎn)品正式上線后會爆發(fā)出各種在內(nèi)測環(huán)節(jié)所未曾遇到的嚴重的bug。

圖2中呈線性增長的直線代表測試覆蓋面，因為測試中一次只能添加一個測試元素。圖中曲線代表的是測試復(fù)雜度，它呈指數(shù)級增長，因為除了新特性帶來的復(fù)雜度以外，還會有新特性與現(xiàn)有特性相互作用產(chǎn)生的新的復(fù)雜度。中間的灰色區(qū)域就是覆蓋盲區(qū)，當系統(tǒng)越來越復(fù)雜時已達到的測試覆蓋率與實際覆蓋率之間差距越大。由此可見，軟件測試覆蓋面的擴展還有很大提升空間。

（2）測試決策主觀性強

傳統(tǒng)軟件測試不僅需要大量的人力，而且容易出現(xiàn)不準確和不一致的情況。此外，不管是人工還自動化測試總是容易受到無法識別新功能和錯誤等小故障的影響。它只驗證某些區(qū)域，忽略了添加的新功能。

2.3 AI助力解決軟件測試痛點

圖2 測試復(fù)雜度與覆蓋面的關(guān)系

如果傳統(tǒng)軟件測試能夠很好地契合人工智能的特點（大數(shù)據(jù)、云計算和深度學習），那么就可以在很大程度上解決一些之前用其他技術(shù)不能解決的問題。軟件測試在人工智能技術(shù)的幫助下能變得愈發(fā)簡單、快速和可靠。

（1）人工智能幫助測試工作近一步前移，使軟件測試更簡單

使用人工智能技術(shù)，在不運行代碼（一般開發(fā)者的調(diào)試方式都是編譯、運行，查看結(jié)果，然后人工分析代碼）的方式下，通過詞法分析、語法分析、控制流、數(shù)據(jù)流分析等技術(shù)對程序代碼進行掃描，來驗證代碼是否存在問題或滿足技術(shù)指標，相應(yīng)流程如圖3所示。

圖3 AI靜態(tài)分析代碼流程

以數(shù)分鐘之內(nèi)掃描成千上萬行代碼的速率，像人一樣對代碼進行思考，分析代碼存在的問題。將測試工作近一步前移，與開發(fā)相融合，貫穿整個開發(fā)過程，提前規(guī)避產(chǎn)品缺陷，降低后期維護成本。

（2）人工智能幫助自動化測試全面升級，使軟件測試更快速

由于80%的測試都只是簡單地重復(fù)已有的測試內(nèi)容，AI可以更加高效地完成這些重復(fù)性操作，并且使測試流程更加自動化。這樣，測試人員能得以轉(zhuǎn)而去做更人性化、更具創(chuàng)造性的事情，例如創(chuàng)建獨特和創(chuàng)新的測試環(huán)境來識別應(yīng)用程序問題等，而這些正是他們所擅長的。

軟件測試自動化升級大體過程如圖4所示。通過深度學習功能，能夠化解自動化測試想象力不足的缺陷，實現(xiàn)自動計劃測試、執(zhí)行測試、決策診斷測試結(jié)果，讓機器承擔原本只能由人來完成的測試任務(wù)，較為輕易地達到手工和自動化的融合，提升測試的效率。

之前都是測試人員運行測試用例，發(fā)現(xiàn)bug，然后給開發(fā)人員，開發(fā)人員對其診斷決策，然后修復(fù)bug。當引入AI后，流程就變成了：測試人員運行一堆寫好的測試用例，然后發(fā)現(xiàn)bug。AI生成一些可能的診斷，如果只有唯一的診斷結(jié)果，就直接交給開發(fā)者進行修復(fù)。否則的話，AI就會規(guī)劃新一輪的測試來排除診斷結(jié)果直到只有一個。具體過程如圖5所示。

人工智能測試消除了導(dǎo)致低操作效率的業(yè)務(wù)風險，因為基于AI測試可以很容易地適應(yīng)并圍繞產(chǎn)品的所有新路徑和特性進行工作。它維護成本低，可以從測試資產(chǎn)中學習，提供諸如應(yīng)用程序穩(wěn)定性、缺陷熱點、故障模式和故障預(yù)測等智能洞察。這些見解能夠預(yù)測、自動化和增強決策能力，從而在項目生命周期的早期構(gòu)建質(zhì)量。

（3）人工智能幫助進行用戶預(yù)驗證，使軟件測試更可靠

當測試數(shù)據(jù)大量累積，自動化測試配合云計算技術(shù)引入，能夠針對不同領(lǐng)域的應(yīng)用進行用戶角度的預(yù)驗證，并根據(jù)大數(shù)據(jù)分析來提前為迭代變化做準備。

人工智能測試技術(shù)是靈活的。他們會自動發(fā)現(xiàn)產(chǎn)品中的每一個新特性，并對其進行評估，以確定它是一個bug還是一個新特性?；贏I的測試從最終的使用角度分析應(yīng)用，記錄性能。它能在短時間內(nèi)構(gòu)建和執(zhí)行大量的測試用例。

圖5 軟件測試自動化升級具體過程

開發(fā)人員可以在機器中輸入大量數(shù)據(jù)，以測試各種功能。機器可以自行調(diào)整，并學會識別并利用其測試經(jīng)驗，為人類的參與提供建議。測試團隊可以接管并進行部署決策。更重要的是，人工智能將比人類測試人員在許多領(lǐng)域做得更好，因為它會使人為誤差最小化。

3 國內(nèi)外AI軟件測試發(fā)展概況

3.1 國外AI軟件測試發(fā)展概況

（1）King采用AI測試工具測試Candy Crush Saga手機游戲

2016年8月，作為手機游戲下載量連續(xù)排名第一的糖果大戰(zhàn)Candy Crush Saga手機游戲的瑞典開發(fā)商King，采用Monte Carlo樹搜索算法、自動啟發(fā)式構(gòu)建算法、增強拓撲的神經(jīng)元演化算法（Neuro Evolution of Augmenting Topologies，NEAT）來訓(xùn)練 AI測試工具（bots），模擬人類交互能力，完成對Candy Crush Saga游戲的功能測試、穩(wěn)定性測試和性能測試，并評估游戲難度級別，預(yù)測游戲的成功率。要知道這款游戲是當今手機上最大的游戲之一，有1000多個難度級別，在增加新功能或新級別時，如何驗證新增的難度水平與之前級別是平衡的，對測試人員來說，非常有挑戰(zhàn)性。而且這款游戲的用戶越來越多，對游戲質(zhì)量的期望也越來越高，希望游戲非常穩(wěn)定、流暢。

（2）APP diff推出測試機器人

2016年9月，美國的一家初創(chuàng)公司APP diff推出測試機器人，能夠全面分析APP應(yīng)用中的每個界面、元素和操作流，進行性能測試和用戶體驗測試。APP diff的智能機器人可以克服經(jīng)典的測試方法所存在的速度慢、開銷大的問題，具備類似人類的洞察力，就像魔術(shù)一樣快速完成測試，而且具有學習能力，APP應(yīng)用程序測試越多，工具會自動地變得越來越聰明。采用的AI，就可以替換過去腳本的開發(fā)，讓自動化測試進行得更輕松，而且AI能處理的測試輸入，手工是無法相比的。

（3）Bugdojo創(chuàng)建基于AI的測試平臺

2017年4月，總部位于澳大利亞墨爾本的一家初創(chuàng)型公司Bugdojo創(chuàng)建了一個基于AI的測試平臺，該平臺致力于用bot技術(shù)來降低軟件測試的時間和金錢成本，讓軟件測試變得更簡單。Bugdojo的核心是bot，當開發(fā)人員需要測試的時候，只需要在GitHub或Bitbucket綁定的賬戶內(nèi)向Bugdojo授權(quán)，然后輸入相關(guān)的bot指令就可以了，剩下的工作就由Bugdojo來完成。根據(jù)Bugdojo的描述，目前開發(fā)人員需要通過固定的bot指令觸發(fā)bot，然后bot根據(jù)開發(fā)人員提供的素材進行分析，并且依靠人工智能分配最合適的測試人員進行測試，然后將測試結(jié)果+視頻反饋給相關(guān)開發(fā)人員。雖然現(xiàn)在Bugdojo還無法做到完全的智能識別，但他們相信在不久的將來，能讓人機自然語言的對話代替現(xiàn)在的固定指令。

（4）DiffBlue發(fā)布三款A(yù)I軟件測試產(chǎn)品

2017年6月，從牛津大學分拆出來的人工智能初創(chuàng)公司DiffBlue剛剛完成了規(guī)模為2200萬美元的A輪融資，該公司致力于開發(fā)能夠檢查和糾正軟件編碼錯誤的技術(shù)。Diffblue目前已經(jīng)發(fā)布了三款產(chǎn)品，其中一款可以自動檢索計算機程序中的代碼錯誤，代碼錯誤的排查對于軟件開發(fā)來說非常關(guān)鍵，稍有差錯就可能造成安全和金錢的巨大損失，但這個一般由軟件測試人員完成的工作其實非常繁重，而且常被認為是一項低端工作。Diffblue的出現(xiàn)不僅可以大大提升這一流程的準確度和可靠性，也將大量分擔甚至替代人工。Diffblue的另外兩款產(chǎn)品與上述產(chǎn)品相輔相成，其中一款可以在軟件正式發(fā)布后實時監(jiān)測程序中崩潰的漏洞，而另一款產(chǎn)品則可以自動重寫或更新老舊的源代碼，來實現(xiàn)軟件的自動升級。

（5）微軟發(fā)布“AI安全風險檢測”工具

2017年7月，微軟開發(fā)了一套基于云的工具——微軟安全風險檢測（Microsoft Security Risk Detection，以前稱為Project Spring field）。該工具可借助人工智能對即將發(fā)布或已投入使用的軟件進行安全測試，查找追蹤軟件中的錯誤和其他安全漏洞。在軟件發(fā)布之前就找到其中漏洞，可以為企業(yè)省去軟件發(fā)布后再修復(fù)錯誤、處理崩潰或應(yīng)對攻擊等一系列麻煩。

微軟安全風險檢測服務(wù)的獨特之處在于它使用人工智能來提出一系列“假如……會怎樣”的問題，試圖發(fā)現(xiàn)可能觸發(fā)崩潰并引發(fā)安全隱患的因素。每次運行時，它都會重點關(guān)注最為關(guān)鍵的區(qū)域，以尋找其他未采用智能方法的工具可能會忽視的漏洞。

（6）Facebook發(fā)布名為Sapienz的工具

2017年10月，F(xiàn)acebook公布了一款名為Sapienz的工具，實現(xiàn)了這一領(lǐng)域的巨大跳躍。這一工具最初是由倫敦大學學院研發(fā)的，它能夠通過自動測試識別安卓軟件中的漏洞。Sapienz含有一種進化算法，它能夠根據(jù)軟件反應(yīng)做出新的選擇，它的目標就是發(fā)現(xiàn)最大量的故障并且完成最大量的測試，盡可能高效的完成任務(wù)。Sapienz工具只在夜間工作，系統(tǒng)會對計算機編碼進行微小改變，并且檢查這種調(diào)整是否修復(fù)了報告的漏洞。每次代碼運行的反饋信息都用于推斷哪種變化將成為下一次測試的最佳選擇。

早在2015年6月，F(xiàn)acebook還發(fā)布過一款開源AI工具infer。Facebook的Infer是一個靜態(tài)分析工具。Infer可以分析Objective-C、Java或者C代碼，報告潛在的問題。任何人都可以使用Infer檢測應(yīng)用，這可以將那些嚴重的bug扼殺在發(fā)布之前，同時防止應(yīng)用崩潰和性能低下。

3.2 國內(nèi)AI軟件測試發(fā)展概況

（1）阿里Ripper

Ripper是阿里集團基于機器學習開發(fā)的智能AI程序，具備場景判斷能力、自主決策能力，能夠模擬人的操作，例如雙擊、長按、連擊、手勢操作、中文輸入等豐富的動作，測試執(zhí)行速率高達2動作/s，極大提高APP測試效率。此外，Ripper還能夠復(fù)現(xiàn)bug，不需要人工參與，能記憶跑過的路徑,操作便于回溯。Ripper在頁面覆蓋度、bug檢出率上相較傳統(tǒng)Monkey和遍歷程序有明顯優(yōu)勢。

（2）中國信息通信研究院泰爾終端實驗室的智測云測試平臺引入AI技術(shù)

中國信息通信研究院泰爾終端實驗室旗下的智測云測試平臺借助AI技術(shù)搭建起一套完整的APP測試流程，保證自動化測試更加完整和流暢。

首先，系統(tǒng)可以通過訓(xùn)練自動采集APP界面元素數(shù)據(jù)，完成對象識別和分割深度學習模型，支持對任意APP界面截圖，并可根據(jù)模型標記截圖中的界面元素對象，從而解決H5頁面元素的識別問題。

其次，借助AI自動捕獲功能，可以在測試過程中自動檢測APP當前窗口是否屬于權(quán)限窗口，根據(jù)結(jié)果進行處理。也可以自動判斷被測APP所在的頁面是否屬于登錄界面，并自動輸入用戶預(yù)先配置的登錄信息進行自動登錄。

對于需要輸入動態(tài)驗證碼的頁面，預(yù)先收集1.3萬張驗證碼圖片建立數(shù)據(jù)集，通過引入AI，訓(xùn)練該數(shù)據(jù)集后，選取2000張數(shù)據(jù)進行測試，經(jīng)測試驗證識別率達到96%，該模型已經(jīng)投入港航測試腳本中實用。

對于金融行業(yè)自定義動態(tài)鍵盤的識別問題，使用AI技術(shù)對采集的行業(yè)內(nèi)大量的動態(tài)鍵盤圖片數(shù)據(jù)進行訓(xùn)練，得到一個能自動識別動態(tài)鍵盤的模型，使用該模型能幫助我們識別動態(tài)鍵盤上的每一個按鈕內(nèi)容以及位置信息。

此外為了減少測試的人力需求，實現(xiàn)了基于AI的自動化深度遍歷測試，幫助遍歷APP所有的功能，并對遍歷軌跡進行記錄，能探索APP潛在的缺陷，能自動對比新舊版本功能的差異。

4 結(jié)束語

AI軟件測試有據(jù)可依的歷史并不算長，但是由于人工智能在軟件測試中的應(yīng)用日益增多，這些數(shù)據(jù)正在迅速增多，相關(guān)的規(guī)范也會快速形成。就軟件測試中的機器學習而言，機器人的訓(xùn)練速度比人類更快，他們可以成為軟件測試方面的專家。在感知方面，AI可以模擬人的視覺，感知UI控件。在認知方面，AI可以模擬人思考，認知和決策BUG，預(yù)測下一步測試，識別運行場景。在計算方面，AI能夠高速計算，加快測試進程；高量級的記憶存儲使測試操作便于回溯，并且能夠7×24h工作，擴展了測試時間。這些給未來的軟件測試帶來的是更少的工作負載、更精確的操控、更高的測試效率和更連續(xù)化的測試。

人工智能是一場革命。市場會隨著技術(shù)的逐漸成熟與滲透而趨步前行，各個行業(yè)都是如此。而軟件測試作為尋找軟件體系中存在漏洞的重要方式，在人工智能的實際發(fā)展過程中，必須依賴于軟件測試技術(shù)，準確找尋出自身存在的缺陷，繼而對其進行修改和完善，以保證人工智能產(chǎn)業(yè)的健康穩(wěn)固發(fā)展。在此背景下，軟件測試產(chǎn)業(yè)將會得到極大的發(fā)展。雖然目前人工智能在測試領(lǐng)域的應(yīng)用可以說是鳳毛麟角，場景也十分受限，但是隨著人工智能的蓬勃發(fā)展，全面實現(xiàn)軟件測試智能化指日可待。