徐時(shí)懷,陸慧娟,葉敏超,嚴(yán) 珂,金 群

(1.中國計(jì)量大學(xué) 信息工程學(xué)院,浙江 杭州 310018;2.日本早稻田大學(xué) 人間科學(xué)學(xué)術(shù)院,日本 所澤 359-1192)

軟件圖形用戶界面(graphical user interface,GUI)是軟件設(shè)計(jì)中重要的組成部分之一.一個(gè)軟件圖形界面視覺設(shè)計(jì)的好壞主要是由軟件界面的功能配置合理性、操作易用性和美觀程度等方面決定.軟件GUI視覺設(shè)計(jì)的好壞直接影響到用戶體驗(yàn)并且在一定程度上決定軟件是否會被用戶接受并取得市場效益[1].最初的軟件測試往往只注重于測試軟件的功能和性能,而忽視了軟件圖形用戶界面對軟件使用者的重要性[2].隨著互聯(lián)網(wǎng)的普及,軟件測試人員通過測試軟件GUI的視覺設(shè)計(jì)來判斷其是否滿足用戶需求的過程變得越來越重要.軟件界面測試是衡量一個(gè)軟件界面是否滿足用戶需求而進(jìn)行評估的過程,包括界面一致性測試、信息反饋測試和美觀程度測試等.界面一致性測試判斷的是軟件GUI的視覺設(shè)計(jì)是否具有整體性,例如同類數(shù)據(jù)顯示精度是否統(tǒng)一,各控件的對齊方式、輸入界面和輸出界面在外觀、布局和交互方式上是否一致等[3].信息反饋測試要求軟件用戶圖形界面有足夠的輸入檢查和錯(cuò)誤提示功能來確保用戶在操作軟件時(shí)得到及時(shí)的反饋[2].界面美觀程度測試考查的是軟件GUI的色彩舒適度,以及界面布局整潔程度和關(guān)鍵信息突出程度等.本文重點(diǎn)研究軟件GUI的美觀程度的自動評價(jià)算法.過去幾乎所有的軟件GUI測試都是由專業(yè)人員人工完成的,這不僅需要大量的人力而且造成測試不便.此外,隨著圖形用戶界面設(shè)計(jì)行業(yè)的日益興起,用戶的需求將越來越難以滿足,并且要求將更加嚴(yán)格.CHOI等人提出一種自動化測試算法來測試軟件GUI從而提高測試效率和精度[4].Yeh T等人建議在GUI測試中使用計(jì)算機(jī)視覺技術(shù)來實(shí)現(xiàn)GUI測試自動化從而避免人力資源的浪費(fèi)[5].目前,深度神經(jīng)網(wǎng)絡(luò)(deep neural network,DNN)是計(jì)算機(jī)視覺應(yīng)用中最有效的方法之一.所以,本文對比了使用傳統(tǒng)機(jī)器學(xué)習(xí)與基于DNN的圖像分類技術(shù)實(shí)現(xiàn)軟件界面美觀程度的自動測試.

同時(shí),系統(tǒng)被部署到云平臺上供更多用戶方便的使用.使用云計(jì)算平臺進(jìn)行軟件測試有利于按需使用軟硬件資源,降低測試成本,提高測試的效率、靈活性以及便捷性,特別適合于軟件的功能和性能測試[6-7].系統(tǒng)為用戶提供了一個(gè)自動截屏上傳程序來截取各類軟件的圖形界面,大量的屏幕截圖及相關(guān)信息會被自動上傳到云服務(wù)器中.隨后使用兩種不同的圖像分類算法進(jìn)行自動分類:1)傳統(tǒng)的方向梯度直方圖(histogram of oriented gradient,HOG)特征配合支持向量機(jī)(support vector machine,SVM)分類器;2)深度神經(jīng)網(wǎng)絡(luò)模型AlexNet,同時(shí)具備特征提取與分類功能.以上兩種圖像分類模型對計(jì)算機(jī)資源存在巨大的消耗,為滿足計(jì)算性能的需求,系統(tǒng)中的云測試平臺擬采用云服務(wù)器進(jìn)行數(shù)據(jù)存儲、模型訓(xùn)練和運(yùn)行Web服務(wù).云服務(wù)器系統(tǒng)支持各種數(shù)據(jù)處理、計(jì)算模型,滿足不同領(lǐng)域、不同特點(diǎn)的計(jì)算需求,解決了海量界面圖像的存儲問題和兩種圖像分類模型對計(jì)算資源的巨大消耗.

1 系統(tǒng)架構(gòu)

本文的最終目標(biāo)是開發(fā)一套幫助人們評價(jià)軟件GUI視覺設(shè)計(jì)好壞的系統(tǒng),從而讓機(jī)器代替人力去自動完成測試任務(wù).系統(tǒng)的不同部分對應(yīng)了不同的模塊和功能.首先,編寫自動截屏上傳模塊供用戶使用,當(dāng)用戶使用各類軟件時(shí),自動截屏上傳模塊實(shí)時(shí)截取各類軟件的GUI圖像并自動上傳到云服務(wù)器的數(shù)據(jù)庫中.其次,開發(fā)用戶評分系統(tǒng)為數(shù)據(jù)集中的軟件GUI的截屏圖像進(jìn)行評分并標(biāo)記.在模型訓(xùn)練階段,通過存儲在云服務(wù)器上的圖像訓(xùn)練兩個(gè)圖像分類模型,從而得到最終的模型.之后,用戶可以借助兩個(gè)圖像分類模型來自動區(qū)分軟件GUI的美觀程度并標(biāo)記為好或壞.系統(tǒng)架構(gòu)如圖1.

圖1 系統(tǒng)架構(gòu)Figure 1 Architecture of the system

圖1中,系統(tǒng)主要分為兩個(gè)部分:客戶端和云服務(wù)器.客戶端主要由兩個(gè)部分組成,自動截屏上傳模塊和網(wǎng)頁瀏覽器.云服務(wù)器主要由Web服務(wù)器、數(shù)據(jù)庫和圖像分類模型組成.首先,Web服務(wù)器用于向用戶顯示系統(tǒng)的界面并接收用戶請求.其次,數(shù)據(jù)庫用于存儲軟件界面圖像的信息,包括圖像編號、存儲路徑和相應(yīng)的軟件名稱.圖像分類模塊則用來完成GUI圖像的自動分類.屏幕截圖接收模塊和網(wǎng)絡(luò)爬蟲模塊先將圖像存儲到文件系統(tǒng),再將其存入數(shù)據(jù)庫中.兩者的不同之處在于前者接收用戶通過自動截屏程序自動上傳的圖像,而爬蟲模塊從互聯(lián)網(wǎng)的搜索引擎中獲取軟件GUI圖像.

2 HOG+SVM分類模型

HOG特征是一種在計(jì)算機(jī)視覺和圖像處理中用來進(jìn)行物體檢測的特征描述子.它與其它的圖像幾何特征的不同之處在于HOG不從圖像的整體去考慮其特征,而是將圖像劃分為多個(gè)小的細(xì)胞單元(cell),每個(gè)細(xì)胞單元由8×8個(gè)像素點(diǎn)構(gòu)成一塊連通區(qū)域,然后計(jì)算和統(tǒng)計(jì)所有細(xì)胞單元中各像素點(diǎn)的梯度方向直方圖來構(gòu)成特征[8].作為一種經(jīng)典的圖像分類算法,HOG特征結(jié)合SVM分類器已經(jīng)被廣泛應(yīng)用于圖像分類中,尤其在行人檢測和圖像識別方面獲得了極大的成功.

2.1 HOG特征提取

HOG算法流程如圖2.

圖2 HOG算法流程圖Figure 2 Flowchart of the HOG algorithm

圖2中,首先調(diào)整輸入的軟件GUI圖像的尺寸,然后再把彩色GUI圖像轉(zhuǎn)換為灰度圖像,然后利用γ壓縮公式標(biāo)準(zhǔn)化γ空間和顏色空間,γ可以取1/2.如式(1)

I(x,y)=I(x,y)γ.

(1)

然后計(jì)算圖像梯度,圖像中像素點(diǎn)(x,y)的梯度如下式

Gx(x,y)=H(x+1,y)-H(x-1,y),

(2)

Gy(x,y)=H(x,y+1)-H(x,y-1).

(3)

式(2)、(3)中Gx(x,y),Gy(x,y),H(x,y)分別表示輸入圖像中像素點(diǎn)處的水平方向梯度、垂直方向梯度和像素值.像素點(diǎn)處的梯度幅值和梯度方向分別為式(4)和式(5)

(4)

(5)

然后為每個(gè)細(xì)胞單元構(gòu)建梯度方向直方圖,再把細(xì)胞單元組合成大的塊(block),塊內(nèi)歸一化梯度直方圖,最后將檢測窗口中所有重疊的塊進(jìn)行HOG特征的收集,并將它們組合成最終的特征向量供分類器使用.

2.2 SVM分類器

SVM是基于一個(gè)線性的判別函數(shù)流行的分類器.它非常適合用于二進(jìn)制分類并一直廣泛地應(yīng)用在關(guān)于圖像識別和數(shù)據(jù)挖掘的研究中[9].SVM具有如下特點(diǎn).

1)通過降維的方式,將非線性的問題轉(zhuǎn)化為線性問題,最終決策函數(shù)也是僅由少數(shù)的幾個(gè)支持向量確定的,計(jì)算的復(fù)雜度只和支持向量的數(shù)目有關(guān),和樣本空間的實(shí)際維數(shù)無關(guān),也是支持向量機(jī)能有效地解決“維災(zāi)難”問題的原因[10].

2)支持向量機(jī)解決的是一個(gè)凸二次規(guī)劃的Lagrange對偶問題,如此就能避免局部最優(yōu)解[11].

3)SVM實(shí)現(xiàn)的是結(jié)構(gòu)風(fēng)險(xiǎn)最小化,能在給定數(shù)據(jù)逼近精度與逼近函數(shù)復(fù)雜度之間尋求一個(gè)折中點(diǎn),獲得更好的推廣能力.

HOG+SVM是傳統(tǒng)的機(jī)器學(xué)習(xí)算法，其速度和效果綜合平衡性能較好.在本系統(tǒng)中,首先輸入訓(xùn)練集圖像,隨后對圖像進(jìn)行預(yù)處理,再通過HOG算法提取圖像的特征,然后將這些特征文件和標(biāo)簽輸入到SVM進(jìn)行訓(xùn)練,訓(xùn)練之后用測試集進(jìn)行測試.具體流程如圖3.

圖3 HOG+SVM算法流程圖Figure 3 Flowchart of the HOG+SVM algorithm

首先利用網(wǎng)絡(luò)爬蟲爬取549幅軟件GUI圖像作為實(shí)驗(yàn)數(shù)據(jù)集,并打上標(biāo)簽.再隨機(jī)抽取其中449幅圖像作為訓(xùn)練集,隨后再對這些訓(xùn)練集進(jìn)行預(yù)處理,預(yù)處理的流程包括尺寸調(diào)整和歸一化.系統(tǒng)把訓(xùn)練集中的所有樣本都調(diào)整為128×128像素的圖像,然后再定義8×8為一個(gè)塊進(jìn)行直方圖特征提取，并將這些特征文件和標(biāo)簽輸入到線性SVM中進(jìn)行訓(xùn)練得到最終模型.最后用余下的100幅利用網(wǎng)絡(luò)爬蟲爬取的圖像作為測試集進(jìn)行測試,得到最終的分類精度.

3 AlexNet分類模型

3.1 AlexNet分類模型

深度學(xué)習(xí)是基于人工神經(jīng)網(wǎng)絡(luò)的一個(gè)機(jī)器學(xué)習(xí)方向.其主要包括卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)和深度信念網(wǎng)絡(luò)[12-14].許多基于卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network,CNN)的網(wǎng)絡(luò)模型在圖像分類、檢測分割和其他方向上有著廣泛的應(yīng)用[15-17].AlexNet就是關(guān)于深度學(xué)習(xí)的一個(gè)經(jīng)典模型,AlexNet是2012年由多倫多大學(xué)的Alex Krizhevsky等人提出的深層神經(jīng)網(wǎng)絡(luò)模型[12].該模型在海量圖像分類領(lǐng)域取得了突破性的成果[15],其在2012年的ImageNet大規(guī)模視覺識別競賽(ImageNet large scale visual recognition competition,ILSVRC)中Top5的錯(cuò)誤率是17%,大大提高了圖像識別的準(zhǔn)確性.

AlexNet模型的結(jié)構(gòu)如圖4,該模型共有8層網(wǎng)絡(luò)結(jié)構(gòu),包括5個(gè)卷積層和3個(gè)全連接層.AlexNet模型與基本的CNN模型的不同之處在于AlexNet模型在準(zhǔn)確性和泛化性方面做了如下改進(jìn):

1)為數(shù)據(jù)集引入數(shù)據(jù)增強(qiáng)來減少模型的過擬合;

2)使用ReLU函數(shù)作為激活函數(shù)來提高訓(xùn)練速度,而不是傳統(tǒng)的Sigmoid函數(shù);

3)添加LRN(局部響應(yīng)標(biāo)準(zhǔn)化)層來提高訓(xùn)練精度;

4)使用Overlap Pooling作為池化層來提高訓(xùn)練精度和減少模型的過擬合;

5)使用Dropout訓(xùn)練方法來減少模型的過擬合.

圖4 AlexNet模型Figure 4 AlexNet model

在模型訓(xùn)練方面,AlexNet使用反向傳播算法訓(xùn)練模型的參數(shù),并使用多GPU并行訓(xùn)練來提高訓(xùn)練速度.AlexNet的出現(xiàn)極大地提高了ILSVRC的圖像分類精度,并且與傳統(tǒng)的圖像分類算法相比具有明顯的優(yōu)勢.

3.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)是運(yùn)用已有的知識對不同但相關(guān)領(lǐng)域問題進(jìn)行求解的一種機(jī)器學(xué)習(xí)方法,其目標(biāo)是完成知識在相關(guān)領(lǐng)域之間的遷移.對于卷積神經(jīng)網(wǎng)絡(luò)而言,遷移學(xué)習(xí)就是要把在特定數(shù)據(jù)集上訓(xùn)練得到的“知識”成功運(yùn)用到新的領(lǐng)域之中[18].例如,Hoo-Chang等人用胸腹淋巴結(jié)數(shù)據(jù)集微調(diào)從自然圖像數(shù)據(jù)集上預(yù)訓(xùn)練的CNN模型應(yīng)用于醫(yī)學(xué)領(lǐng)域中胸腹淋巴結(jié)圖像檢測任務(wù)[19]并取得了很好的效果.

考慮到軟件GUI數(shù)據(jù)樣本量小,而AlexNet網(wǎng)絡(luò)參數(shù)眾多,需要大量的訓(xùn)練樣本,否則極易造成過擬合.因此,本文根據(jù)遷移學(xué)習(xí)的思想,利用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練完畢的AlexNet網(wǎng)絡(luò)在軟件GUI圖像數(shù)據(jù)集上進(jìn)行遷移訓(xùn)練,保留預(yù)訓(xùn)練模型的全部卷積層參數(shù),微調(diào)最后三層全連接層,使AlexNet網(wǎng)絡(luò)能夠適應(yīng)對軟件GUI圖像的分類以保證深度神經(jīng)網(wǎng)絡(luò)模型AlexNet能夠在數(shù)據(jù)樣本量小的情況下獲得好的檢測效果并避免了重復(fù)的大規(guī)模計(jì)算.深度學(xué)習(xí)模型在性能上大大超過了傳統(tǒng)的機(jī)器學(xué)習(xí)模型,同時(shí)深度學(xué)習(xí)模型對圖像的幾何學(xué)和光學(xué)的形變都保持了良好的不變性.

4 系統(tǒng)部署和實(shí)驗(yàn)結(jié)果

本系統(tǒng)只對軟件的GUI做出“美觀”和“欠美觀”的分類.普通用戶可以訪問Web服務(wù)器上傳軟件GUI圖像并且使用兩種圖像分類模型對軟件GUI圖像進(jìn)行自動評估并得到測試結(jié)果.后臺標(biāo)記人員可以檢查并更改數(shù)據(jù)庫中錯(cuò)誤的系統(tǒng)測試結(jié)果并保存以便管理員利用這些圖像對模型進(jìn)行多次訓(xùn)練.

4.1 系統(tǒng)部署

該系統(tǒng)所需的硬件和軟件包括云服務(wù)器和多個(gè)組件.系統(tǒng)中每個(gè)模塊所需的工具和環(huán)境如下所示:

4.1.1 云服務(wù)器

PHP 7.0.11:PHP(Hypertext Preprocessor)是一種通用的輕量級的開源腳本語言,是動態(tài)嵌入在HTML中的,它預(yù)先設(shè)置了連接數(shù)據(jù)庫的可變函數(shù).與其他編程語言相比,PHP具有更好的開發(fā)小型Web項(xiàng)目的能力.此外,配置PHP環(huán)境相對方便,可以節(jié)省大量時(shí)間.

MySQL 5.7.14:MySQL是一種關(guān)系型數(shù)據(jù)庫管理系統(tǒng),它將數(shù)據(jù)保存在不同的表中，具有更快、更靈活的特點(diǎn).MySQL是輕量級開源軟件,擁有更好的性能,因此許多中小型網(wǎng)站都選擇它作為數(shù)據(jù)庫管理系統(tǒng).

Apache 2.4.23:Apache HTTP服務(wù)器是一個(gè)開源的Web服務(wù)器,能在大多數(shù)操作系統(tǒng)中安全地被使用.它的響應(yīng)速度快且安全,并且支持多種編程語言,例如Perl和Python.

Wamp Server 3.0.6:因?yàn)樾枰赪indows系統(tǒng)中配置Apache,MySQL和PHP的運(yùn)行環(huán)境,所以選擇Wamp Server這個(gè)可以將這些模塊集成在一起的軟件.它的啟動、刷新和關(guān)閉非常方便,并且還支持?jǐn)U展Python解釋器.

FileZilla Server 0.9.60.2:本文選擇FileZilla服務(wù)器0.9.60.2來設(shè)置一個(gè)FTP服務(wù)器用來存儲上傳的軟件GUI圖像.

4.1.2 模型實(shí)現(xiàn)輔助組件

Python 3.5&Pycharm:Python是目前人工智能領(lǐng)域使用最廣泛的語言,它可以通過少量代碼來訓(xùn)練和使用深度學(xué)習(xí)模型.Pycharm是用于Python編程的完全免費(fèi)的IDE,它可以給用戶帶來良好的使用體驗(yàn).

Tensorflow-GPU 1.4:Tensorflow是本系統(tǒng)中用來實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)模型的框架.GPU版本的Tensorflow將極大地減少訓(xùn)練和測試的時(shí)間.

CUDA 8.0 & CuDNN 6.0:借助CUDA(Compute Unified Device Architecture),系統(tǒng)的圖像分類模型將在GPU上具有更好的性能.CuDNN(CuDA? Deep Neural Network library)可以優(yōu)化神經(jīng)網(wǎng)絡(luò)的部分操作,例如匯集、卷積等.CuDNN 6.0與CUDA 8.0相匹配.

4.1.3 客戶端實(shí)現(xiàn)自動截屏和上傳圖像

1)安卓端

Android截屏功能調(diào)用了MediaProjectionManagerApi來實(shí)現(xiàn),通過調(diào)用createVirtualDisplay做準(zhǔn)備工作,然后創(chuàng)建一個(gè)Bitmap,將圖像存入文件中.程序中采用一個(gè)繼承于Application的共享類來共享返回值,可在MainActivity中開啟服務(wù),接著創(chuàng)建懸浮窗口和獲取屏幕信息,然后監(jiān)聽點(diǎn)擊事件調(diào)用截屏方法.截屏后,截屏圖像信息直接使用JDBC寫入服務(wù)器的數(shù)據(jù)庫中.而截屏圖像文件通過FTP上傳至服務(wù)器,本文采用FTPClient進(jìn)行實(shí)現(xiàn).首先創(chuàng)建FTPClient的實(shí)例,然后連接FTP服務(wù)器,登錄嘗試,接著獲取返回碼,若登錄成功就設(shè)置上傳的目錄,最后上傳文件到指定的目錄.

2)PC端

PC端的截屏功能和自動上傳圖像功能使用C#語言,在微軟公司的Visual Studio 2017開發(fā)工具上完成.自動截圖模塊調(diào)用了.NET類庫中的System.Drawing命名空間下的Bitmap類和Graphics類來實(shí)現(xiàn).自動上傳圖像功能利用了FTP協(xié)議連接服務(wù)器端的Filezilla Server實(shí)現(xiàn)自動上傳圖像功能并同時(shí)寫入服務(wù)器數(shù)據(jù)庫,它調(diào)用了.Net類庫中的System.Net命名空間下的FtpWebRequest類和WebClient類來實(shí)現(xiàn).

4.2 實(shí)驗(yàn)結(jié)果

系統(tǒng)通過網(wǎng)絡(luò)爬蟲得到實(shí)驗(yàn)數(shù)據(jù)集,共549幅軟件GUI圖像.本文邀請了不同年齡段的10位軟件用戶，分別從軟件GUI的色彩舒適度、界面布局整潔程度和關(guān)鍵信息突出程度這三個(gè)方面，對截屏圖像進(jìn)行評分,每個(gè)方面的評分范圍為0到5分,分?jǐn)?shù)越高則表示這個(gè)方面的效果越好.當(dāng)所有用戶評分完畢后,根據(jù)式(6)計(jì)算每個(gè)軟件GUI圖像的平均得分.

(6)

式(6)中的xij代表第i位評分人對于當(dāng)前的軟件GUI圖像的第j個(gè)方面的評分,如x31代表第三位評分者對于軟件GUI的色彩舒適度的評分,n代表被邀請參加測評的軟件用戶人數(shù).隨后根據(jù)式(7)標(biāo)記數(shù)據(jù)集中的GUI圖像.

(7)

式(7)中的y代表標(biāo)簽類型,若樣本的y值等于1則將其標(biāo)記為正類(美觀)樣本;若樣本的y值等于0則將其被標(biāo)記為負(fù)類(欠美觀)樣本.最后將549幅圖像分成正類樣本和負(fù)類樣本.正類樣本具有色彩舒適度好、布局合理和關(guān)鍵信息突出等特點(diǎn),具有好的視覺效果,而負(fù)類樣本的美觀程度就相對較差.正類樣本和負(fù)類樣本的例子如圖5.

圖5 正類樣本和負(fù)類樣本樣例Figure 5 Examples of positive and negative dataset

然后，隨機(jī)抽取數(shù)據(jù)集中的449幅軟件GUI圖像作為訓(xùn)練集,訓(xùn)練集中含有335幅正類樣本和114幅負(fù)類樣本.余下的100幅軟件GUI圖像則作為測試集,其中正類樣本有40幅,負(fù)類樣本有60幅.訓(xùn)練集與測試集彼此獨(dú)立,如表1.

表1 數(shù)據(jù)集Table 1 Dataset

首先得到HOG+SVM模型的實(shí)驗(yàn)結(jié)果,如表2.

表2 HOG+SVM模型實(shí)驗(yàn)結(jié)果Table 2 Training results of the HOG+SVM model

本文使用Scikit-Learn學(xué)習(xí)庫中的SVC方法實(shí)現(xiàn)SVM分類器,核函數(shù)類型為線性核,其關(guān)鍵參數(shù)為正則化參數(shù)C.參數(shù)C用來權(quán)衡樣本分類的正確性與決策邊界間距的最大化問題.對于較大的C,如果決策函數(shù)能更加準(zhǔn)確地分類所有的訓(xùn)練樣本,則接受較小的間距.反之,較低的C鼓勵更大的間距.通過參數(shù)網(wǎng)格交叉驗(yàn)證,得出最優(yōu)參數(shù)為C=1.實(shí)驗(yàn)中測試精度的定義為

(8)

式(8)中TP表示結(jié)果為正確肯定(true positive,TP)的樣本個(gè)數(shù),在本文中代表預(yù)測為美觀樣本,實(shí)際也為美觀樣本的GUI圖像數(shù)量.TN表示結(jié)果為正確否定(true negative,TN)的樣本個(gè)數(shù),文中代表預(yù)測為欠美觀樣本,實(shí)際也為欠美觀樣本的GUI圖像數(shù)量.FP表示結(jié)果為錯(cuò)誤肯定(false positive,FP)的樣本個(gè)數(shù),文中代表預(yù)測為美觀樣本,實(shí)際為欠美觀樣本的GUI圖像數(shù)量.FN表示結(jié)果為錯(cuò)誤否定(false negative,FN)的樣本個(gè)數(shù),文中代表預(yù)測為欠美觀樣本,實(shí)際為美觀樣本的GUI圖像數(shù)量.最終HOG+SVM這種傳統(tǒng)的機(jī)器學(xué)習(xí)算法的測試精度為82%.隨后,得到了AlexNet模型的實(shí)驗(yàn)數(shù)據(jù),如表3.

表3 AlexNet模型實(shí)驗(yàn)結(jié)果Table 3 Training results of AlexNet model

AlexNet深度模型的測試精度達(dá)到了95%.實(shí)驗(yàn)結(jié)果表明,AlexNet模型的準(zhǔn)確性和性能相比于HOG+SVM模型有了顯著的提高.并且AlexNet模型通過多次的訓(xùn)練,該模型的測試精度不斷地上升.而傳統(tǒng)的機(jī)器學(xué)習(xí)模型HOG+SVM的測試精度一直穩(wěn)定在82%,并沒有顯著的提高.這也是深度學(xué)習(xí)模型相比于傳統(tǒng)的機(jī)器學(xué)習(xí)模型的一個(gè)顯著優(yōu)勢.體現(xiàn)了深度學(xué)習(xí)模型在GUI測試中的應(yīng)用能力比較傳統(tǒng)的機(jī)器學(xué)習(xí)模型有著更好的泛化性和穩(wěn)健性等特點(diǎn).

系統(tǒng)為用戶提供了自動截屏上傳模塊,以便用戶截取軟件界面圖像并自動上傳到云服務(wù)器中.自動截屏上傳模塊如圖6.

圖6 PC端自動截屏上傳模塊Figure 6 Automatic screen-shoot module on PC

此外,用戶可以輸入云服務(wù)器的URL地址進(jìn)入到服務(wù)器登錄界面中注冊個(gè)人賬號并登錄.云服務(wù)器的登錄界面如圖7.

圖7 服務(wù)器登錄界面Figure 7 Login interface of the server

用戶可以選擇以使用者的身份或者標(biāo)記者的身份進(jìn)入服務(wù)器系統(tǒng).在模型訓(xùn)練階段,軟件用戶以標(biāo)記者的身份進(jìn)入評分系統(tǒng)對待標(biāo)記的軟件界面圖像進(jìn)行評分,評分系統(tǒng)如圖8.

圖8 軟件GUI評價(jià)系統(tǒng)Figure 8 Marking system of the software’s GUI

待模型訓(xùn)練完畢后,用戶可以選擇以使用者的身份進(jìn)入服務(wù)器并通過映像名稱查找軟件GUI圖像并選擇HOG+SVM模型或AlexNet模型來測試軟件GUI并輸出結(jié)果.測試結(jié)果如圖9.

圖9 GUI預(yù)測結(jié)果Figure 9 GUI predict results

管理員用戶可以進(jìn)入云服器來訓(xùn)練HOG+SVM模型和AlexNet模型.

5 結(jié)語

構(gòu)建了一個(gè)基于云平臺的軟件界面自動測試系統(tǒng)并使用HOG+SVM和AlexNet這兩種強(qiáng)大的圖像分類模型進(jìn)行軟件GUI自動化測試.系統(tǒng)可以提高軟件GUI測試的效率,減少手動測試的工作量.實(shí)驗(yàn)結(jié)果表明,在GUI圖像測試方面,基于DNN的AlexNet模型比傳統(tǒng)的機(jī)器學(xué)習(xí)模型HOG+SVM的測試精度更高.今后,將進(jìn)一步提高系統(tǒng)的GUI自動化測試能力.同時(shí),將收集更多樣本來訓(xùn)練HOG+SVM模型和AlexNet模型,以提高軟件GUI的分類準(zhǔn)確性.