摘 要：在GUI可視化測(cè)試腳本中一般將目標(biāo)控件圖像作為點(diǎn)擊動(dòng)作的參數(shù)。在單個(gè)攝像機(jī)錄制環(huán)境下構(gòu)建GUI可視化測(cè)試腳本時(shí)，存在點(diǎn)擊動(dòng)作的目標(biāo)控件圖像獲取準(zhǔn)確率低的問題。為此，提出了一種基于深度排序?qū)W習(xí)的點(diǎn)擊動(dòng)作參數(shù)獲取方法。在本方法中，利用計(jì)算機(jī)視覺技術(shù)來提取視頻中指尖移動(dòng)和屏幕變化等特征以獲取更準(zhǔn)確的用戶與設(shè)備交互的觸控區(qū)域，將該區(qū)域內(nèi)包含的控件作為排序?qū)ο?，使用深度排序?qū)W習(xí)算法對(duì)這些候選控件進(jìn)行評(píng)分和排序，確保最符合預(yù)期的控件被選中作為點(diǎn)擊目標(biāo)控件。實(shí)驗(yàn)結(jié)果表明，使用該方法在單攝視頻中獲取點(diǎn)擊動(dòng)作參數(shù)具有較高的準(zhǔn)確率。

關(guān)鍵詞：GUI測(cè)試；可視化腳本；目標(biāo)控件定位；計(jì)算機(jī)視覺；深度學(xué)習(xí)；排序?qū)W習(xí)

中圖分類號(hào)：TP311文獻(xiàn)標(biāo)識(shí)碼：A

Script Recording Method for Action Parameter Acquisition

Based on Deep Learning and Learning to Rank

WANG Pengyu， QIAN Ju

（College of Computer Science and Technology， Nanjing University of Aeronautics

and Astronautics， Nanjing， Jiangsu 210016， China）

Abstract：In GUI visualization test scripts， the target control image is typically used as a parameter for the click action. When creating GUI visualization test scripts in a single camera recording environment， there is a challenge in achieving high accuracy when capturing target control images for click actions. A method for acquiring click action parameters based on deep learning and learning to rank algorithms is proposed to address the aforementioned issues. This method utilizes computer vision technology to extract features such as fingertip movement and screen changes in videos， enabling more accurate determination of touch areas for user device interaction. The controls in this area are used for sorting objects， and deep learning and learning to rank algorithms are employed to score and arrange these candidate controls to ensure that the most relevant control is selected as the target for clicking. The experimental results demonstrate that utilizing this method to acquire click action parameters in single shot videos yields high accuracy.

Key words：GUI testing;visual script; target control location; computer vision; deep learning; learning to rank

GUI測(cè)試[1]對(duì)于確保軟件界面的正確性、功能的可靠性以及用戶體驗(yàn)的良好性起著關(guān)鍵作用。自動(dòng)化的GUI測(cè)試可以顯著提高測(cè)試效率，同時(shí)減少人力資源和時(shí)間投入，使得軟件測(cè)試過程更加高效和可靠。

腳本自動(dòng)錄制是實(shí)現(xiàn)自動(dòng)化GUI測(cè)試[2]的關(guān)鍵步驟。在這個(gè)過程中，自動(dòng)化測(cè)試工具可以將人工測(cè)試視頻轉(zhuǎn)化為可視化測(cè)試腳本，這些腳本與視頻中的操作一一對(duì)應(yīng)。然后，可以根據(jù)這些腳本按照指令順序執(zhí)行，模擬人類進(jìn)行測(cè)試的過程。如果腳本錄制時(shí)出現(xiàn)錯(cuò)誤，就會(huì)直接影響測(cè)試結(jié)果的準(zhǔn)確性。在腳本錄制過程中，獲取點(diǎn)擊動(dòng)作的參數(shù)是其中一個(gè)較為困難的方面，尤其是在基于攝像頭的非侵入式腳本錄制中，如RoScript[4]方法和RoScript3D[5]方法。因?yàn)樾枰谝曨l中精確識(shí)別和定位點(diǎn)擊目標(biāo)控件，這對(duì)準(zhǔn)確度提出了較高的要求。

RoScript方法中，對(duì)測(cè)試人員設(shè)定特定的操作要求，將視頻中最高的指尖坐標(biāo)作為點(diǎn)擊位置，并獲取目標(biāo)控件的圖像。而RoScript3D方法則利用額外的深度相機(jī)來輔助獲取手與設(shè)備的接觸情況，取接觸時(shí)的指尖坐標(biāo)作為點(diǎn)擊位置，并獲取目標(biāo)控件的圖像。

上述點(diǎn)擊動(dòng)作參數(shù)獲取的方法存在兩個(gè)主要問題：一是使用額外相機(jī)輔助獲取點(diǎn)擊位置，增加了錄制復(fù)雜程度；二是設(shè)定一定操作要求，僅使用最高指尖坐標(biāo)來獲取目標(biāo)控件圖像，準(zhǔn)確率較低。若測(cè)試人員在錄制過程中指尖稍微超出點(diǎn)擊控件區(qū)域，就會(huì)導(dǎo)致參數(shù)獲取失敗。

針對(duì)以上問題，提出了一種基于深度排序?qū)W習(xí)的點(diǎn)擊動(dòng)作參數(shù)獲取方法，在單個(gè)攝像機(jī)拍攝環(huán)境中，利用計(jì)算機(jī)視覺技術(shù)來提取視頻中指尖移動(dòng)和屏幕變化等特征以獲取用戶與設(shè)備交互的觸控區(qū)域，使用深度排序?qū)W習(xí)算法對(duì)觸控區(qū)域內(nèi)若干個(gè)控件進(jìn)行評(píng)分和排序，最終將獲取的控件圖像作為點(diǎn)擊動(dòng)作的參數(shù)。

通過利用指尖移動(dòng)和屏幕變化特征，可以更準(zhǔn)確地確定用戶與設(shè)備交互的觸控區(qū)域。深度排序?qū)W習(xí)[6]算法能夠?qū)τ|控區(qū)域內(nèi)的若干個(gè)控件進(jìn)行特征提取并排序，確保最符合預(yù)期的控件被選中作為目標(biāo)控件。這種利用深度排序?qū)W習(xí)的智能化方法能夠有效地提高點(diǎn)擊動(dòng)作參數(shù)的獲取準(zhǔn)確度，從而提升自動(dòng)化GUI測(cè)試的準(zhǔn)確性和可靠性。

本文的貢獻(xiàn)如下：

（1）分析總結(jié)了現(xiàn)有方法在視頻中獲取點(diǎn)擊動(dòng)作參數(shù)所存在的問題，并確定了改進(jìn)方案。

（2）提供了一種準(zhǔn)確、可靠的方法來獲取點(diǎn)擊動(dòng)作的參數(shù)，為GUI測(cè)試的自動(dòng)化提供更準(zhǔn)確的腳本錄制方法。

1 問題定義與總體思路

非侵入式GUI測(cè)試腳本錄制方法是將一個(gè)人工GUI測(cè)試視頻轉(zhuǎn)換為對(duì)應(yīng)的可視化測(cè)試腳本，其主要分為以下幾個(gè)步驟：

（1）動(dòng)作分組：將整個(gè)測(cè)試視頻分割為多個(gè)獨(dú)立的動(dòng)作視頻段；

（2）交互動(dòng)作識(shí)別：從分割后的視頻中準(zhǔn)確地識(shí)別每個(gè)動(dòng)作的類型，例如點(diǎn)擊、滑動(dòng)或輸入等；

（3）動(dòng)作參數(shù)確定：針對(duì)不同類型的動(dòng)作，獲取相應(yīng)的參數(shù)信息。例如，對(duì)于點(diǎn)擊動(dòng)作，獲取目標(biāo)控件圖像等參數(shù)。

然而，本研究專注于改進(jìn)點(diǎn)擊動(dòng)作參數(shù)獲取的準(zhǔn)確性，希望提供一種準(zhǔn)確的、可靠的方法來獲取點(diǎn)擊動(dòng)作的參數(shù)，從而為GUI測(cè)試的自動(dòng)化提供更準(zhǔn)確的腳本錄制方法。

由于測(cè)試人員執(zhí)行點(diǎn)擊動(dòng)作時(shí)可能存在不精確的情況，使得準(zhǔn)確捕捉點(diǎn)擊位置變得困難，導(dǎo)致無法獲取有效的目標(biāo)控件圖像。這是因?yàn)槿说闹父购椭讣庵g存在一定的弧形距離，通常人們使用指腹與設(shè)備進(jìn)行接觸，而指尖位置通常會(huì)高于實(shí)際與設(shè)備接觸的位置，高出的距離是由于手指的形狀以及手指與觸摸屏的夾角所決定的。通過對(duì)實(shí)驗(yàn)室16位參與者的數(shù)據(jù)進(jìn)行分析，發(fā)現(xiàn)指尖和指腹與屏幕接觸位置的距離大約在2 mm到6 mm之間。在圖1（a）中，展示了一個(gè)指尖與指腹的水平方向距離為4 mm的案例。

在測(cè)試人員未刻意調(diào)整點(diǎn)擊動(dòng)作的情況下，如果使用檢測(cè)到的最高指尖坐標(biāo)作為點(diǎn)擊位置，通常會(huì)超出目標(biāo)控件范圍，位于兩個(gè)控件之間，導(dǎo)致無法獲取有效的目標(biāo)控件圖像，如圖1（b）所示。

根據(jù)圖1可得知，當(dāng)人與設(shè)備接觸時(shí)的點(diǎn)擊位置是一個(gè)區(qū)域，無法僅用單個(gè)坐標(biāo)來描述點(diǎn)擊位置。因此，本文的研究方法的總體思路是通過視覺技術(shù)獲取更準(zhǔn)確的人機(jī)交互觸控區(qū)域，并對(duì)處于該區(qū)域內(nèi)的控件進(jìn)行分析，使用深度排序?qū)W習(xí)算法對(duì)控件進(jìn)行評(píng)分和排序，取評(píng)分最高的控件圖像作為表達(dá)實(shí)際動(dòng)作目標(biāo)的控件圖像。這樣可以更準(zhǔn)確、更可靠地捕捉到用戶的點(diǎn)擊對(duì)象。該方法的總體流程如圖2所示。如果觸控區(qū)域中包含一個(gè)或多個(gè)控件，則使用深度排序?qū)W習(xí)算法來根據(jù)控件圖像與響應(yīng)界面的關(guān)聯(lián)度進(jìn)行排序。深度排序?qū)W習(xí)算法會(huì)根據(jù)大量的數(shù)據(jù)學(xué)習(xí)每個(gè)控件圖像與響應(yīng)界面的匹配程度，為候選控件圖像打分。最終選擇評(píng)分最高的圖像作為表達(dá)實(shí)際動(dòng)作目標(biāo)的控件圖像。

然而，觸控區(qū)域中不包含任何目標(biāo)控件，說明控件檢測(cè)算法可能失效。通過將觸控區(qū)域作為目標(biāo)控件圖像，可以將其用作觸發(fā)相應(yīng)的點(diǎn)擊事件的依據(jù)，使得程序可以在缺少具體控件信息的情況下完成相應(yīng)的點(diǎn)擊參數(shù)的獲取。

2 控件深度排序?qū)W習(xí)算法

使用視覺技術(shù)來提取視頻中指尖移動(dòng)和屏幕變化等特征獲取用戶與設(shè)備交互的觸控區(qū)域，根據(jù)控件位置信息取觸控區(qū)域內(nèi)包含的所有控件作為排序候選控件，采用深度排序?qū)W習(xí)算法對(duì)這些候選控件進(jìn)行評(píng)分和排序，將最符合預(yù)期的控件圖像作為表達(dá)實(shí)際動(dòng)作目標(biāo)的控件圖像，實(shí)現(xiàn)點(diǎn)擊動(dòng)作參數(shù)的獲取。

2.1 獲取排序候選控件

對(duì)點(diǎn)擊動(dòng)作觸發(fā)時(shí)進(jìn)行特征分析。一般用戶的點(diǎn)擊動(dòng)作持續(xù)時(shí)間在0.5～1 s之間，在此期間手指位置保持不變，指尖移動(dòng)速度為零，并且屏幕內(nèi)容未發(fā)生變化。點(diǎn)擊觸發(fā)后，系統(tǒng)做出響應(yīng)，屏幕進(jìn)而發(fā)生變化。

根據(jù)上述描述的特征，可以進(jìn)行以下步驟來獲取觸控點(diǎn)坐標(biāo)和觸控區(qū)域：首先，從視頻序列中提取出在屏幕內(nèi)容發(fā)生變化之前指尖位置相對(duì)保持不變（即指尖移動(dòng)速度vfinger≤Tstill）的視頻幀。設(shè)定閾值Tstill可以抑制手指輕微抖動(dòng)或指尖檢測(cè)不準(zhǔn)確等因素對(duì)指尖位置的微小變化的影響，減少噪聲和抖動(dòng)帶來的干擾，將注意力集中在真正有意義的指尖位置變化上，從而提高交互的穩(wěn)定性和可靠性。

然后，從這些圖像中獲取指尖坐標(biāo)（x， y），對(duì)該數(shù)據(jù)進(jìn)行處理。在指尖坐標(biāo)的 y 軸分量上減去指尖與指腹的偏差Td，即y=y-Td，以得到與屏幕接觸的指腹坐標(biāo)。接下來，根據(jù)調(diào)整后得到的指腹數(shù)據(jù)，計(jì)算其中值，作為初步的觸控點(diǎn)坐標(biāo)。

本文以觸控點(diǎn)為中心，構(gòu)建一個(gè)一定大小的正方形區(qū)域，作為手指與屏幕的觸控區(qū)域。根據(jù)控件位置信息取觸控區(qū)域內(nèi)包含的所有控件作為排序候選控件。使用候選控件圖像和響應(yīng)界面的圖像作為控件深度排序?qū)W習(xí)模型的輸入，經(jīng)模型計(jì)算后，將評(píng)分最高的控件圖像作為點(diǎn)擊動(dòng)作的參數(shù)。

下面將介紹指尖移動(dòng)速度的計(jì)算、屏幕變化特征的提取以及圖像控件的檢測(cè)。

（1）計(jì)算指尖移動(dòng)速度

本文采用基于YCrCb顏色空間的膚色[7]檢測(cè)方法來獲取手部輪廓，取輪廓最高點(diǎn)作為指尖位置，根據(jù)指尖位置的變化進(jìn)而計(jì)算指尖移動(dòng)速度。為了處理手部區(qū)域中局部位置顏色的差異，并使每個(gè)位置都具有一定的容忍度，設(shè)置膚色矩陣區(qū)間為：

color_rangeskin=（Ylow，Yhigh）（Crlow，Crhigh）（Cblow，Cbhigh）（1）

對(duì)于圖像中的每個(gè)像素點(diǎn)，如果其Y、Cr和Cb分量的顏色值都在color_rangeskin區(qū)間范圍內(nèi)，那么該像素點(diǎn)被視為皮膚檢測(cè)的候選像素點(diǎn)，將該像素點(diǎn)設(shè)置為白色，否則將該像素點(diǎn)設(shè)置為黑色。通過對(duì)該二值圖像進(jìn)行輪廓檢測(cè)得到手部輪廓圖。取該圖中最高的頂點(diǎn)坐標(biāo)作為指尖坐標(biāo)。計(jì)算相鄰兩幀圖像中指尖坐標(biāo)的距離Δd，根據(jù)該測(cè)試視頻的幀率fps，計(jì)算指尖的移動(dòng)速度vfinger，具體計(jì)算公式為：

vfinger=Δd·fps （2）

（2）屏幕變化特征提取

首先，使用基于邊緣檢測(cè)與輪廓提取算法獲取視頻中屏幕區(qū)域的四個(gè)頂點(diǎn)坐標(biāo)。接著，為了校正由于拍攝角度而引起的圖像中屏幕區(qū)域的畸變，利用透視變化[8]算法獲取屏幕區(qū)域正視圖，從而更準(zhǔn)確地呈現(xiàn)屏幕圖像內(nèi)容，如圖3所示。最后用屏幕變化差異值來描述屏幕變化特征。計(jì)算透視變換對(duì)應(yīng)坐標(biāo)，進(jìn)而得到屏幕區(qū)域正視圖，從而更準(zhǔn)確地呈現(xiàn)圖像內(nèi)容。透視變換坐標(biāo)計(jì)算公式為：

x′，y′，w=［x，y，1］M11M12M13M21M22M23M31M32M33 （3）

u=x′w，v=y′w （4）

其中，x 、y 為原始圖像坐標(biāo)，u 、v 為經(jīng)透視變換后在新圖像中的坐標(biāo)。

本文采用了對(duì)比相鄰兩幀屏幕區(qū)域正視圖的結(jié)構(gòu)相似度SSIM[9]的補(bǔ)作為兩張圖像的差異值diff，用差異值來描述屏幕變化特征。相較于其他相似度計(jì)算方法，SSIM考慮了圖像的結(jié)構(gòu)信息，而不僅僅是像素值的相似度。它通過比較圖像的亮度、對(duì)比度和結(jié)構(gòu)來評(píng)估圖像的相似度，更符合人眼對(duì)圖像質(zhì)量的感知。通過采用SSIM，可以更準(zhǔn)確地衡量圖像之間的相似程度，對(duì)SSIM取補(bǔ)從而更好地理解和描述屏幕區(qū)域的變化特征。diff的具體計(jì)算公式如下所示。

diff=1-f（l（i，j），c（i，j），s（i，j）） （5）

其中，l、c、s分別表示亮度相似度、對(duì)比度相似度以及結(jié)構(gòu)相似度。

（3）圖像控件檢測(cè)

本文利用Canny邊緣檢測(cè)[10]算法對(duì)圖像中控件進(jìn)行檢測(cè)。在進(jìn)行邊緣檢測(cè)之前，首先對(duì)屏幕區(qū)域圖像進(jìn)行預(yù)處理，去除圖像中噪聲以及增強(qiáng)圖像中的邊緣特征，可以提高后續(xù)邊緣檢測(cè)的準(zhǔn)確性。然后進(jìn)行邊緣檢測(cè)和輪廓提取。因已經(jīng)得到屏幕區(qū)域的正視圖，控件的外接矩形一般呈現(xiàn)為與屏幕邊界相對(duì)平行的規(guī)則矩形，所以最終取各輪廓的外接矩形作為整體控件。

2．2 控件排序特征分析

從應(yīng)用程序?qū)用婵紤]，可以通過根據(jù)顏色和局部匹配特征等信息對(duì)控件進(jìn)行評(píng)分，進(jìn)而對(duì)控件進(jìn)行排序。

控件圖像很可能與響應(yīng)界面圖像采用相同的色彩主題。圖4中展示的兩個(gè)應(yīng)用的應(yīng)用圖標(biāo)與響應(yīng)界面的顏色主題一致，分別為紅和藍(lán)。

對(duì)于非顏色的圖標(biāo)控件，比如文字控件，響應(yīng)界面中很可能包含該文字信息。圖5REF_Ref1640h展示了文字控件與響應(yīng)界面之間的關(guān)聯(lián)性。

然而，深度學(xué)習(xí)模型具有提取更多特征的能力，因此可以更全面地找到控件和響應(yīng)界面之間的關(guān)聯(lián)性并進(jìn)行排序。

2．3 控件排序算法實(shí)現(xiàn)

本文采用深度排序?qū)W習(xí)算法對(duì)一個(gè)或多個(gè)候選控件進(jìn)行評(píng)分和排序，取最高評(píng)分控件的圖像作為點(diǎn)擊動(dòng)作參數(shù)。

該模型以候選控件圖像與響應(yīng)界面圖像組合編碼的224×224×6圖像矩陣作為輸入。其中，先以候選控件圖像為中心填充，使其與響應(yīng)界面圖像具有相同的大小。填充部分使用黑色（0值）進(jìn)行填充。然后，將填充后的圖像與響應(yīng)界面圖像進(jìn)行拼接，并經(jīng)過resize處理，完成編碼過程。

接著，使用深度學(xué)習(xí)網(wǎng)絡(luò)模型ResNet 50[11]對(duì)圖像進(jìn)行特征提取得到特征向量。對(duì)于這種選擇唯一正確控件的任務(wù)，采用Pointwise排序?qū)W習(xí)方式將每個(gè)候選控件作為獨(dú)立的樣本進(jìn)行處理，并為其分配一個(gè)分?jǐn)?shù)來表示其是否為目標(biāo)控件。分?jǐn)?shù)為1表示為目標(biāo)控件，分?jǐn)?shù)為0表示非目標(biāo)控件。通過訓(xùn)練一個(gè)二分類模型，可以為每個(gè)候選控件預(yù)測(cè)一個(gè)分?jǐn)?shù)，然后選擇分?jǐn)?shù)最高的候選控件作為目標(biāo)控件。圖6展示了控件排序算法的處理流程。

本文采用二元交叉熵（Binary Cross Entropy，BCE）作為損失函數(shù)。BCE損失函數(shù)用于衡量模型預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽之間的差異。BCE損失函數(shù)的計(jì)算公式如下：

L=-1N∑Ni=1yi·lg（p（yi））+

（1－yi）·lg（1－p（yi））（6）

其中，yi是第i個(gè)候選控件的二元標(biāo)簽，取1或者0。p（yi）是輸出屬于標(biāo)簽的概率。N表示模型預(yù)測(cè)控件圖像的組數(shù)。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)分析指尖與指腹偏差參數(shù)和觸控區(qū)域面積大小參數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響，并確定實(shí)驗(yàn)條件中最佳的組合。首先，本文設(shè)定了三個(gè)不同的指尖與指腹偏差數(shù)值：2 mm、4 mm和6 mm，并通過實(shí)驗(yàn)來確定能夠產(chǎn)生最佳實(shí)驗(yàn)結(jié)果的偏差參數(shù)。其次，考慮到移動(dòng)觸屏的手指觸發(fā)尺寸[12]通常約為1 cm2，并通過觀察用戶與設(shè)備的交互過程，發(fā)現(xiàn)人機(jī)交互的接觸面積會(huì)隨著按壓力度的增加而變大。故本文設(shè)置了兩種不同尺寸的觸控區(qū)域：邊長(zhǎng)為1 cm和1.2 cm的正方形區(qū)域。通過比較不同區(qū)域大小對(duì)實(shí)驗(yàn)結(jié)果的影響，來確定最適合的觸控區(qū)域大小。

3．2 實(shí)驗(yàn)對(duì)象

使用本文提出的點(diǎn)擊動(dòng)作參數(shù)獲取方法對(duì)安卓系統(tǒng)中設(shè)置、微信、京東等6個(gè)應(yīng)用程序的人工測(cè)試視頻進(jìn)行測(cè)試，共涉及187個(gè)點(diǎn)擊動(dòng)作。

3．3 實(shí)驗(yàn)指標(biāo)

以點(diǎn)擊動(dòng)作參數(shù)獲取準(zhǔn)確率為評(píng)價(jià)指標(biāo)。如果點(diǎn)擊程序計(jì)算得到的控件圖像與點(diǎn)擊真實(shí)目標(biāo)控件的響應(yīng)一致，則認(rèn)為獲取成功，否則獲取失敗。點(diǎn)擊動(dòng)作參數(shù)獲取準(zhǔn)確率的計(jì)算公式如下：

準(zhǔn)確率=成功案例數(shù)量總案例數(shù)量 （7）

3.4 實(shí)驗(yàn)結(jié)果與分析

根據(jù)實(shí)驗(yàn)設(shè)定的不同參數(shù)，使用本文提出的方法對(duì)上述視頻進(jìn)行點(diǎn)擊動(dòng)作參數(shù)獲取，結(jié)果如表1所示。

根據(jù)上表可知，在偏差參數(shù)為4 mm和觸控區(qū)域邊長(zhǎng)為1 cm的組合實(shí)驗(yàn)條件下，點(diǎn)擊動(dòng)作參數(shù)獲取的準(zhǔn)確率最高。當(dāng)偏差參數(shù)設(shè)置過小或過大時(shí)，程序計(jì)算得到的指腹觸控位置可能偏離目標(biāo)控件的中心，進(jìn)而使得獲取的觸控區(qū)域不夠準(zhǔn)確。此外，如果使用較大的觸控區(qū)域來獲取控件，可能會(huì)導(dǎo)致觸控區(qū)域內(nèi)包含多個(gè)控件的案例增加或包含更多的其他非目標(biāo)控件，增加了控件排序算法的處理難度，進(jìn)一步降低了點(diǎn)擊參數(shù)獲取的準(zhǔn)確率。因此，為了獲得最佳結(jié)果，需要選擇合適的偏差參數(shù)和觸控區(qū)域大小參數(shù)。

對(duì)在偏差參數(shù)為4 mm和觸控區(qū)域邊長(zhǎng)為1 cm的組合實(shí)驗(yàn)條件下的實(shí)驗(yàn)結(jié)果進(jìn)行分析，發(fā)現(xiàn)在程序生成的控件圖像中，與真實(shí)點(diǎn)擊目標(biāo)控件的響應(yīng)完全一致的有169個(gè)，準(zhǔn)確率為90.4%。根據(jù)程序計(jì)算手指與屏幕的接觸區(qū)域，在176個(gè)案例中，接觸區(qū)域包含一個(gè)或多個(gè)控件，通過控件深度排序算法選擇的控件可表達(dá)實(shí)際目標(biāo)控件的準(zhǔn)確率為91.5%。其中，在141個(gè)案例中，接觸區(qū)域僅包含一個(gè)控件，參數(shù)獲取準(zhǔn)確率為93.6%；在35個(gè)案例中，接觸區(qū)域包含了多個(gè)控件，參數(shù)獲取準(zhǔn)確率為82.9%。該實(shí)驗(yàn)數(shù)據(jù)表明，在控件檢測(cè)正確的情況下，本文所提出的方法在選擇點(diǎn)擊動(dòng)作的目標(biāo)控件方面非?？煽?，能夠達(dá)到較高的準(zhǔn)確率。

此外還有11個(gè)案例，由于控件檢測(cè)算法失效，將觸控區(qū)域直接取為目標(biāo)控件圖像，這種情況下的準(zhǔn)確率為72.7%。圖7展示了控件檢測(cè)失敗的情況，根據(jù)觸控區(qū)域得到僅包含一個(gè)控件的圖像可以成功觸發(fā)點(diǎn)擊動(dòng)作，得到與點(diǎn)擊真實(shí)目標(biāo)控件一樣的響應(yīng)。但是，若根據(jù)觸控區(qū)域得到的圖像包含多個(gè)控件，則無法根據(jù)該圖像判斷真正的目標(biāo)控件。

總體來說，本文使用基于深度排序?qū)W習(xí)的點(diǎn)擊動(dòng)作參數(shù)獲取方法來獲取表達(dá)實(shí)際動(dòng)作目標(biāo)的控件圖像具有較高的準(zhǔn)確率。在單個(gè)攝像機(jī)的錄制環(huán)境中進(jìn)行自動(dòng)化GUI測(cè)試腳本錄制，具有良好的應(yīng)用前景。

4 結(jié) 論

本文提出了一種基于深度排序?qū)W習(xí)的腳本錄制動(dòng)作參數(shù)獲取方法。該方法適用于從單攝視頻中提取測(cè)試人員與設(shè)備交互的點(diǎn)擊目標(biāo)控件圖像。在安卓手機(jī)系統(tǒng)中多個(gè)應(yīng)用程序的實(shí)驗(yàn)研究表明，該方法獲取點(diǎn)擊動(dòng)作參數(shù)具有較高的準(zhǔn)確率，為GUI測(cè)試的自動(dòng)化提供更準(zhǔn)確的腳本錄制方法。

參考文獻(xiàn)

［１］ LIN J W， MALEK S. Gui test transfer from web to android[C]//2022 IEEE Conference on Software Testing， Verification and Validation （ICST）. IEEE， 2022： 1-11.

［2］ RODRGUEZ VALDS O， VOS T E J， AHO P， et al. 30 years of automated GUI testing： a bibliometric analysis[C]//Quality of Information and Communications Technology： 14th International Conference. QUATIC， 2021： 473-488.

［3］ NASS M， ALGROTH E， FELDT R. Why many challenges with GUI test automation （will） remain[J]. Information and Software Technology， 2021， 138： 106625.

［4］ QIAN J， SHANG Z， YAN S， et al. Roscript： a visual script driven truly non intrusive robotic testing system for touch screen applications[C]//Proceedings of the ACM/IEEE 42nd International Conference on Software Engineering，2020： 297-308.

［5］ 孟祥臻，錢巨.基于深度相機(jī)的三維空間測(cè)試腳本錄制方法與工具[J].計(jì)算技術(shù)與自動(dòng)化，2022，41（02）：141-146.

［6］ LI H. Learning to rank for information retrieval and natural language processing[M]. Springer Nature， 2022.

［7］ VANSH V， CHANDRASEKHAR K， ANIL C R， et al. Improved face detection using YCbCr and Adaboost[C]//Computational Intelligence in Data Mining： Proceedings of the International Conference on ICCIDM 2018. Springer Singapore， 2020： 689-699.

［8］ 戴雯惠， 樊凌. 基于改進(jìn)透視變換的畸變圖像校正方法研究[J]. 信息通信， 2020， 11： 63-65.

［9］ NILSSON J， AKENINE MLLER T. Understanding ssim[J]. arXiv preprint arXiv：2006.13846， 2020.

［10］SEKEHRAVANI E A， BABULAK E， MASOODI M. Implementing canny edge detection algorithm for noisy image[J]. Bulletin of Electrical Engineering and Informatics， 2020， 9（4）： 1404-1410.

［11］KOONCE B. ResNet 50[M]//Convolutional Neural Networks with Swift for Tensorflow： Image Recognition and Dataset Categorization California：Apress Berkely，CA， 2021： 63-72.

［12］ANTHONY T. Finger-friendly design： ideal mobile touchscreen target sizes[J].Accessed，2012 ，27（4）：2014.