摘要：軟件測(cè)試，特別是用戶界面中的回歸測(cè)試需要大量重復(fù)的手工勞動(dòng)。AutoVue產(chǎn)品作為一款支持多種格式文件的軟件，其測(cè)試用例具有特殊性。為了提高測(cè)試效率，提出一種基于SilkTest工具的自動(dòng)化測(cè)試框架。在可行性分析的基礎(chǔ)上，采用數(shù)據(jù)驅(qū)動(dòng)和關(guān)鍵字驅(qū)動(dòng)的混合模型設(shè)計(jì)，以XML文件存儲(chǔ)測(cè)試信息，支持AutoVue產(chǎn)品的多個(gè)版本。從框架平臺(tái)運(yùn)行環(huán)境、框架測(cè)試流程、測(cè)試用時(shí)對(duì)比等方面進(jìn)行了闡述。 框架具有可維護(hù)、用例運(yùn)行執(zhí)行范圍選擇方便的特點(diǎn)，對(duì)其它應(yīng)用也有擴(kuò)展性，大幅度提高了AutoVue產(chǎn)品的測(cè)試效率。

關(guān)鍵詞：自動(dòng)化測(cè)試框架；SilkTest工具；用戶界面測(cè)試；AutoVue

DOIDOI：10.11907/rjdk.151171

中圖分類(lèi)號(hào)：TP319

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：16727800（2015）006010704

基金項(xiàng)目基金項(xiàng)目：

作者簡(jiǎn)介作者簡(jiǎn)介：朱欣（1986-），女，江蘇蘇州人，碩士，蘇州市職業(yè)大學(xué)信息中心助理工程師，研究方向?yàn)檐浖y(cè)試、數(shù)據(jù)分析。

0 引言

軟件測(cè)試是軟件開(kāi)發(fā)過(guò)程中的重要環(huán)節(jié)。為了減少人力成本，自動(dòng)化測(cè)試框架應(yīng)運(yùn)而生并日益受到重視。最早的錄制回放模式由于會(huì)產(chǎn)生冗余代碼，且腳本過(guò)度依賴(lài)軟件界面而被淘汰。目前的自動(dòng)化框架一般采用數(shù)據(jù)驅(qū)動(dòng)模式[12]、關(guān)鍵字驅(qū)動(dòng)模式[34]、混合模式等。文獻(xiàn)[1]基于LIW的測(cè)試需求分析提出了一種數(shù)據(jù)驅(qū)動(dòng)的分布式測(cè)試框架，并在此框架基礎(chǔ)上設(shè)計(jì)了一套自動(dòng)化測(cè)試系統(tǒng)（DMATS），實(shí)際應(yīng)用證實(shí)了此框架的可行性。文獻(xiàn)[2]給出了一種基于數(shù)據(jù)驅(qū)動(dòng)的Web測(cè)試框架，并設(shè)計(jì)了基于XML語(yǔ)言的自動(dòng)化測(cè)試腳本，但未從具體應(yīng)用上證實(shí)此框架的優(yōu)勢(shì)。文獻(xiàn)[3]將框架應(yīng)用于Linux系統(tǒng)上，并以Gedit為測(cè)試應(yīng)用，但沒(méi)有在實(shí)際開(kāi)發(fā)中應(yīng)用。界面變動(dòng)、框架如何維護(hù)等在文獻(xiàn)中都未提及。文獻(xiàn)[5]針對(duì)句柄識(shí)別界面的測(cè)試方法缺乏穩(wěn)定性和通用性，通過(guò)引入可擴(kuò)展標(biāo)記語(yǔ)言（XML），提出了一種基于XML對(duì)UI控件識(shí)別并測(cè)試的改進(jìn)方法，從而可以識(shí)別多語(yǔ)言應(yīng)用。文獻(xiàn)[5]的缺點(diǎn)在于：所有的控件信息都存于XML文件，而對(duì)于一個(gè)測(cè)試用例，往往包含多個(gè)步驟、多個(gè)界面，XML文件的信息量會(huì)很大，且文獻(xiàn)對(duì)于測(cè)試結(jié)果的分析時(shí)間以及軟件缺陷如何快速定位沒(méi)有描述。該框架只針對(duì)產(chǎn)品的界面測(cè)試，并不針對(duì)AutoCAD應(yīng)用的功能測(cè)試。本文提出了針對(duì)應(yīng)用產(chǎn)品的功能測(cè)試（包括界面測(cè)試）框架?；诳尚行苑治?，根據(jù)AutoVue產(chǎn)品特點(diǎn)，設(shè)計(jì)出一套基于SilkTest工具可復(fù)用、利于后期維護(hù)的自動(dòng)化測(cè)試框架。該框架采用運(yùn)行在線、分析結(jié)果離線的方式，減少了框架總體耗時(shí)，并在可維護(hù)性、靈活性等多方面體現(xiàn)出優(yōu)越性。

1 自動(dòng)化測(cè)試可行性分析

本自動(dòng)化測(cè)試框架基于AutoVue產(chǎn)品，因而首先分析AutoVue產(chǎn)品特點(diǎn)。

1.1 AutoVue產(chǎn)品簡(jiǎn)介

AutoVue產(chǎn)品[6]是一款Oracle公司提供的可視化工具，提供2D、3D、EDA、Office等類(lèi)型上百種文件格式的顯示和轉(zhuǎn)換。Oracle為客戶提供兩種不同的解決方案，分別為：Client Server和Desktop（在本文中簡(jiǎn)稱(chēng)CS和DD）。 DD版本是獨(dú)立安裝在客戶端的Java應(yīng)用，CS版本安裝在服務(wù)器上，客戶只需通過(guò)支持Java插件的瀏覽器即可訪問(wèn)。這兩種解決方案，根據(jù)支持文件格式類(lèi)型的不同分為AutoVue EMP、AutoVue EDA、AutoVue 3D、AutoVue 2D、AutoVue Office等多個(gè)版本，以對(duì)應(yīng)支持不同類(lèi)型的文件，滿足不同客戶的需求。AutoVue主要功能有：原始文件顯示、文件格式轉(zhuǎn)換、圖像比較、標(biāo)注、測(cè)量、查找等。

1.2 AutoVue測(cè)試用例特征

AutoVue產(chǎn)品用例主要分為格式用例和功能用例。以AutoVue20.2.2為例，需支持百種格式[7]文件，每種格式文件又支持多種版本，如Word格式就有Word2010、Word2007、Word的2003、Word2000等7種不同的Word版本。AutoCAD格式要測(cè)十幾種不同的版本，各種格式有400余種。而每種格式、每種版本的文件至少需要5個(gè)樣本文件對(duì)其進(jìn)行測(cè)試，才能保證測(cè)試覆蓋率，所以僅格式的測(cè)試用例就達(dá)2 000余條，且每次測(cè)試均需與之前版本進(jìn)行對(duì)比，測(cè)試用例量大、測(cè)試任務(wù)繁重。功能方面（如標(biāo)注、測(cè)量、查找）的測(cè)試用例邏輯性較其它應(yīng)用雖簡(jiǎn)單，但對(duì)于不同格式，界面和功能都有細(xì)微差別，需選用特定的樣本文件來(lái)測(cè)試其某項(xiàng)功能。

1.3 可行性分析

手工測(cè)試中，每一個(gè)小版本的推出，或者是一個(gè)補(bǔ)丁的產(chǎn)生都需要進(jìn)行回歸測(cè)試，測(cè)試量大且繁鎖?；诖嗽?，必須設(shè)計(jì)出一套針對(duì)AutoVue應(yīng)用特點(diǎn)的自動(dòng)化框架，應(yīng)用于回歸測(cè)試，以減少人力成本、提高工作效率。需考慮框架的靈活性、可維護(hù)性，如運(yùn)行測(cè)試用例的范圍選擇、AutoVue新版本推出對(duì)現(xiàn)有框架的影響等。

2 自動(dòng)化框架設(shè)計(jì)

2.1 SilkTest工具介紹

SilkTest是Borland公司開(kāi)發(fā)的一款領(lǐng)先的測(cè)試工具，支持Java、Web應(yīng)用，在功能測(cè)試領(lǐng)域應(yīng)用較多。SilkTest具有多種功能，如支持多種數(shù)據(jù)庫(kù)訪問(wèn)、支持多種主流瀏覽器、支持多種腳本語(yǔ)言（Java、VB、C#）等。

2.2 混合自動(dòng)化框架

本框架采用關(guān)鍵字驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)混合模型：①使用SilkTest工具建立AutoVue應(yīng)用產(chǎn)品對(duì)象庫(kù)，將測(cè)試對(duì)象名與界面元素名分離。一旦界面元素有改變，只需修改對(duì)象庫(kù)中相應(yīng)的元素，無(wú)需大規(guī)模涉及腳本；②腳本與數(shù)據(jù)分離。AutoVue產(chǎn)品的測(cè)試用例都包含一個(gè)或多個(gè)樣本文件。本框架將所需要執(zhí)行的樣本文件都保存在.csv文件中；③測(cè)試描述與腳本實(shí)現(xiàn)分離，本框架將測(cè)試用例名存儲(chǔ)在.csv文件中；④本框架不是單純的關(guān)鍵字驅(qū)動(dòng)，測(cè)試用例的步驟并不都呈現(xiàn)在.csv文件中。

以測(cè)試用例Compare_Exist為例，步驟如下：①打開(kāi)AutoVue應(yīng)用；②加載原始文件，點(diǎn)擊“分析”→“比較”；③在彈出的對(duì)框中選擇比較的文件，查看比較結(jié)果。打開(kāi)文件，在界面上的交互動(dòng)作并沒(méi)有以關(guān)鍵字的形式呈現(xiàn)在.csv文件中。由于AutoVue應(yīng)用的邏輯性較簡(jiǎn)單，用例復(fù)雜度主要體現(xiàn)在樣本格式文件的數(shù)量，所以只將數(shù)據(jù)文件名、執(zhí)行腳本名、測(cè)試應(yīng)用的版本存儲(chǔ)在數(shù)據(jù)文件中，以減少測(cè)試用例的維護(hù)成本。

2.3 框架特點(diǎn)

2.3.1 多版本支持

本框架支持AutoVue的CS、DD版本，使用同一套Object對(duì)象，在AutoVue20.1、AutoVue 20.2.1、 AutoVue20.2.2等版本上都進(jìn)行過(guò)試驗(yàn)，在回歸測(cè)試中作用很好。

2.3.2 框架受界面變動(dòng)影響小

被測(cè)試應(yīng)用界面一旦有改動(dòng)，只需修改對(duì)象庫(kù)的文件，而無(wú)需一一修改用例腳本。

2.3.3 被測(cè)試運(yùn)行用例執(zhí)行范圍選擇方便

選擇執(zhí)行部分用例，將Master文件中對(duì)應(yīng)用例的Test列改為Y或者N即可。選擇執(zhí)行部分格式的測(cè)試用例，將Master文件中對(duì)應(yīng)用例的Formats列作相應(yīng)修改即可。若需要增加或減少測(cè)試文件，只需修改用例對(duì)應(yīng)測(cè)試文件的.csv文件即可。

2.4 測(cè)試框架平臺(tái)運(yùn)行環(huán)境

本框架的驅(qū)動(dòng)腳本、測(cè)試腳本、對(duì)象庫(kù)均存儲(chǔ)在共享的Oracle數(shù)據(jù)庫(kù)中，測(cè)試工具SilkTest安裝在SilkTest客戶端。外部數(shù)據(jù)如測(cè)試任務(wù)、測(cè)試文件以.csv，.xls格式存放在共享服務(wù)器中。結(jié)果處理程序存儲(chǔ)在結(jié)果對(duì)比服務(wù)器中。用戶客戶端通過(guò)遠(yuǎn)程連接SilkTest客戶端的方式啟動(dòng)自動(dòng)化測(cè)試框架，并將運(yùn)行所得的XML文件和對(duì)比截圖存放在共享服務(wù)器中。具體構(gòu)架如圖1所示。

2.5 自動(dòng)化測(cè)試框架流程

如圖2所示，驅(qū)動(dòng)文件控制整個(gè)框架流程，具體步驟如下：

（1）讀取AutoMation_Task.csv文件，對(duì)應(yīng)于不同的運(yùn)行模式、版本，版本號(hào)會(huì)在SilkTest客戶端上創(chuàng)建不同的文件夾來(lái)保存結(jié)果。對(duì)應(yīng)于不同的應(yīng)用類(lèi)型CS和DD，創(chuàng)建不同的jVue.bat文件，以啟動(dòng)應(yīng)用。圖3為AutoMation_Task.csv在SilkTest工具中顯示的內(nèi)容。

（2）Master.csv文件包含了所有測(cè)試用例的數(shù)據(jù)，包含3列（測(cè)試用例名、是否測(cè)試、測(cè)試文件格式），圖4為AutoMation_Task.csv在SilkTest工具中顯示的部分?jǐn)?shù)據(jù)。

對(duì)于每行數(shù)據(jù)，先讀取Test列，如果列值為Yes，則執(zhí)行此條用例，否則跳過(guò)此用例。

（3）對(duì)于執(zhí)行用例，讀取與該條測(cè)試用例相對(duì)應(yīng)的數(shù)據(jù)文件。逐行讀取，若該樣本文件的格式屬于Master文件中的格式之一，則執(zhí)行包含該樣本文件的用例，輸出XML文件和截圖，否則跳過(guò)此文件。圖5為測(cè)試用例COMPARE_EXTENTS的測(cè)試數(shù)據(jù)文件內(nèi)容，有原文件名、比較文件名、原文件格式、測(cè)試頁(yè)4個(gè)參數(shù)。如讀取第一行數(shù)據(jù)時(shí)，首先判斷“Dwg”格式是否屬于Master文件中COMPARE_EXTENTS行Formats列值之一。 對(duì)于不同測(cè)試用例的參數(shù)，文件名和原文件格式是兩個(gè)必備參數(shù)，其它參數(shù)根據(jù)用例不同構(gòu)造也有不同。

（4）在執(zhí)行每一條測(cè)試用例時(shí)，都會(huì)產(chǎn)生一個(gè)XML文件和相對(duì)應(yīng)的一個(gè)或多個(gè)截圖。XML數(shù)據(jù)主要包括測(cè)試用例名、測(cè)試版本號(hào)、測(cè)試樣本文件打開(kāi)狀態(tài)、打開(kāi)時(shí)間、樣本格式、截圖路徑、文件類(lèi)型等信息。圖6所示為在執(zhí)行測(cè)試用例COMPARE_ALIGNSCALE時(shí)，測(cè)試樣本文件為50015222.dgn時(shí)生成的XML文件內(nèi)容。

（5）運(yùn)行圖像分析程序。根據(jù)XML文件和截圖將Update模式和Verify模式的兩個(gè)文件夾進(jìn)行分析，根據(jù)同個(gè)腳本兩種模式下的截圖像素進(jìn)行對(duì)比，得出對(duì)比結(jié)果。如圖7所示，共兩條用例，第一列為Update模式的結(jié)果截圖，第二列為Verify模式的結(jié)果截圖，第三列為對(duì)比結(jié)果圖，兩者對(duì)比相同，標(biāo)記為PASS，否則標(biāo)記為FAIL，并顯示出Update模式和Verify模式的不同點(diǎn)。

2.6 結(jié)果分析

2.6.1 運(yùn)行時(shí)間對(duì)比

在自動(dòng)化框架測(cè)試階段，定義79條測(cè)試腳本，覆蓋了2D、3D、EDA、EMP應(yīng)用中90%最常用的功能，每個(gè)腳本取10個(gè)樣本文件，共790條測(cè)試樣例。

人工測(cè)試與自動(dòng)化測(cè)試耗時(shí)對(duì)比，如表1所示。 運(yùn)用自動(dòng)化測(cè)試框架進(jìn)行回歸測(cè)試很大程度上提高了效率。特別是在進(jìn)行手動(dòng)測(cè)試時(shí)，需要同時(shí)進(jìn)行兩個(gè)版本比較，每次用例需執(zhí)行兩次。 而自動(dòng)化測(cè)試時(shí)，對(duì)應(yīng)的Update模式只需運(yùn)行一次，相對(duì)應(yīng)的截圖和XML文件就會(huì)保存在服務(wù)器中。在第二次測(cè)試時(shí)，只需運(yùn)行一次Verify模式。即使Update模式不存在，由于多個(gè)SilkTest客戶端可同時(shí)運(yùn)行，所花費(fèi)的時(shí)間也不需要2倍的時(shí)間。由于自動(dòng)化測(cè)試框架運(yùn)行在客戶端，不影響測(cè)試人員工作，所以不占用測(cè)試人員的實(shí)際工作時(shí)間。此外由于該框架將截圖存放在服務(wù)器端，避免了測(cè)試人員在提交軟件缺陷時(shí)需要重新截圖的工作量。

2.6.2 注意事項(xiàng)

此框架在設(shè)計(jì)調(diào)試中發(fā)現(xiàn)的問(wèn)題及注意事項(xiàng)：①截圖采用png格式，以減少存儲(chǔ)空間；②遠(yuǎn)程到SilkTest客戶端時(shí)，設(shè)置遠(yuǎn)程連接屬性時(shí)間的最大值為24小時(shí)，以防止運(yùn)行中途遠(yuǎn)程連接斷開(kāi)造成截圖不清的情況發(fā)生；③樣本文件選取中等大小，用AutoVue應(yīng)用打開(kāi)時(shí)間1分鐘以內(nèi)的文件為宜，容量過(guò)大的文件不適合做回歸測(cè)試；④為保持程序穩(wěn)定，每執(zhí)行一個(gè)測(cè)試腳本（約5至20條測(cè)試用例），重新關(guān)閉并啟動(dòng)AutoVue應(yīng)用。

3 框架擴(kuò)展

AutoVue產(chǎn)品瀏覽各種不同格式的文件，測(cè)試用例相對(duì)特殊，包含數(shù)量巨大、格式多種的測(cè)試文件，多用于回歸測(cè)試。對(duì)于其它普通的Web應(yīng)用，對(duì)該框架作適度的修改也可：①測(cè)試工具支持。SilkTest工具支持Web應(yīng)用，并支持多種瀏覽器測(cè)試；②采用純關(guān)鍵字驅(qū)動(dòng)方式，將用例的每一動(dòng)作都看作關(guān)鍵字。如Web應(yīng)用常用的“登陸”、“注銷(xiāo)”等界面操作。對(duì)于關(guān)鍵性的步驟進(jìn)行多次截圖，進(jìn)行圖像比較，達(dá)到測(cè)試功能缺陷的目的。

4 結(jié)語(yǔ)

自動(dòng)化測(cè)試框架在AutoVue產(chǎn)品開(kāi)發(fā)中效果良好，大幅度減少了測(cè)試人員的工作量。隨著敏捷開(kāi)發(fā)模式在軟件團(tuán)隊(duì)中的大量運(yùn)用，開(kāi)發(fā)敏捷性的自動(dòng)化框架，以及將自動(dòng)化測(cè)試框架融合進(jìn)敏捷開(kāi)發(fā)模式是下一步的工作重點(diǎn)及研究方向。

參考文獻(xiàn)：

[1]YIN JIE， ZHANG YANG， YU DAN， et al.An automatic testing framework applied on LIW and its implementation[C]. Proceedings of 2011 13th IEEE Joint International Computer Science and Information Technology Conference（JICSIT 2011），2011.

[2]馮振華，高菊，曾紅衛(wèi).Web 應(yīng)用自動(dòng)化測(cè)試的研究[J]. 計(jì)算機(jī)工程與設(shè)計(jì)， 2010，31（1）：175178.

[3]接卉， 蘭雨晴， 駱沛.一種關(guān)鍵字驅(qū)動(dòng)的自動(dòng)化測(cè)試框架[J].計(jì)算機(jī)應(yīng)用研究， 2009，26（3）：927929.

[4]王軍，孟凡鵬.基于關(guān)鍵字驅(qū)動(dòng)的自動(dòng)化測(cè)試研究與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與設(shè)計(jì)， 2012，33（9）：36523656.

[5]何浩，程春玲，張征宇，等.基于SilkTest和XML的通用高效的用戶界面測(cè)試方法[J].計(jì)算機(jī)應(yīng)用，2013，33（1）：258261.

[6]S N. AutoVue enterprise visualization providing a foundation for viewing， markup and realtime collaboration[EB/OL].[20141228]. http：//www.oracle.com/us/products/applications/autoVue/overview/index.html.

[7]S N.Oracle AutoVue 20.2.2 supported file format[EB/OL].[20141228]. http：//www.oracle.com/us/products/applications/autoVue/autovuesupportedfileformats065285.pdf ssSourceSiteId=otnen.

責(zé)任編輯（責(zé)任編輯：杜能鋼）

英文摘要Abstract：Software testing， especially GUI testing in the regression period cost duplicate manual labor. AutoVue， as a multiple file format supported product， the testing cases are special. In order to improve testing efficiency， an automated testing framework using SilkTest tool is proposed. The framework use hybrid model which is based on data driven model and keywords driven model. It use XML file to restore testing info and support various version of AutoVue product. The running environment， running process and time effort of the framework are illustrated. The framework is easily maintainable， flexible and extensible. It proves that the framework can improve product testing efficiency to a large extent.

英文關(guān)鍵詞Key Words： Automated Testing Framework； SilkTest Tool； GUI Testing； AutoVue