余久久， 杜習(xí)英

(安徽三聯(lián)學(xué)院 計(jì)算機(jī)工程學(xué)院， 安徽 合肥 230601)

?

某礦業(yè)資源管理平臺測試用例的設(shè)計(jì)研究

余久久， 杜習(xí)英

(安徽三聯(lián)學(xué)院 計(jì)算機(jī)工程學(xué)院， 安徽 合肥 230601)

摘要：測試用例的設(shè)計(jì)過程對于軟件測試的成敗起著至關(guān)重要的作用。首先，介紹了測試用例及其復(fù)用技術(shù)等相關(guān)概念。其次，結(jié)合實(shí)際測試環(huán)境，針對某一礦業(yè)集團(tuán)的資源管理平臺(簡稱MT平臺)完成了由制定測試計(jì)劃、測試用例的選取、設(shè)計(jì)、執(zhí)行、評審、缺陷分析與管理各個環(huán)節(jié)所構(gòu)成的測試用例設(shè)計(jì)過程，并對實(shí)測模塊進(jìn)行測試用例設(shè)計(jì)復(fù)用。最后，從熟悉測試對象的行業(yè)背景、用戶參與測試評審會議、準(zhǔn)確定位缺陷信息三個方面對未來的測試工作提出了展望。 3) 缺陷信息的定位要準(zhǔn)確。當(dāng)測試人員通過執(zhí)行測試用例發(fā)現(xiàn)缺陷后，需要對缺陷的名稱、所在位置、、重現(xiàn)步驟、結(jié)果、危害級別等信息描述清晰。

關(guān)鍵詞：測試用例 ； 測試設(shè)計(jì) ； 評審； 缺陷 ； 復(fù)用

軟件測試的目的是盡早發(fā)現(xiàn)軟件產(chǎn)品中的缺陷，驗(yàn)證產(chǎn)品的特性是否滿足用戶的需求。軟件測試用例的設(shè)計(jì)是軟件測試的核心，也是軟件測試中的關(guān)鍵技術(shù)[1]，它是在測試執(zhí)行之前設(shè)計(jì)的一套詳細(xì)的測試方案，主要包括測試需求、測試執(zhí)行所依賴的前提條件、測試數(shù)據(jù)與動作的輸入、操作步驟、預(yù)期結(jié)果及評估標(biāo)準(zhǔn)[2]。高效的測試用例設(shè)計(jì)過程與復(fù)用程度已成為保證軟件測試質(zhì)量的重要手段，對于提高測試人員的測試經(jīng)驗(yàn)、技能，縮短測試周期，避免重復(fù)性勞動，及時(shí)跟蹤測試執(zhí)行結(jié)果等具有重要意義。

測試用例復(fù)用技術(shù)即把已執(zhí)行的測試用例不同程度的應(yīng)用于被測對象新的測試或其它軟件的測試活動中，達(dá)到在前一測試階段設(shè)計(jì)與執(zhí)行過的一些測試用例可在后續(xù)測試階段中使用、以及在同一領(lǐng)域或相同系統(tǒng)架構(gòu)的不同軟件，存在可以使用某些共同測試用例的目的[3]。近些年，國內(nèi)外許多專家學(xué)者對測試用例復(fù)用設(shè)計(jì)及其所帶來的測試高效性(避免重復(fù)性勞動，縮短測試周期等)進(jìn)行過深入研究，均取得顯著進(jìn)展。同時(shí)，也提出了一系列測試用例復(fù)用過程模型完成對測試用例進(jìn)行設(shè)計(jì)與復(fù)用，從而解決了測試用例復(fù)用過程的系統(tǒng)描述、規(guī)范化設(shè)計(jì)與有效使用等問題，也為基于復(fù)用的軟件測試的工程化管理提供管理框架[3-5]。有關(guān)測試用例復(fù)用技術(shù)研究的文獻(xiàn)資料目前極為豐富，本文主要借鑒相關(guān)應(yīng)用成果用于MT平臺測試用例的設(shè)計(jì)。

1MT平臺簡介

MT平臺是華東地區(qū)某礦業(yè)集團(tuán)運(yùn)維診斷綜合系統(tǒng)的一個針對煤炭項(xiàng)目資源管理與分配的子平臺，能夠全面完整的管理相關(guān)煤炭設(shè)備資料的運(yùn)行與使用情況，提供綜合查詢分析功能，提供對突發(fā)事件應(yīng)急處理的知識庫。對所從事煤炭作業(yè)項(xiàng)目進(jìn)行合理的人員分配，管理項(xiàng)目組人員的個人信息、工作信息，以及設(shè)置人員行政隸屬關(guān)系。此外，MT平臺還具有完成對各工種人員的工作量進(jìn)行合理分配，追蹤與審核員工的工作績效等功能。MT平臺所包含的5個主要模塊及相應(yīng)子模塊的名稱與功能如表1所示。

表1　MT平臺所包含模塊的名稱與功能

2MT平臺測試用例的設(shè)計(jì)

2.1制定測試計(jì)劃

測試執(zhí)行之前，需要對即將開展的測試過程及測試內(nèi)容進(jìn)行規(guī)劃，即制定測試計(jì)劃。測試計(jì)劃中最重要的就是定義測試對象的測試范圍，制定出決定選擇哪些測試用例，以什么樣的順序來執(zhí)行，通過的標(biāo)準(zhǔn)是什么，以及預(yù)測執(zhí)行這些測試用例所需要的時(shí)間[6]。因時(shí)間所限，實(shí)際測試中是無法就測試對象(或者測試對象的每一個版本)開展完全測試與回歸測試的。因此，在有限的時(shí)間內(nèi)如何設(shè)定有限測試范圍，選取與執(zhí)行相應(yīng)的測試用例(集合)，對于減少因?yàn)榭s減測試用例而帶來的風(fēng)險(xiǎn)問題顯得尤為重要。

測試計(jì)劃中定義了需要測試和不需要測試的內(nèi)容?？梢酝ㄟ^一個通用的列表使用“需要/不需要”表示測試的范圍。實(shí)際中，不同模塊的功能特征、用戶需求特點(diǎn)、使用重要性等因素會有所差異，所以測試通過標(biāo)準(zhǔn)會有所側(cè)重。因此，需圍繞被測模塊的測試范圍開展對所設(shè)計(jì)的測試用例類型進(jìn)行分類并制定出相應(yīng)的測試通過標(biāo)準(zhǔn)。未分類的測試用例是不便于閱讀與維護(hù)的。

結(jié)合作者實(shí)際參與測試情況，在表2中給出了一個針對MT平臺“級別管理”模塊中“行政級別設(shè)置”二級子模塊的關(guān)于測試范圍與通過標(biāo)準(zhǔn)的簡單實(shí)例。

表2　MT平臺“行政級別設(shè)置”子模塊測試范圍與通過標(biāo)準(zhǔn)

2.2測試用例的選取

在設(shè)計(jì)測試用例框架或具體單個測試用例之前，測試者需要結(jié)合測試對象的特征與實(shí)際測試環(huán)境充分了解一些會影響到測試用例執(zhí)行的因素，因?yàn)楦F舉測試所有的測試(組合)場景是做不到的。所以，如何圍繞測試對象的需求選取相應(yīng)的測試用例達(dá)到覆蓋盡可能多的測試點(diǎn)、如何抓住測試重點(diǎn)與關(guān)鍵點(diǎn)等，這些對于測試用例的選取至關(guān)重要。試圖找到系統(tǒng)的薄弱環(huán)節(jié)、邊界點(diǎn)、臨界值等，使這些區(qū)域有必要得到更多的測試，盡力降低測試風(fēng)險(xiǎn)是選取測試用例時(shí)所要考慮的[9]。主要選取原則如下，

1) 從實(shí)際用戶的角度(包括用戶思維習(xí)慣、軟件操作習(xí)慣等)對測試對象的每一個特性設(shè)計(jì)測試用例，確保為測試用例建立正確的判斷依據(jù)。

2) 充分分析測試對象(程序)的規(guī)格說明，找出盡可能多的數(shù)據(jù)輸入邊界條件。

3) 選擇輸入條件規(guī)定范圍內(nèi)的數(shù)據(jù)值、范圍上的邊界值與稍微超出范圍外的數(shù)據(jù)值作為測試輸入數(shù)據(jù)(操作)，來設(shè)計(jì)相應(yīng)的測試用例。

2.3測試用例的設(shè)計(jì)

測試用例設(shè)計(jì)的目的就是將系統(tǒng)需求具體化，提取測試需求，通過可測試的方法對每個功能點(diǎn)進(jìn)行描述。用最少的測試用例覆蓋最全的功能點(diǎn)是測試用例設(shè)計(jì)的目標(biāo)。具體設(shè)計(jì)中需考慮：

1) 能把多個用例置于一個用例中，應(yīng)使用一個規(guī)范的測試用例集合文檔對多個用例統(tǒng)一管理。

2)測試對象的每個功能都應(yīng)該對應(yīng)到用例中，每個用例都要依據(jù)需求進(jìn)行設(shè)計(jì)[7]。

3) 對測試用例中的操作步驟的可復(fù)現(xiàn)性與可操作性需要弱化處理，即以參數(shù)化或公式來代替具體的輸入數(shù)據(jù)以抽象出共同或關(guān)鍵的操作等[3,8]。這樣可以降低測試用例和被測軟件的相關(guān)度，便于未來的測試用例復(fù)用。

基于此，表3給出了MT平臺“行政級別設(shè)置”子模塊在確認(rèn)測試階段所設(shè)計(jì)的一個功能性測試用例。

表3　MT平臺“行政級別設(shè)置”子模塊測試用例

注：關(guān)于異常工作流進(jìn)行測試內(nèi)容。1)一個工種小組只能有一位組長人選，一個工程隊(duì)只能有一位主管人選，一個勘探項(xiàng)目只能有一位經(jīng)理。若為某員工設(shè)置相應(yīng)級別，前提是該級別的人選暫缺，否則頁面需要有錯誤提示信息。2)當(dāng)把一個員工的原有級別設(shè)置成低一層次的級別后，必須同時(shí)設(shè)置原有級別的人選，否則不能提交頁面。

2.4測試用例的執(zhí)行

高質(zhì)量的測試用例執(zhí)行過程包括了多個并發(fā)工作同時(shí)進(jìn)行，涵蓋了功能測試、系統(tǒng)測試、探索性測試、每日的構(gòu)建驗(yàn)證、每日缺陷驗(yàn)證、回歸測試等，構(gòu)成了多個層次并行的測試空間[9]。從測試用例執(zhí)行時(shí)間上主要劃分為兩個測試階段，前半段主要是通過測試發(fā)現(xiàn)缺陷，后半段主要是驗(yàn)證缺陷是否被修復(fù)。

測試用例執(zhí)行時(shí)，測試人員按照測試用例中的測試步驟逐一實(shí)施測試，并對測試結(jié)果記錄在測試用例管理軟件中，以便自動生成測試結(jié)果文檔。對于驗(yàn)證被測對象的某個功能，需要先關(guān)注該功能邏輯或行為方面的測試結(jié)果，再考慮用戶界面測試。對于新增功能，應(yīng)該先執(zhí)行新功能的測試用例，再進(jìn)行完整功能測試。同時(shí)，測試人員也要依據(jù)自己的經(jīng)驗(yàn)和上下文，不依照事先指定的測試用例，一邊設(shè)計(jì)和學(xué)習(xí)，一邊測試，依據(jù)上一個測試結(jié)果來決定下一個要進(jìn)行的測試，從而發(fā)現(xiàn)易于被忽視及隱藏更深的缺陷[9]，即探索性測試，作為對基于測試用例執(zhí)行測試的一個補(bǔ)充。

2.5測試用例的評審

盡管測試用例是軟件測試的準(zhǔn)則，但并不是用例設(shè)計(jì)完畢后就一成不變，對測試用例的評審或檢查是一種提高測試用例設(shè)計(jì)質(zhì)量的高效手段。內(nèi)部檢查、同級互查、邀請專家評審等都是評審的形式，可以根據(jù)實(shí)際測試狀況加以選擇。評審測試用例的主要標(biāo)準(zhǔn)有：

1)用例設(shè)計(jì)的結(jié)構(gòu)安排是否清晰，是否具有可執(zhí)行性，是否覆蓋到測試需求上的所有功能點(diǎn)(包括邊界值、缺省值、無效值或某些特殊情況)，用例的優(yōu)先級安排是否合理等。

2)每一個正常的用例是否都對應(yīng)有異常的用例。

3) 是否有從用戶使用(場景)層面來設(shè)計(jì)測試用例。

4) 是否存在冗余的用例，用例是否具有可復(fù)用性等。

表4給出了MT平臺部分測試用例的評審表。實(shí)際測試執(zhí)行中，我們還需要從設(shè)計(jì)出的測試用例能否命中缺陷的角度對測試用例進(jìn)行評審，如表5所示。該表主要由以下幾部分組成：被測模塊號、模塊名、模塊測試狀態(tài)、缺陷號、未覆蓋標(biāo)識、覆蓋標(biāo)識(已執(zhí)行的用例號，未被執(zhí)行的用例號)、覆蓋缺陷率。

每一輪測試結(jié)束后，測試人員要花一定時(shí)間對已發(fā)現(xiàn)的缺陷情況并結(jié)合已有的測試用例做好測試用例的更新工作(若用戶對系統(tǒng)的某些功能方面提出了新的需求，也是要進(jìn)行相應(yīng)測試用例更新操作)[6]。這樣，不僅為后續(xù)測試做好準(zhǔn)備，另一方面也可以有效地對測試用例進(jìn)行科學(xué)化管理，為測試模塊變更所進(jìn)行的維護(hù)工作帶來方便。

表4　MT平臺部分模塊測試用例評審表

表5　MT平臺部分模塊某輪測試結(jié)束后的測試用例覆蓋缺陷表

注：模塊測試狀態(tài)：指該模塊內(nèi)是否發(fā)現(xiàn)缺陷，一般用“通過/失敗”標(biāo)識。缺陷ID：指在某一模塊中所發(fā)現(xiàn)的一個或多個缺陷序列號，這個序列號一般有專門的缺陷管理系統(tǒng)自動生成，序列號唯一。未覆蓋標(biāo)識：指該缺陷未被事先設(shè)計(jì)的測試用例所命中到(預(yù)測到)，標(biāo)明相應(yīng)的缺陷序列號。覆蓋標(biāo)識(執(zhí)行的用例號)：指該缺陷被事先設(shè)計(jì)的測試用例所覆蓋到(命中到)，且該缺陷發(fā)生的結(jié)果與測試用例表中反映的一致。標(biāo)明相應(yīng)的測試用例序列號。覆蓋缺陷率：統(tǒng)計(jì)此輪測試后，事先設(shè)計(jì)的測試用例表中成功的覆蓋到(命中到)實(shí)際所發(fā)現(xiàn)缺陷的比率。一般來說，若這個比率高于50%，則說明事先所設(shè)計(jì)的測試用例是有針對性的。

2.6缺陷分析與管理

分析與利用以前的測試數(shù)據(jù)，有助于測試人員了解缺陷產(chǎn)生的主要原因，預(yù)測缺陷發(fā)展趨勢，掌握缺陷集中的區(qū)域，以便有針對性的采取遏制缺陷發(fā)生的措施，降低測試成本。

缺陷分析是分析并確定缺陷產(chǎn)生的根本原因的過程，其來源可以是相關(guān)缺陷管理系統(tǒng)(如JIRA，Mantis等)所生成的缺陷分析報(bào)告。從發(fā)現(xiàn)缺陷開始，記錄了缺陷發(fā)現(xiàn)、修復(fù)、驗(yàn)證、關(guān)閉整個生命周期的相關(guān)資料[6,10]。由缺陷分析得出根本原因，采取相應(yīng)的措施防止將來缺陷的發(fā)生。

表6是在某一輪測試結(jié)束之后，從缺陷危害級別(輕微/中等/嚴(yán)重/致命)與缺陷特征分布狀況(功能性/用戶界面/錯誤處理與恢復(fù)/安全性)兩個方面對MT平臺的3個主要模塊的缺陷分析和統(tǒng)計(jì)表。若模塊中某類缺陷數(shù)目過多，或者嚴(yán)重級別的缺陷數(shù)目劇增，測試人員與開發(fā)人員有必要一起對這些缺陷進(jìn)行根本原因的分析，制定未來的開發(fā)及測試方向。

表6　MT平臺3個模塊的缺陷分析與統(tǒng)計(jì)表

3測試用例的設(shè)計(jì)復(fù)用

測試復(fù)用出發(fā)點(diǎn)是保證對被測對象不再采用一切“從零開始”的測試模式，包括測試流程的復(fù)用、測試方法的復(fù)用和測試用例的設(shè)計(jì)復(fù)用[4]。作為軟件測試的核心內(nèi)容，測試用例的設(shè)計(jì)復(fù)用是整個軟件測試復(fù)用工作的關(guān)鍵環(huán)節(jié)。

作者所參與的MT平臺測試項(xiàng)目是一個軟件再工程項(xiàng)目，由于之前所保留下來的相關(guān)測試資料(文檔)并不是很完善，所以實(shí)際測試中需要遵循“查詢(已有用例)-提取(已有用例)-完善/修改(已有用例)-執(zhí)行-評審-入庫”或者“查詢-(新用例)設(shè)計(jì)-執(zhí)行-評審-入庫”的設(shè)計(jì)與復(fù)用流程，來指導(dǎo)MT平臺新增模塊的測試用例設(shè)計(jì)及復(fù)用過程，可以極大減輕測試工作量。例如，由于用戶需求變更，“工作匯報(bào)級別管理”子模塊是MT平臺后續(xù)開發(fā)中在“級別管理”模塊中所新增的功能子模塊，功能上與同屬于一個模塊內(nèi)的“行政級別設(shè)置”子模塊具有共同點(diǎn)。表7是針對該新增模塊所設(shè)計(jì)的測試用例，其中在輸入數(shù)據(jù)、測試步驟以及異常工作流程測試方面均可部分復(fù)用已有用例(表3)中的設(shè)計(jì)內(nèi)容。

表7　MT平臺“工作匯報(bào)級別管理”子模塊測試用例

注：關(guān)于異常工作流進(jìn)行測試內(nèi)容。1.復(fù)用表4中的異常工作流測試內(nèi)容的1與2。 2.不能設(shè)置與某員工處在同一級別的人員作為其工作匯報(bào)對象，也不能設(shè)置越級匯報(bào)對象。例如，員工不能向員工匯報(bào)工作，員工也不能直接向經(jīng)理匯報(bào)工作。3.若某員工未設(shè)置其行政隸屬級別，則不能為其設(shè)置工作匯報(bào)對象。

4展望與總結(jié)

在未來的工作中，還需要通過改進(jìn)測試環(huán)境來提高M(jìn)T平臺中各模塊測試用例設(shè)計(jì)過程的質(zhì)量，尤其是以下幾點(diǎn)不能忽視。

1)測試人員要熟悉測試對象的行業(yè)背景。測試人員需要通過適當(dāng)?shù)男袠I(yè)培訓(xùn)，除了需要掌握軟件測試自身的技術(shù)與方法之外，還需要熟悉測試對象的相關(guān)業(yè)務(wù)背景。這些行業(yè)領(lǐng)域知識對于測試人員有針對性的設(shè)計(jì)測試用例異常場景的幫助非常大，也是測試成功的關(guān)鍵。

2)用戶經(jīng)常參與測試評審會議。MT平臺的開發(fā)過程中采用的是原型法的迭代開發(fā)方式，功能需求變更較為頻繁。用戶代表需要經(jīng)常參與測試評審會議，認(rèn)真評審每一個測試模塊的測試用例，要從實(shí)際使用的角度，把在現(xiàn)場使用過程中所發(fā)現(xiàn)的問題(尤其是系統(tǒng)容錯性、適用性、用戶界面方面的問題)及時(shí)反饋給開發(fā)與測試人員。這樣，很多非功能性的缺陷能夠在測試早期被識別，在設(shè)計(jì)有針對性的測試用例時(shí)能得到及時(shí)關(guān)注。

鑒于現(xiàn)代化軟件迭代開發(fā)規(guī)律，MT平臺會在今后不斷推出新的版本，或添加一些新的功能以及在已有功能上進(jìn)行某些變化以更好地適應(yīng)用戶的新需求。當(dāng)軟件需求和設(shè)計(jì)發(fā)生變更時(shí)，測試用例的設(shè)計(jì)也要不斷更新。所以，測試用例的設(shè)計(jì)過程并非一勞永逸，未來要做好對測試用例的維護(hù)工作。當(dāng)原有的測試用例失去針對性和有效性時(shí)，需及時(shí)完善或補(bǔ)充新的測試用例來測試新的功能或特征。同時(shí)也要對每個測試用例或其每個版本做好記錄標(biāo)識，真正保證測試用例的完整性、及時(shí)性與有效性。

參考文獻(xiàn):

[1] 趙琳.軟件測試用例設(shè)計(jì)方法[J].煤炭技術(shù)，2012,31(10):167-168.

[2] 馬均飛，鄭文強(qiáng).軟件測試設(shè)計(jì)[M].北京：電子工業(yè)出版社，2011.

[3] 尹平. 可復(fù)用測試用例研究[J].計(jì)算機(jī)應(yīng)用，2010, 30(5):1309-1311.

[4] 卜國峰，孫志剛，丁小良. 軟件測試用例的復(fù)用研究[J].四川兵工學(xué)報(bào)，2009, 30(5):124-126.

[5] 萬琳，廖飛雄. 測試用例復(fù)用研究與實(shí)踐[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2011，20(7):176-177.

[6] 余久久. 軟件功能測試用例的設(shè)計(jì)過程及實(shí)踐[J].電腦知識與技術(shù)，2008,4(5):1131-1134.

[7] 黎連業(yè)，王華，李龍 等.軟件測試技術(shù)與實(shí)訓(xùn)教程[M].北京：機(jī)械工業(yè)出版社，2012.

[8] 張智軼，陳振宇，徐寶文 等. 測試用例演化研究進(jìn)展[J].軟件學(xué)報(bào)，2013，24(4)：663-674．

[9] 朱少民. 全程軟件測試[M]. 北京：電子工業(yè)出版社，2014.

[10] 蔣方純. 軟件測試設(shè)計(jì)與實(shí)施[M].北京：北京大學(xué)出版社，2010.

杜習(xí)英，女，安徽三聯(lián)學(xué)院計(jì)算機(jī)工程學(xué)院副教授, 主要研究方向?yàn)橛?jì)算機(jī)信息管理。

Application and Practice on Design Process of the Test Cases

in a Mining Resources Management Platform

YU Jiu-jiu, DU Xi-ying

(Computer Engineering College, Anhui SanLian University, Hefei 230601, China)

Abstract:The design process of the test cases for software testing plays an important role in success or failure. First, some related concepts on test cases and reuse are introduced. Second, based on a practical mining group resource management platform (MT platform) and by making the Test Plan, we realize the test case for selecting, design, execution and test case review, defect analysis and management which composed of the test case design process, and the reuse of test case design for the measured module. Finally, we put forward the prospect from three aspects of testing work of familiar with the test object industry background, users to participate in the test review meeting, and accurate location of defect information.

Key words:test case, testing design, review, bugs, reuse

文章編號：1007-4260(2015)02-0058-06

中圖分類號：TP311

文獻(xiàn)標(biāo)識碼：A

作者簡介：余久久，男，碩士，安徽三聯(lián)學(xué)院計(jì)算機(jī)工程學(xué)院副教授, 主要研究方向?yàn)檐浖こ?、軟件測試、計(jì)算機(jī)教學(xué)。

基金項(xiàng)目：2013年安徽省高等學(xué)校省級質(zhì)量工程項(xiàng)目(2013jyxm274)，2013年安徽三聯(lián)學(xué)院院級質(zhì)量工程項(xiàng)目(13zlgc023)，2014年安徽省職業(yè)與成人教育學(xué)會教育科研規(guī)劃項(xiàng)目(BCB14035)與2014年安徽三聯(lián)學(xué)院科研基金項(xiàng)目(2014Z003)。