董 曦，李 磊

（1.中國(guó)船舶重工集團(tuán)公司 第723研究所，江蘇 揚(yáng)州 225001；2.中國(guó)航空無(wú)線電電子研究所，上海 200233）

0 引言

軍用軟件研制過(guò)程中，軟件合格性測(cè)試是保證軟件質(zhì)量的重要手段。隨著軟件規(guī)模和復(fù)雜性的增大、軟件開(kāi)發(fā)交付周期縮短，軟件合格性測(cè)試的工作強(qiáng)度也隨之增大。然而，軟件合格性測(cè)試是一項(xiàng)非常繁瑣并且復(fù)雜的工作。如何才能提高測(cè)試的效率和質(zhì)量已經(jīng)成為軟件測(cè)試工作人員最為關(guān)注的問(wèn)題。軍用軟件研制能力成熟度模型，也稱GJB5000A，提供了一個(gè)軟件工程方法的框架。其中，GJB 5000A二級(jí)PPQA過(guò)程域?yàn)檐浖兄七^(guò)程中的質(zhì)量保證提出了指導(dǎo)。由此借鑒，將PPQA應(yīng)用于軟件合格性測(cè)試過(guò)程，同樣能夠極大地提高軟件合格性測(cè)試的過(guò)程和產(chǎn)品質(zhì)量。

1 GJB 5000A及PPQA過(guò)程域介紹

GJB 5000A的全稱是軍用軟件研制能力成熟度模型，它是一個(gè)為軟件組織在其開(kāi)發(fā)和維護(hù)過(guò)程中獲得控制并向軟件工程和優(yōu)秀管理的文化進(jìn)化提供指南的模型。GJB 5000A的體系結(jié)構(gòu)由成熟度等級(jí)、關(guān)鍵過(guò)程域、過(guò)程能力和關(guān)鍵實(shí)踐等內(nèi)容構(gòu)成[1]。圖1描述了構(gòu)成GJB 5000A的5個(gè)成熟度等級(jí)。

在GJB 5000A二級(jí)的7個(gè)過(guò)程域中，PPQA過(guò)程域主要為了客觀的評(píng)價(jià)過(guò)程和產(chǎn)品，在評(píng)價(jià)過(guò)程中標(biāo)識(shí)不符合項(xiàng)并與相關(guān)人員溝通，最終確保不符合項(xiàng)得到解決[2]。PPQA過(guò)程域相應(yīng)的專用目標(biāo)和專用實(shí)踐如圖2所示。

圖2 PPQA的專用目標(biāo)和專用實(shí)踐

2 軟件合格性測(cè)試過(guò)程介紹

軟件合格性測(cè)試是在軟件配置項(xiàng)的真實(shí)或仿真運(yùn)行環(huán)境下，主要考核軟件功能之間能否協(xié)調(diào)正確地工作，是否滿足軟件研制任務(wù)書(shū)和軟件需求規(guī)格說(shuō)明的要求。測(cè)試的主要類型有:功能測(cè)試、性能測(cè)試、邊界測(cè)試、接口測(cè)試、余量測(cè)試、安全性測(cè)試、恢復(fù)性測(cè)試、人機(jī)界面測(cè)試、強(qiáng)度測(cè)試、安裝性測(cè)試、代碼審查、文檔審查等。

軟件合格性測(cè)試有自己的生命周期模型，即軟件測(cè)試過(guò)程。一般情況，軟件合格性測(cè)試遵循著測(cè)試策劃、測(cè)試設(shè)計(jì)與實(shí)現(xiàn)、測(cè)試執(zhí)行、測(cè)試總結(jié)的過(guò)程，執(zhí)行項(xiàng)目的過(guò)程有一定的項(xiàng)目管理活動(dòng)作為支持，如:配置管理、質(zhì)量保證、測(cè)量分析等[3-5]。軟件合格性測(cè)試過(guò)程如圖3所示。

圖3 典型合格性測(cè)試過(guò)程

3 PPQA在合格性測(cè)試中的實(shí)施

PPQA作為項(xiàng)目管理的一種，是對(duì)軟件合格性測(cè)試的全生命周期進(jìn)行質(zhì)量保證活動(dòng)。在軟件合格性測(cè)試期間，QA人員依據(jù)檢查單對(duì)軟件合格性測(cè)試中產(chǎn)生的所有工作產(chǎn)品，如測(cè)試文檔、測(cè)試代碼等，以及測(cè)試過(guò)程、測(cè)試評(píng)審會(huì)等都要進(jìn)行檢查并建立記錄，對(duì)于不符合項(xiàng)要及時(shí)交流確保解決。

3.1 測(cè)試過(guò)程角色劃分

在軟件合格性測(cè)試的過(guò)程中，涉及的人員包括測(cè)試方領(lǐng)導(dǎo)、測(cè)試項(xiàng)目組長(zhǎng)、測(cè)試人員、測(cè)試配置管理員、項(xiàng)目QA。在一些測(cè)評(píng)機(jī)構(gòu)中，往往由測(cè)評(píng)中心QA擔(dān)任所有測(cè)試項(xiàng)目QA，因此，本文人員角色劃分也以此為例，如圖4所示。

項(xiàng)目QA對(duì)測(cè)試項(xiàng)目中的每個(gè)參與者都有權(quán)進(jìn)行審查。并且，QA人員有獨(dú)立上報(bào)的途徑，即不符合項(xiàng)歸零過(guò)程中有意見(jiàn)不一致的情況下，可以與測(cè)試項(xiàng)目組長(zhǎng)和測(cè)試方領(lǐng)導(dǎo)反映，由領(lǐng)導(dǎo)最終定奪。

圖4 軟件合格性測(cè)試角色劃分

3.2 測(cè)試策劃中的QA活動(dòng)

軟件合格性測(cè)試的初期活動(dòng)為測(cè)試策劃。測(cè)試策劃的主要工作為根據(jù)項(xiàng)目的實(shí)際情況，對(duì)被測(cè)軟件的被測(cè)試項(xiàng)和測(cè)試類型有所定義，對(duì)被測(cè)項(xiàng)目所需要的人力、物力資源、技術(shù)特點(diǎn)等提出基本的要求，再根據(jù)部門(mén)可以劃撥的資源進(jìn)行統(tǒng)籌的計(jì)劃制定。這一階段所產(chǎn)生的測(cè)試工作產(chǎn)品主要有《軟件合格性測(cè)試計(jì)劃》。

QA人員所做的主要工作是對(duì)《軟件合格性測(cè)試計(jì)劃》的檢查；主要關(guān)注點(diǎn)為是否符合國(guó)軍標(biāo)的要求，是否符合單位體系文件中的模板格式，是否給出了測(cè)試依據(jù)，測(cè)試是否充分，是否有對(duì)測(cè)試環(huán)境的要求，資源計(jì)劃是否合理等。各單位可以根據(jù)實(shí)際情況本地化自己的檢查單。

QA人員也要測(cè)試人員日常的測(cè)試過(guò)程做出審查，如周報(bào)、月報(bào)是否填寫(xiě)，月例會(huì)有沒(méi)有召開(kāi)。另外，對(duì)《軟件合格性測(cè)試計(jì)劃》評(píng)審會(huì)這項(xiàng)活動(dòng)要審查，對(duì)于此過(guò)程的檢查內(nèi)容包括評(píng)審會(huì)召開(kāi)時(shí)間是否合理、參與人員是否到齊等。

3.3 測(cè)試設(shè)計(jì)與實(shí)現(xiàn)中的QA活動(dòng)

測(cè)試設(shè)計(jì)與實(shí)現(xiàn)的主要工作包括根據(jù)評(píng)審之后的《軟件合格性測(cè)試計(jì)劃》編寫(xiě)《軟件合格性測(cè)試說(shuō)明》，設(shè)計(jì)測(cè)試用例，編寫(xiě)測(cè)試代碼，搭建測(cè)試環(huán)境等?！盾浖细裥詼y(cè)試說(shuō)明》評(píng)審入庫(kù)標(biāo)志著測(cè)試設(shè)計(jì)與實(shí)現(xiàn)階段的結(jié)束。

QA人員審查的主要內(nèi)容有:對(duì)《軟件合格性測(cè)試說(shuō)明》文檔內(nèi)容是否與計(jì)劃相符合，測(cè)試用例、測(cè)試代碼是否正確、合理、有效、并且覆蓋充分，測(cè)試環(huán)境是否達(dá)到測(cè)試要求等?，F(xiàn)階段的資源、進(jìn)度實(shí)施是否與計(jì)劃相一致等。

同樣，QA人員也要測(cè)試人員的個(gè)人周報(bào)、月報(bào)是否填寫(xiě)，項(xiàng)目月例會(huì)有沒(méi)有召開(kāi)等做出審查。對(duì)于《軟件合格性測(cè)試說(shuō)明》的評(píng)審會(huì)這一過(guò)程活動(dòng)的審查，基本與前期評(píng)審會(huì)一致。

另外，測(cè)試人員可以增加Review環(huán)節(jié)，互相審查對(duì)方的測(cè)試用例和測(cè)試代碼，從技術(shù)角度排查出潛在問(wèn)題，進(jìn)一步加強(qiáng)質(zhì)量控制。

3.4 測(cè)試執(zhí)行中的QA活動(dòng)

測(cè)試執(zhí)行階段是通過(guò)執(zhí)行所有測(cè)試用例，得出測(cè)試用例執(zhí)行結(jié)果，根據(jù)結(jié)果分析并且與開(kāi)發(fā)人員溝通，提出問(wèn)題報(bào)告反饋開(kāi)發(fā)方，回歸測(cè)試直到所有問(wèn)題歸零、所有測(cè)試用例執(zhí)行通過(guò)的一個(gè)循環(huán)過(guò)程。此時(shí)，QA人員應(yīng)該關(guān)注測(cè)試人員測(cè)試的規(guī)范性、測(cè)試用例執(zhí)行情況。檢查是否所有測(cè)試用例都按照測(cè)試步驟逐一執(zhí)行完畢，檢查測(cè)試人員是否如實(shí)記錄測(cè)試結(jié)果，檢查測(cè)試過(guò)程是否符合軟件測(cè)試計(jì)劃的要求，檢查合格性測(cè)試發(fā)現(xiàn)的BUG是否提交給責(zé)任人，檢查責(zé)任人是否對(duì)測(cè)試發(fā)現(xiàn)的BUG修改文檔或代碼，檢查軟件修改后是否進(jìn)行了回歸測(cè)試等。對(duì)不符合要求的測(cè)試行為，給出不符合項(xiàng)，直到不符合項(xiàng)解決。

3.5 測(cè)試總結(jié)中的QA活動(dòng)

測(cè)試總結(jié)過(guò)程是為了評(píng)估測(cè)試效果和被測(cè)軟件項(xiàng)，描述測(cè)試狀態(tài)。測(cè)試總結(jié)階段的產(chǎn)品為通過(guò)評(píng)審后的《軟件合格性測(cè)試報(bào)告》。《軟件合格性測(cè)試報(bào)告》是一份重要的文檔，是根據(jù)實(shí)際測(cè)試全過(guò)程對(duì)被測(cè)軟件的客觀評(píng)價(jià)以及本次測(cè)試活動(dòng)的總結(jié)。

對(duì)于《軟件合格性測(cè)試報(bào)告》，QA人員可以關(guān)注其與國(guó)軍標(biāo)、體系文件的符合性，文檔上下文、術(shù)語(yǔ)、概念的一致性，與其他文檔的可追蹤性。還應(yīng)審查該報(bào)告是否描述了測(cè)試過(guò)程，是否給出了該軟件的總體評(píng)估，是否給出了測(cè)試中發(fā)現(xiàn)的所有遺留的缺陷、限制或約束，是否描述了測(cè)試環(huán)境與操作環(huán)境的差異，是否對(duì)被測(cè)試軟件的設(shè)計(jì)、操作或測(cè)試提出了改進(jìn)建議，測(cè)試日志是否給出了測(cè)試執(zhí)行的日期、時(shí)間、地點(diǎn)、人員、結(jié)果記錄等。對(duì)于測(cè)試報(bào)告的評(píng)審，更應(yīng)加強(qiáng)對(duì)參與人員、測(cè)試結(jié)論等方面的關(guān)注。

4 實(shí)施要點(diǎn)

4.1 保證客觀性

客觀性是PPQA過(guò)程域?qū)嵤┲械囊c(diǎn)之一。

1）QA人員的安排上面盡量保證其獨(dú)立性。在條件允許的情況下，QA人員可以是在所有測(cè)試項(xiàng)目之外的獨(dú)立組織。如果單位或部門(mén)人力資源緊張，QA人員也可是其他測(cè)試項(xiàng)目組同行。

2）QA人員使用的主要工具為檢查單，檢查單可以由項(xiàng)目組長(zhǎng)和QA人員參考單位體系文件要求結(jié)合項(xiàng)目特點(diǎn)進(jìn)行裁剪。QA人員在實(shí)施質(zhì)量保證的過(guò)程中，必須嚴(yán)格按照對(duì)照模板中的檢查項(xiàng)，逐一排查不符合項(xiàng)。

4.2 深入交流

PPQA活動(dòng)貫穿在整個(gè)軟件合格性測(cè)試項(xiàng)目生命周期中，QA人員與測(cè)試項(xiàng)目組成員的交流、溝通必不可少。項(xiàng)目之初，制定項(xiàng)目各個(gè)檢查單的時(shí)候，就需要QA人員與測(cè)試項(xiàng)目組長(zhǎng)共同商討得出。在發(fā)現(xiàn)不符合項(xiàng)的時(shí)候，QA人員更加需要與測(cè)試人員、測(cè)試組長(zhǎng)進(jìn)行交流，確保不符合項(xiàng)得以解決。在不符合項(xiàng)得不到解決的時(shí)候，QA人員還要有與測(cè)試方領(lǐng)導(dǎo)獨(dú)立交流的渠道。

4.3 加強(qiáng)培訓(xùn)

PPQA活動(dòng)對(duì)于QA人員的要求較高。

1）QA人員必須對(duì)涉及軟件合格性測(cè)試項(xiàng)目的所有國(guó)軍標(biāo)的理解。如:GJB 438B，GJB/Z 141，GJB 2786A，GJB 5000A，GJB 5236，GJB 439等。另外，每個(gè)被測(cè)單位、每個(gè)測(cè)評(píng)部門(mén)、每個(gè)測(cè)試項(xiàng)目都有屬于自己的本地化要求，這就要求QA人員能夠結(jié)合項(xiàng)目自身特點(diǎn)對(duì)檢查單做出合理改動(dòng)。

2）PPQA運(yùn)用到軟件合格性測(cè)試之初，必然會(huì)存在許多難度與挑戰(zhàn)，對(duì)QA人員有著多方面的要求，往往需要一些綜合或?qū)ｍ?xiàng)的培訓(xùn)工作。

5 總結(jié)

本文簡(jiǎn)單介紹了GJB 5000A模型、PPQA過(guò)程域和軟件合格性測(cè)試的基本知識(shí)，將 GJB 5000A二級(jí)PPQA過(guò)程域應(yīng)用在軟件合格性測(cè)試過(guò)程中，對(duì)具體實(shí)施方法和實(shí)施要點(diǎn)進(jìn)行了闡述。該應(yīng)用在實(shí)際軟件合格性測(cè)試項(xiàng)目中，可以起到積極和重要的作用。

[1]GJB 5000A-2008, 軍用軟件研制能力成熟度模型[S]. 2008.

[2]石柱. 軍用軟件能力成熟度模型可重復(fù)級(jí)實(shí)施指南[M]. 北京:中國(guó)標(biāo)準(zhǔn)出版社, 2006.

[3]柳純錄. 信息系統(tǒng)項(xiàng)目管理師教程[M]. 北京:清華大學(xué)出版社, 2012.

[4]董威. 基于 CMM 的軟件測(cè)試技術(shù)及其應(yīng)用[D].上海:華東師范大學(xué), 2005.

[5]朱艷. 基于 CMM 的軟件測(cè)試管理支持系統(tǒng)研究[D]. 大連:大連海事大學(xué), 2006.