李啟翮 董歡歡（北京全路通信信號研究設(shè)計(jì)院有限公司，北京 100073)

李啟翮,男,博士畢業(yè)于清華大學(xué),高級工程師,測試試驗(yàn)中心質(zhì)量安全總監(jiān)。主要研究方向包括鐵道信號、圖像處理與計(jì)算機(jī)視覺，曾參與武廣高鐵CTCS-3攻關(guān)組RBC組工作、國家科技支撐計(jì)劃課題無線閉塞中心的關(guān)鍵技術(shù)及裝備、鐵道部京滬RBC關(guān)鍵技術(shù)深化研究等項(xiàng)目。

1 概述

IRIS是國際鐵路行業(yè)標(biāo)準(zhǔn)（International Railw ay Industry Standard）的縮寫，這是一套建立在ISO9001標(biāo)準(zhǔn)基礎(chǔ)上，由歐洲鐵路行業(yè)協(xié)會針對鐵路行業(yè)的特殊要求制定的一套質(zhì)量管理體系標(biāo)準(zhǔn)。隨著我國高鐵事業(yè)的發(fā)展，為了更好地提高產(chǎn)品和服務(wù)質(zhì)量、參與國內(nèi)國際競爭，北京全路通信信號研究設(shè)計(jì)院有限公司于2011年實(shí)施了IRIS體系導(dǎo)入工作，并于2012年進(jìn)行了修訂。

在新版IRIS體系中，為了進(jìn)一步加強(qiáng)對產(chǎn)品研發(fā)流程的控制以提高產(chǎn)品質(zhì)量，對《應(yīng)用科研控制程序》做了較大修訂。

1）將產(chǎn)品研發(fā)的質(zhì)量過程與原安全保障體系對安全產(chǎn)品的研發(fā)要求徹底融為一體，不再區(qū)分安全與非安全產(chǎn)品，統(tǒng)一按照相同的過程實(shí)施，統(tǒng)一使用原來只在安全產(chǎn)品研發(fā)中采用的“驗(yàn)證”和“確認(rèn)”概念；

2）將整個(gè)產(chǎn)品研發(fā)流程分為“項(xiàng)目立項(xiàng)”、“系統(tǒng)定義與項(xiàng)目計(jì)劃”、“風(fēng)險(xiǎn)分析”、“需求規(guī)范”、“設(shè)計(jì)與實(shí)現(xiàn)”、“系統(tǒng)測試”、“檢驗(yàn)測試”、“試驗(yàn)應(yīng)用”、“系統(tǒng)確認(rèn)”、“驗(yàn)收結(jié)題”共10個(gè)階段（其中“風(fēng)險(xiǎn)分析”在各個(gè)階段都需持續(xù)進(jìn)行），劃分更加合理，并且將項(xiàng)目組、技術(shù)管理、質(zhì)量保證、安全確認(rèn)的工作分別描述，使得整個(gè)過程更加清晰；

3）以新產(chǎn)品研發(fā)流程為完整過程，通過階段裁減得到既有產(chǎn)品修改、先期技術(shù)研究和軟課題3個(gè)副過程；

4）引入“質(zhì)量門”的概念。若前后兩個(gè)階段間設(shè)置了質(zhì)量門，則需要由質(zhì)量保證工程師確認(rèn)達(dá)到了開門條件。否則，禁止進(jìn)入下一個(gè)階段的工作。

此外，由于進(jìn)一步注意到測試工作在保障產(chǎn)品的質(zhì)量方面的重要作用，新版程序文件加強(qiáng)了對產(chǎn)品測試的要求：

1）明確了測試工作從計(jì)劃階段就必須介入，與早期那種在開發(fā)完成之后才開始測試的過程（如瀑布式開發(fā)模型）相比，更加有利于節(jié)省時(shí)間并提高測試質(zhì)量；

2）要求測試人員全部與開發(fā)設(shè)計(jì)人員獨(dú)立（EN 50128:2001允許在安全完善度為SIL0級的產(chǎn)品研發(fā)中，開發(fā)者與測試者不獨(dú)立，但EN 50128:2011提高了獨(dú)立性的要求，不再允許開發(fā)者與測試者相互兼任）；

3）整個(gè)研發(fā)流程中一共設(shè)置了4個(gè)質(zhì)量門，第一個(gè)質(zhì)量門就設(shè)置在設(shè)計(jì)與實(shí)現(xiàn)與系統(tǒng)測試之間，并明確了系統(tǒng)測試作為確認(rèn)測試的地位。

為更好地指導(dǎo)測試人員的工作，有必要對流程中的測試工作過程進(jìn)行研究，使之與產(chǎn)品研發(fā)的主流程能夠緊密結(jié)合，進(jìn)一步確保所交付的產(chǎn)品質(zhì)量。本文針對“系統(tǒng)測試過程”從人員角色、子過程的劃分、工作任務(wù)等方面進(jìn)行探討，提出一個(gè)適應(yīng)IRIS體系產(chǎn)品研發(fā)流程的系統(tǒng)測試過程。

2 系統(tǒng)測試定義

2.1 測試層級劃分

在《應(yīng)用科研控制程序》中，除用戶驗(yàn)收測試外，測試活動被分為3類（不包括試驗(yàn)類活動）：模塊測試、集成測試、系統(tǒng)測試。

模塊測試是針對硬件或軟件的最小功能模塊進(jìn)行的測試，用以驗(yàn)證該模塊的功能、接口的正確性。

集成測試包括軟件集成測試、硬件集成測試以及軟硬件集成測試等多個(gè)級別，其方法均是將各個(gè)模塊集成在一起，對模塊之間的接口、交互功能進(jìn)行測試，以確保能向系統(tǒng)測試階段提交一個(gè)可運(yùn)行的被測系統(tǒng)。

系統(tǒng)測試是針對系統(tǒng)需求的測試，目的是確認(rèn)系統(tǒng)是否滿足規(guī)定的所有需求，是系統(tǒng)確認(rèn)的重要手段之一。

2.2 系統(tǒng)測試與驗(yàn)證測試

所謂驗(yàn)證，指通過檢查和提供客觀依據(jù)，證實(shí)規(guī)定的需求已經(jīng)得到滿足（即是否正確的構(gòu)造了產(chǎn)品）。在質(zhì)量過程中，要求在每個(gè)階段均實(shí)施驗(yàn)證活動。驗(yàn)證分為動態(tài)驗(yàn)證和靜態(tài)驗(yàn)證兩類方法，后者指評審、分析及文檔檢查的方法，前者采用測試與演示的方法。因此，系統(tǒng)測試本身也是系統(tǒng)測試階段的驗(yàn)證測試。

2.3 系統(tǒng)測試與確認(rèn)測試

所謂確認(rèn)，指通過檢查和提供客觀依據(jù)，證實(shí)特定預(yù)期用途的需求是否得到滿足（即是否構(gòu)造了正確的產(chǎn)品）。根據(jù)IR IS的要求，產(chǎn)品研發(fā)后必須對整個(gè)系統(tǒng)進(jìn)行確認(rèn)。確認(rèn)過程中需要進(jìn)行相應(yīng)的測試作為確認(rèn)的輸入，以幫助確認(rèn)系統(tǒng)滿足需求，這類測試稱為系統(tǒng)確認(rèn)測試，在安全產(chǎn)品研發(fā)流程中，若系統(tǒng)測試經(jīng)過了確認(rèn)工程師的見證和確認(rèn)，即可作為系統(tǒng)確認(rèn)測試，對于非安全產(chǎn)品的研發(fā)，通常默認(rèn)以系統(tǒng)測試作為系統(tǒng)確認(rèn)測試。

3 系統(tǒng)測試過程

由于系統(tǒng)測試在系統(tǒng)驗(yàn)證和確認(rèn)中都承擔(dān)著重要的作用，因此必須制定規(guī)范化的測試過程，以確保測試質(zhì)量。

本節(jié)通過研究整個(gè)系統(tǒng)測試過程所需要做的工作，辨識其與設(shè)計(jì)開發(fā)過程之間的關(guān)系，并考慮所必須的輸出，首先對測試任務(wù)組內(nèi)人員的角色進(jìn)行識別，然后將整個(gè)系統(tǒng)測試過程劃分為數(shù)個(gè)子過程分別描述。

3.1 測試人員角色

在整個(gè)項(xiàng)目組中，設(shè)置一個(gè)與開發(fā)組獨(dú)立的測試組，組內(nèi)人員可以劃分為3類。

3.1.1 測試負(fù)責(zé)人

對整個(gè)測試工作負(fù)責(zé)，包括測試的計(jì)劃、過程以及最后的報(bào)告，還負(fù)責(zé)與項(xiàng)目負(fù)責(zé)人、開發(fā)者、確認(rèn)者等項(xiàng)目組內(nèi)其他角色的溝通協(xié)調(diào)。

3.1.2 測試工程師

在測試負(fù)責(zé)人的領(lǐng)導(dǎo)下負(fù)責(zé)實(shí)際的測試工作的執(zhí)行，包括測試設(shè)計(jì)、測試執(zhí)行等工作。

3.1.3 測試環(huán)境工程師

負(fù)責(zé)構(gòu)建、配置特定的測試平臺、工具、設(shè)備等測試環(huán)境。

3.2 測試過程

在實(shí)際實(shí)施中，階段與流程并非是同一概念，盡管系統(tǒng)測試是在設(shè)計(jì)與實(shí)現(xiàn)之后才開始，但系統(tǒng)測試過程必須從系統(tǒng)定義與計(jì)劃就介入項(xiàng)目工作，以確保測試人員更好的理解系統(tǒng)及其需求，提高測試質(zhì)量。

根據(jù)系統(tǒng)測試全過程在產(chǎn)品研發(fā)流程不同階段所執(zhí)行的工作性質(zhì)，將整個(gè)測試過程劃分為“測試計(jì)劃”、“測試規(guī)范”、“測試執(zhí)行”和“測試報(bào)告”4個(gè)子過程。

由圖1可以看出，系統(tǒng)測試過程開始于系統(tǒng)定義與項(xiàng)目計(jì)劃，結(jié)束于系統(tǒng)測試（由于風(fēng)險(xiǎn)分析實(shí)際上貫穿于整個(gè)產(chǎn)品研發(fā)流程中，因此未單獨(dú)體現(xiàn)），除測試規(guī)范子過程中的測試環(huán)境規(guī)范部分跨越兩個(gè)階段外，其余子過程都在一個(gè)階段內(nèi)結(jié)束。測試執(zhí)行子過程由于測試結(jié)果會導(dǎo)致產(chǎn)品的修改，因此可能會執(zhí)行多次，還會導(dǎo)致《測試計(jì)劃》及《測試規(guī)范》等文檔的更新。模塊測試和集成測試都在設(shè)計(jì)與實(shí)現(xiàn)階段進(jìn)行，由于不屬于系統(tǒng)測試層級，此處采用了不同的顏色顯示。下面將分別對4個(gè)子過程進(jìn)行描述。

3.2.1 測試計(jì)劃子過程

《測試計(jì)劃》是在項(xiàng)目計(jì)劃階段所需制定的眾多計(jì)劃之一，其目的如下。

1）規(guī)劃測試過程中的所有行動及明確測試的范圍；

2）指導(dǎo)測試如何開展，規(guī)定要使用的測試策略、過程、方法、工具與模板；

本子過程又可分為兩個(gè)階段：總體測試計(jì)劃和每個(gè)測試層級的測試計(jì)劃。

《總體測試計(jì)劃》涵蓋項(xiàng)目中所有層級的測試，并對這些測試進(jìn)行協(xié)調(diào)，以優(yōu)化測試過程。

各個(gè)層級的《測試計(jì)劃》則根據(jù)該層級具體的測試要求撰寫，若包含的測試層級較少或測試較簡單，也可僅編制一個(gè)測試計(jì)劃包含多個(gè)測試層級，例如，當(dāng)僅關(guān)注系統(tǒng)測試層級時(shí)，只需編寫涉及系統(tǒng)測試的《測試計(jì)劃》即可。本子過程所包含的主要活動階段如圖2所示。

本子過程的輸入包括：項(xiàng)目計(jì)劃、安全計(jì)劃、質(zhì)量計(jì)劃、系統(tǒng)定義等。通常，測試計(jì)劃應(yīng)包含如下內(nèi)容。

1）對被測對象的描述，所用的測試度量；

2）測試活動的進(jìn)入/退出準(zhǔn)則、掛起/恢復(fù)準(zhǔn)則；

3）所包含的測試層級，該層級所涉及的測試范圍、目標(biāo)、測試方案、測試環(huán)境、工具、配置、地點(diǎn)等；

4）測試人員組織結(jié)構(gòu)、測試活動的時(shí)間表；5）整個(gè)測試過程所需提交的文檔。

3.2.2 測試規(guī)范子過程

此子過程包含兩個(gè)部分的內(nèi)容：測試規(guī)范與測試環(huán)境規(guī)范，其輸入包括所有需求、計(jì)劃文檔以及相應(yīng)標(biāo)準(zhǔn)、規(guī)范。

測試規(guī)范部分需進(jìn)行如下活動。

1）對作為測試基礎(chǔ)的需求規(guī)范和其他規(guī)范進(jìn)行可測性檢查；

2）編寫測試案例（Test Cases）；

3）建立系統(tǒng)需求與測試案例的追溯矩陣，并確保達(dá)到所需的測試覆蓋率；

4）確定測試數(shù)據(jù)；

5）開發(fā)測試腳本；

正因?yàn)橐獙π枨笠?guī)范進(jìn)行可測性檢查，所以測試規(guī)范活動必須在“需求規(guī)范階段”完成，該活動可能導(dǎo)致需求規(guī)范的更新。而測試環(huán)境規(guī)范活動則可以持續(xù)到測試執(zhí)行活動開始之前，在測試執(zhí)行開始之后還需要對所搭建的測試環(huán)境進(jìn)行支持與維護(hù)。該部分所必須進(jìn)行活動包括內(nèi)容如下。

1）設(shè)計(jì)測試環(huán)境構(gòu)建方案；

2）完成測試環(huán)境的構(gòu)建與驗(yàn)證確認(rèn)，并進(jìn)行支持與維護(hù)；

3）描述測試環(huán)境的使用方法。

圖3提供了對本子過程的簡要示意。

3.2.3 測試執(zhí)行子過程

當(dāng)被測對象完成集成測試，通過第一個(gè)質(zhì)量門后，即可進(jìn)入“系統(tǒng)測試階段”，根據(jù)《測試規(guī)范》和《測試環(huán)境規(guī)范》執(zhí)行測試。測試執(zhí)行通常并非一次性過程，往往由多個(gè)輪次組成，其中每個(gè)輪次所完成的活動基本一致。之所以需要多個(gè)輪次，原因主要分為兩類。

1）根據(jù)開發(fā)計(jì)劃，產(chǎn)品的功能采用迭代開發(fā)方式，分段實(shí)現(xiàn)，測試也相應(yīng)的需要分輪次完成；

2）測試執(zhí)行過程中發(fā)現(xiàn)了被測對象的缺陷（NCR），導(dǎo)致了代碼實(shí)現(xiàn)、設(shè)計(jì)、甚至是需求的修改變更，當(dāng)修改完成后需要再次提交測試。

由于測試執(zhí)行的這個(gè)特點(diǎn)，本子過程可能導(dǎo)致一系列文檔的更新，包括以下內(nèi)容。

1）輪次增加導(dǎo)致測試計(jì)劃的變更；

2）測試結(jié)果導(dǎo)致的設(shè)計(jì)甚至需求文檔的變更；

3）案例執(zhí)行過程中發(fā)現(xiàn)案例的錯(cuò)誤導(dǎo)致的測試規(guī)范的變更；

4）測試執(zhí)行中發(fā)現(xiàn)測試環(huán)境存在的問題導(dǎo)致的測試環(huán)境規(guī)范的變更。

圖4是單輪測試執(zhí)行子過程的簡要描述。執(zhí)行測試之前應(yīng)當(dāng)先對被測對象相關(guān)資料進(jìn)行檢查，包括案例、腳本、數(shù)據(jù)、環(huán)境、文檔的準(zhǔn)備情況、所交付過來的被測對象、上一輪測試的遺留項(xiàng)等，并對本輪測試的范圍、時(shí)間等進(jìn)行計(jì)劃，然后開始正式執(zhí)行測試。測試結(jié)果，報(bào)告當(dāng)前的狀態(tài)，例如一輪測試后的該輪測試報(bào)告；

2）測試迭代報(bào)告：當(dāng)項(xiàng)目采用迭代開發(fā)時(shí)，每次迭代都需要一個(gè)測試報(bào)告，測試報(bào)告更新的次數(shù)應(yīng)與迭代次數(shù)相同，每次更新都加入新一次迭代的結(jié)果，最后一次迭代的測試報(bào)告，就是最終的測試報(bào)告；

3）最終測試報(bào)告：測試的最后階段完成的報(bào)告，包括對所有執(zhí)行的測試的結(jié)果及其統(tǒng)計(jì)分析，對產(chǎn)品質(zhì)量的評價(jià)以及對測試過程的評估等。

每個(gè)測試案例的結(jié)果應(yīng)真實(shí)記錄，如發(fā)現(xiàn)缺陷則須提交缺陷報(bào)告（NCR）。當(dāng)本輪測試完成之后，應(yīng)對測試結(jié)果進(jìn)行評估，分析系統(tǒng)剩余的風(fēng)險(xiǎn)，以確定測試是否達(dá)到了預(yù)期目標(biāo)從而可以終止，提交本輪測試報(bào)告（若測試目標(biāo)已經(jīng)達(dá)到，則提交最終測試報(bào)告，見3.2.4）。

3.2.4 測試報(bào)告子過程

《測試報(bào)告》的主要用途是提供項(xiàng)目測試的結(jié)果，通常分為3種。

1）階段測試報(bào)告：根據(jù)測試計(jì)劃、系統(tǒng)風(fēng)險(xiǎn)和

如圖5所示，欲編寫《測試報(bào)告》，首先應(yīng)收集所有的測試記錄、各輪測試報(bào)告、NCR、測試所用的時(shí)間、人力、物力、執(zhí)行的案例數(shù)量等數(shù)據(jù)；然后分析測試過程中發(fā)現(xiàn)的全部NCR、系統(tǒng)剩余風(fēng)險(xiǎn)，以確定是否達(dá)到了測試的目標(biāo)、可以終止測試；在此基礎(chǔ)上，撰寫《測試報(bào)告》。完整的報(bào)告應(yīng)包括如下方面。

1）測試的目的、范圍；

2）用到的測試環(huán)境、工具；

3 用到的方法、技術(shù)，及執(zhí)行中所遇到的任何問題；

4）結(jié)果的記錄，包括測試案例執(zhí)行結(jié)果的真實(shí)記錄以及執(zhí)行的案例數(shù)、剩余的案例數(shù)、發(fā)現(xiàn)的NCR數(shù)、測試環(huán)境的問題數(shù)等；

5）結(jié)果分析，包括對案例的統(tǒng)計(jì)及對需求的覆蓋分析、NCR的統(tǒng)計(jì)分析、遺留項(xiàng)分析以及對不可測需求的說明等；

6）測試結(jié)論，包括測試是否按計(jì)劃、規(guī)范完成，執(zhí)行是否充分，測試目標(biāo)是否完成等信息。

在測試結(jié)束后，宜對整個(gè)測試過程進(jìn)行評估和總結(jié)，為后續(xù)項(xiàng)目積累經(jīng)驗(yàn)。

4 總結(jié)

隨著產(chǎn)品功能的日益復(fù)雜，如何保證所研發(fā)的產(chǎn)品質(zhì)量成為一個(gè)嚴(yán)峻課題，系統(tǒng)測試作為確保所交付產(chǎn)品質(zhì)量的重要手段之一，其理論、技術(shù)、方法、流程等各方面的研究都受到日益顯著的重視。本文提出了一個(gè)適應(yīng)于IR IS要求的系統(tǒng)測試過程，并進(jìn)行了詳細(xì)描述，為測試工程師的工作提供參考。

需要指出的是，系統(tǒng)測試過程是整個(gè)產(chǎn)品研發(fā)流程中的一個(gè)子流程，需要與開發(fā)、驗(yàn)證、確認(rèn)等其他子流程相互協(xié)調(diào)，不能孤立的分隔開來。

此外，本文提出的測試過程也并非只能用于產(chǎn)品研發(fā)的系統(tǒng)測試層級，其4個(gè)子過程的劃分方式對于其他層級的測試也同樣適用，測試計(jì)劃子過程中的總體測試計(jì)劃的存在也證明了這一點(diǎn)，實(shí)際操作中只需根據(jù)具體的測試層級進(jìn)行適當(dāng)?shù)牟脺p或修正即可。