濰柴動力股份有限公司 劉建飛 秦玉軍

本文介紹了引入TMMi 模型的原因及TMMi 成熟度級別，通過實施基于TMMi 的測試過程改進(jìn)，構(gòu)建了一套符合汽車行業(yè)特點的軟件測試流程，并在項目中實施應(yīng)用，獲得了TMMi 3 級認(rèn)證，實現(xiàn)了測試效率和軟件質(zhì)量的提高。

近年來，隨著智能化、網(wǎng)聯(lián)化、電動化、共享化在汽車產(chǎn)業(yè)的不斷發(fā)展，汽車軟件的規(guī)模和復(fù)雜性急劇增加，軟件系統(tǒng)中潛在的風(fēng)險越來越高，軟件缺陷引發(fā)的后果也越來越嚴(yán)重，而提高軟件質(zhì)量的成本越來越高，測試費用約為總成本的30%～40%，為提高軟件測試效率以及軟件質(zhì)量保證能力，測試團(tuán)隊做了很多探索和嘗試。

（1）引入了CMMI，軟件質(zhì)量管理取得了一定成效，但僅能提供基礎(chǔ)性的保障。CMMI 雖然提供了一整套研發(fā)管理規(guī)范，但關(guān)注的重點是軟件項目宏觀的過程管理、是否有階段性的交付成果等，而對于軟件質(zhì)量控制的關(guān)鍵環(huán)節(jié)——軟件測試的關(guān)注嚴(yán)重不足，軟件質(zhì)量難以得到有效提升[1]。

（2）經(jīng)過調(diào)研TMMi（Test Maturity Model Integration）是當(dāng)前國際最權(quán)威的測試組織成熟度認(rèn)證體系，其根本理念就是讓軟件測試從一個無序的、缺乏資源的、缺乏工具的、過程不明確的測試組織過程，發(fā)展成為“以缺陷預(yù)防為主要目標(biāo)”的成熟可控的過程[2]。測試團(tuán)隊學(xué)習(xí)借鑒TMMi 的體系方法，與CMMI 研發(fā)管理流程充分融合，基于TMMi 的2 級、3 級過程域及目標(biāo)構(gòu)建了一套符合汽車行業(yè)特點的包含軟件、硬件和系統(tǒng)的測試流程。

1 TMMi 簡介

TMMi，全稱Test Maturity Model Integration，即“測試成熟度模型集成”，是由TMMi 基金會開發(fā)的一個非商業(yè)化的、獨立于組織的測試成熟度模型。它是測試過程改進(jìn)的一個先進(jìn)模型，可用作組織的測試過程改進(jìn)指南和參考框架。

TMMi 以美國伊利諾伊理工學(xué)院開發(fā)的TMM 框架為主要來源，借鑒了CMM/CMMI、Gelperin 和Hetzel 的測試模型演進(jìn)以及其他一些關(guān)鍵測試標(biāo)準(zhǔn)，如IEEE829.ISTQB 等[3]。

TMMi 中的測試是一種廣義的定義，它包含所有產(chǎn)品質(zhì)量相關(guān)的活動。TMMi 屬于階段型改進(jìn)模型，該階段型模型使用預(yù)先定義的一系列過程域來為組織定義改進(jìn)途徑。模型組件所描述的改進(jìn)途徑被稱為成熟度級別。一個成熟度級別是明確定義的為了實現(xiàn)組織過程改進(jìn)演進(jìn)的穩(wěn)定階段。在TMMi 中有5 個級別，如表1所示，規(guī)定了成熟度級別和測試過程改進(jìn)的路徑。

表1 TMMi 成熟度級別Tab.1 TMMi maturity level

除了TMMi 初始級，其他成熟度級別都包括了幾個過程域，其表明組織的測試過程改進(jìn)應(yīng)集中關(guān)注在哪里。每個過程域明確定義了組織要達(dá)到成熟度級別所必須要解決的問題，針對每個過程域定義了一系列測試活動，通過執(zhí)行測試活動不斷改進(jìn)改過程域的測試實踐。下面詳細(xì)介紹基于TMMi 的2 級、3 級過程域及目標(biāo)進(jìn)行的測試改進(jìn)過程。

2 測試改進(jìn)過程

TMMi 測試改進(jìn)過程主要分為五個階段，如圖1所示。

圖1 TMMi 過程改進(jìn)階段Fig.1 TMMi process improvement stage

第一個階段是啟動階段，組建過程改進(jìn)團(tuán)隊。

第二個階段是診斷階段，制定差距分析計劃，進(jìn)行差距分析。

第三個階段是建立階段，制定過程改進(jìn)計劃，進(jìn)行過程建立和改進(jìn)。

第四個階段是行動階段，進(jìn)行過程改進(jìn)試點及推廣。

第五個階段是學(xué)習(xí)階段，進(jìn)行TMMi 評估認(rèn)證及過程改進(jìn)總結(jié)。

測試過程改進(jìn)過程參考上述的五個階段進(jìn)行開展，首先組建過程改進(jìn)團(tuán)隊，主管領(lǐng)導(dǎo)牽頭，以測試經(jīng)理、測試人員為主，視情況協(xié)調(diào)其他相關(guān)部門的人員支持，如開發(fā)人員、架構(gòu)師等，組建持續(xù)改進(jìn)的團(tuán)隊。下面詳述診斷階段，如何進(jìn)行差距分析。

2.1 軟件測試過程差距分析

首先確定以TMMi 3 級為測試改進(jìn)實施的目標(biāo)，而TMMi 3 級涉及的過程域如表2所示，軟件測試改進(jìn)過程主要是針對這10 個過程域進(jìn)行開展。

表2 TMMi 3 級涉及的過程域Tab.2 Process areas involved in TMMi Level 3

其次借助文檔檢查和員工訪談等方式，結(jié)合行業(yè)相關(guān)標(biāo)準(zhǔn)及TMMi 模型要求，深入分析測試管理方面存在的問題和可優(yōu)化環(huán)節(jié)。通過量化打分的方式展現(xiàn)目前各領(lǐng)域的現(xiàn)狀，輸出差距分析表，如圖2所示，發(fā)現(xiàn)6 項特殊目標(biāo)、11 項通用目標(biāo)未達(dá)標(biāo)。

圖2 差距打分表Fig.2 Gap scoring table

最后根據(jù)差距分析結(jié)果，可以直觀了解TMMi 的滿足情況，以及離TMMi 目標(biāo)要求的差距，從而明確改進(jìn)的方向。進(jìn)入測試改進(jìn)過程的第三個階段，從測試流程、測試技術(shù)和測試人員能力提升方面制定測試改進(jìn)實施計劃。

2.2 軟件測試管理與流程改進(jìn)

首先根據(jù)業(yè)務(wù)發(fā)展需要，規(guī)劃測試團(tuán)隊，測試團(tuán)隊的組織架構(gòu)示意圖如圖3所示，結(jié)合測試團(tuán)隊規(guī)劃的崗位和勝任要求，量身制定相應(yīng)的培訓(xùn)計劃，確保各崗位人員達(dá)到崗位勝任力要求。

圖3 測試組織架構(gòu)圖Fig.3 Test organization structure

其次根據(jù)測試管理需求以及測試管理方面存在的問題，設(shè)計測試管理流程架構(gòu)，如圖4所示，構(gòu)建符合實際需要的一套測試管理流程。

圖4 測試管理流程架構(gòu)圖Fig.4 Test management process architecture

最后，在搭建測試管理流程過程中，累計完成TMMi的10 個過程域的36 個改進(jìn)點。建立測試方針與策略、測試管理手冊、測試生命周期模型、測試項目管理、測試環(huán)境管理等8 項測試管理文件；建立軟件合格測試、硬件測試、系統(tǒng)測試、系統(tǒng)驗證、法規(guī)抽檢、同行評審等6 項具體過程規(guī)范文件；制定各類報告模板、評審依據(jù)、核查單等20 余項，形成公司寶貴的測試管理資產(chǎn)。

2.3 軟件測試環(huán)境與工具鏈改進(jìn)

信息在工具中的孤立存在，對測試管理是一種低效且難以有效服務(wù)管理工作的狀態(tài)。建立和部署一體化管理信息系統(tǒng)，有助于促進(jìn)組織內(nèi)部將實踐、過程、運作進(jìn)行形式化和標(biāo)準(zhǔn)化，提高組織管理成熟度。一個有效的工具鏈應(yīng)能提高研發(fā)項目的成功率，幫助研發(fā)團(tuán)隊提高效率，降低項目成本，并提高項目的及時交付率。全生命周期模型的管理工具應(yīng)能夠融合方法論、TMMi 模型以及其他測試管理實踐。

引入看板作為項目任務(wù)管理工具，搭建WeKan 系統(tǒng)，進(jìn)行測試任務(wù)的安排，讓項目協(xié)作權(quán)責(zé)分明、分工清晰，實現(xiàn)測試過程實時監(jiān)控及測試過程度量數(shù)據(jù)的高效統(tǒng)計。

搭建測試環(huán)境管理平臺，HIL 預(yù)約系統(tǒng)，將部門內(nèi)的測試環(huán)境錄入系統(tǒng)，測試人員在系統(tǒng)中可查看到當(dāng)前滿足測試條件的空閑HIL 信息，先預(yù)約再使用，釋放后其他人可預(yù)約使用；平臺上可監(jiān)控每臺HIL 的實際利用情況，通過白天手工測試及晚上自動化連跑的方式，對測試環(huán)境實現(xiàn)高效充分的利用。

建立測試資產(chǎn)管理平臺-Wiki（多人協(xié)作的寫作系統(tǒng)），將培訓(xùn)材料、測試文檔、規(guī)范模板等分類上傳到系統(tǒng)，實現(xiàn)部門內(nèi)知識共享和信息整合，提高資產(chǎn)的復(fù)用率。

3 項目應(yīng)用及效果

將上述的基于TMMi 的測試改進(jìn)流程應(yīng)用到實際項目中，在項目的實施過程中，記錄發(fā)現(xiàn)的不符合項，并評價各個過程滿足TMMi 要求的程度如圖5所示。

圖5 差距打分表Fig.5 Gap scoring table

通過對發(fā)現(xiàn)的不符合項進(jìn)行原因定位和解決，進(jìn)行測試流程的持續(xù)優(yōu)化和改善，逐步形成一套適合本測試團(tuán)隊業(yè)務(wù)，符合行業(yè)標(biāo)準(zhǔn)要求的測試管理流程，最終獲得TMMi 的3 級認(rèn)證。

在項目應(yīng)用過程中，建立14 項測試流程規(guī)范，確保測試過程可控，測試方法一致，確保測試質(zhì)量穩(wěn)定，使得測試過程更加規(guī)范；經(jīng)過培訓(xùn)，測試人員專業(yè)能力得到提升；根據(jù)風(fēng)險分析開展不同程度的測試，測試用例覆蓋率提高30%，自動化率提高46%，測試效率進(jìn)一步提高；數(shù)字化決策平臺實時監(jiān)控項目進(jìn)展情況，實時度量缺陷嚴(yán)重度、缺陷狀態(tài)分布，質(zhì)量監(jiān)控可視化程度提高；細(xì)化測試過程流程圖，完善指導(dǎo)文件、模板20 余項，管理成本有效降低；建立組織級過程資產(chǎn)庫，建立復(fù)用資產(chǎn)390 余項，資產(chǎn)復(fù)用率進(jìn)一步提高。

4 結(jié)語

通過項目的試用，基于TMMi 的測試過程改進(jìn)可以幫助測試部門提高軟件測試效率，提升軟件質(zhì)量保證能力。下一步，需要在部門內(nèi)的所有項目中進(jìn)行推廣落地，在實施過程中持續(xù)改進(jìn)，優(yōu)化流程，實現(xiàn)測試流程的動態(tài)持續(xù)改進(jìn)，進(jìn)一步提高軟件測試效率。