秦 浩

（中航工業(yè)西安航空計算技術研究所，西安 710068）

航空軍工產(chǎn)品配套軟件定型測評

秦 浩

（中航工業(yè)西安航空計算技術研究所，西安 710068）

軟件測試是保證軟件質(zhì)量的重要手段之一。航空軍工產(chǎn)品配套軟件定型測評是定型測評機構依據(jù)國家相關標準考核航空軍工產(chǎn)品配套軟件是否符合系統(tǒng)研制總要求（含軟件研制任務書或軟件需求規(guī)格說明），排除軟件缺陷、評價軟件質(zhì)量的過程。介紹了航空軍工產(chǎn)品配套軟件定型測評工作的目的、測評過程，詳細論述了軟件定型測評的技術和方法。

航空軍工產(chǎn)品配套軟件，定型測評，測評過程，測評技術和方法

引 言

隨著現(xiàn)代航空裝備的發(fā)展，計算機技術在航空裝備中的應用越來越廣泛，軟件系統(tǒng)在計算機系統(tǒng)中所占的比重越來越高，軟件本身也越來越復雜。軟件從最初的不到萬行規(guī)模，發(fā)展到現(xiàn)在動輒數(shù)百萬行甚至上千萬行的規(guī)模。這么巨大規(guī)模的軟件，如果在實際使用過程中發(fā)生問題，可能會導致巨額的維護費用，也會給用戶的使用帶來不便，嚴重的還會造成人員傷亡。軟件質(zhì)量保證和軟件測試是保證軟件質(zhì)量的兩種重要手段[1]，尤其是軟件測試，能夠直接發(fā)現(xiàn)軟件中存在的缺陷，將軟件中的缺陷消滅在研制階段，經(jīng)過全面、完整測試的軟件，其可靠性既可以得到提高，相關功能也可以得到驗證。航空軍工產(chǎn)品配套軟件測試按研制階段可分為內(nèi)部測試、三方測試，以及定型（含鑒定）測評。其中，定型（含鑒定）測評作為航空軍工產(chǎn)品配套軟件隨所屬武器系統(tǒng)定型的最后一道“關口”，其作用和意義尤為重要。

1 航空軍工產(chǎn)品配套軟件定型測評的目的

航空軍工產(chǎn)品配套軟件是指航空軍工產(chǎn)品定型委員會負責定型的航空軍工產(chǎn)品所涉及的配套軟件產(chǎn)品，包括計算機程序、相關的文檔和數(shù)據(jù)，以及固化在硬件中的程序和數(shù)據(jù)等。

軟件定型測評結論與其它定型試驗（試飛）結論共同構成航空軍工產(chǎn)品配套軟件及其所屬武器系統(tǒng)定型的依據(jù)[2]。實踐表明，對航空軍工產(chǎn)品配套軟件實行定型測評制度，把好軟件定型的最后這個“關口”，可以有效地保證航空軍工產(chǎn)品配套軟件及其所屬武器系統(tǒng)的定型質(zhì)量，并且在一定程度上可以促使研制單位提高其軟件的工程化水平。

2 航空軍工產(chǎn)品配套軟件定型測評的過程

航空軍工產(chǎn)品配套軟件定型測評的程序[2]通常包括：申請軟件定型測評；擬制軟件定型測評大綱；審批軟件定型測評大綱；實施軟件定型測評；出具軟件定型測評報告。

按照航空軍工產(chǎn)品配套軟件定型測評的程序，航空軍工產(chǎn)品配套軟件定型測評的過程一般包括：測試需求分析、測試策劃、測試設計和實現(xiàn)、測試執(zhí)行、測試總結。

2.1 測試需求分析和測試策劃

2.1.1 確定測試級別和測試類型

航空軍工產(chǎn)品配套軟件定型測評的測試級別一般包括配置項測試和系統(tǒng)測試。

航空軍工產(chǎn)品配套軟件定型測評的測試類型一般包括：文檔審查、靜態(tài)分析、代碼審查、功能測試、性能測試、接口測試、邊界測試、人機交互界面測試、安全性測試、強度測試、可恢復性測試、余量測試等內(nèi)容[3]?？筛鶕?jù)軟件需求對測試類型進行裁剪，但須在測評大綱中說明理由，并給出各測試類型的測試方法。

2.1.2 確定測試策略

確定測試級別和測試類型后，要分析軟件研制任務書和軟件需求規(guī)格說明等文檔，結合軟件特點和測評環(huán)境，制定測試策略。

2.1.3 明確測試內(nèi)容及充分性分析

分別針對文檔審查、靜態(tài)分析、代碼審查、動態(tài)測試等測試類型說明測試內(nèi)容，并建立各級別動態(tài)測試項對測評依據(jù)文檔需求的覆蓋追蹤矩陣，進行充分性分析。

文檔審查：列出文檔審查的全部文檔清單，依據(jù)確定的文檔檢查單，檢查文檔種類的齊全性；文檔標識和簽署的完整性；文檔編制內(nèi)容的完備性、準確性、一致性；文檔內(nèi)容的詳細性；文檔編制格式的規(guī)范性。

靜態(tài)分析：根據(jù)被測軟件的特點，選擇軟件靜態(tài)分析工具；利用軟件靜態(tài)分析工具對程序進行檢查，并對檢查結果作進一步分析確認；通過軟件靜態(tài)分析工具統(tǒng)計軟件的質(zhì)量度量信息。

代碼審查：列出代碼審查的全部程序文件清單，依據(jù)確定的代碼檢查單，檢查代碼和設計的一致性，代碼的規(guī)范性、可讀性，代碼邏輯表達的正確性，代碼實現(xiàn)和結構的合理性。

動態(tài)測試：依據(jù)軟件研制任務書和軟件需求規(guī)格說明劃分測試項，對每個測試項詳細說明測試方法、輸入條件或場景、預期結果、觀測手段和通過準則等信息。

2.1.4 其它策劃內(nèi)容

其它軟件測試策劃內(nèi)容包括：明確軟件問題類型、嚴重性等級，以及處理方法；明確測評環(huán)境軟件項、硬件項、測評場地、測評環(huán)境與實裝環(huán)境的差異性分析；明確測評工作安排，包括進度、人員分工情況等；明確測評結束條件，包括測評中止及重啟條件、測評結束條件；明確軟件質(zhì)量評價內(nèi)容與方法，包括文檔質(zhì)量評價和程序質(zhì)量評價；明確測評通過準則；明確配置管理、質(zhì)量保證、安全保密與知識產(chǎn)權保護等措施；對測評項目存在的風險、概率、影響進行分析，并給出相應的應對措施；明確輸出的測評文檔及要求。

最后，將以上全部測試需求分析和測試策劃結果按照GJB 6921-2009《軍用軟件定型測評大綱編制要求》編寫成為航空軍工產(chǎn)品配套軟件定型測評大綱。

2.2 測試設計和實現(xiàn)、測試執(zhí)行

按照經(jīng)過評審的航空軍工產(chǎn)品配套軟件定型測評大綱，完成全部文檔審查、靜態(tài)分析、代碼審查和測試用例設計，并與軟件開發(fā)方溝通靜態(tài)測試問題和測試用例設計情況。完成靜態(tài)測試回歸后，在航空軍工產(chǎn)品配套軟件定型測評大綱確定的測試環(huán)境下開展動態(tài)測試，記錄測試結果和發(fā)現(xiàn)的軟件缺陷，并完成回歸測試。

2.3 測試總結

航空軍工產(chǎn)品配套軟件測試總結階段應對以下方面進行總結：

2.3.1 測評過程概述

應按航空軍工產(chǎn)品配套軟件測評項目經(jīng)歷的測試需求分析、測試策劃、測試設計和實現(xiàn)、測試執(zhí)行和測試總結5個階段對測試過程進行概述。

2.3.2 測評環(huán)境說明

應說明實際測評使用的測試環(huán)境軟件項、硬件項、測評場所、測評數(shù)據(jù)、環(huán)境差異影響分析。

2.3.3 測試方法說明

對實際測評使用的各測試類型的測試方法進行說明。

2.3.4 測試執(zhí)行情況

分別對文檔審查、靜態(tài)分析、代碼審查、配置項測試和系統(tǒng)測試內(nèi)容、執(zhí)行結果、發(fā)現(xiàn)的缺陷、影響分析及回歸測試的結果進行說明。

2.3.5 軟件問題

對測試各階段發(fā)現(xiàn)的問題，按照問題類型、嚴重程度、確認問題數(shù)、已歸零問題數(shù)和遺留問題數(shù)進行統(tǒng)計。

2.3.6 測試有效性和充分性說明

應分別對靜態(tài)測試和動態(tài)測試的有效性和充分性進行說明。

2.3.7 測試評價

按照測評大綱要求對軟件文檔質(zhì)量和程序質(zhì)量進行評價，列出被測軟件對系統(tǒng)研制總要求、軟件研制任務書、軟件需求規(guī)格說明規(guī)定內(nèi)容的完成情況的詳細對照表，并給出軟件功能、性能、接口、安全性等方面明確的結論。

2.3.8 改進建議

針對航空軍工產(chǎn)品配套軟件定型測評過程中發(fā)現(xiàn)的軟件問題情況，向軟件開發(fā)方提出后續(xù)軟件開發(fā)過程中軟件工程化改進方面的合理建議。

最后，將上述全部測試的總結內(nèi)容，按照GJB 6922-2009《軍用軟件定型測評報告編制要求》，編寫軟件定型測評報告。

3 航空軍工產(chǎn)品配套軟件定型測評的技術和方法

3.1 文檔審查

文檔審查一般分兩個階段進行，一是編寫航空軍工產(chǎn)品配套軟件定型測評大綱前的初審，二是之后的正式審查。初審主要是先對軟件研制任務書、軟件需求規(guī)格說明，以及軟件概要設計文檔進行審查，目的主要是理解軟件需求和執(zhí)行流程，為編寫測評大綱動態(tài)測試項做好準備。正式審查時則需按照GJB 438B-2009《軍用軟件開發(fā)文檔通用要求》，以及航空軍工產(chǎn)品配套軟件定型測評大綱確定文檔檢查單，對全部軟件文檔進行逐一審查。

3.2 靜態(tài)分析

靜態(tài)分析主要完成兩個方面的工作：一是質(zhì)量度量，統(tǒng)計軟件質(zhì)量度量信息，如圈復雜度、注釋率、單元行數(shù)、扇出數(shù)等，一般在定型測評報告中需要統(tǒng)計初始版本和最終版本軟件的度量信息；二是違反型號編碼規(guī)則檢查，并根據(jù)違反編碼規(guī)則的情況進行進一步分析，確認軟件問題。

3.3 代碼審查

高質(zhì)量的代碼審查能夠發(fā)現(xiàn)60%以上的軟件問題，而且往往能夠發(fā)現(xiàn)很多通過工具和動態(tài)測試無法發(fā)現(xiàn)的深層次代碼問題，如算法實現(xiàn)問題、軟件架構問題、時序邏輯問題等。對于如何做好定型測評的代碼審查，總結了以下幾點方法：

3.3.1 靜態(tài)規(guī)則掃描結果確認

對被審查代碼可用采用“以人工審查為主，靜態(tài)分析工具規(guī)則掃描確認為輔”的方式進行，并且應先開展靜態(tài)規(guī)則掃描確認，這樣可以先排除代碼形式化的錯誤。

3.3.2 人工審查方法

采用先通讀、精讀，再重點審查的方式進行。

（1）通讀，即對照軟件研制任務書、需求和概要設計文檔，把握軟件整體架構、大致執(zhí)行流程和各功能模塊劃分。

（2）精讀，即從主函數(shù)出發(fā)，對照詳細設計文檔，按程序執(zhí)行流程，檢查每個函數(shù)功能實現(xiàn)的正確性、與詳細設計的一致性、程序邏輯、時序處理的正確性，以及全局數(shù)據(jù)傳遞的正確性等。

（3）重點審查，對一些較復雜或完成重點功能的代碼段進行重點審查，審查者利用自身經(jīng)驗，從用戶可見的功能出發(fā)，假設一些比較復雜的使用場景、極端情況或異常情況，先思考可能會碰到的問題，然后帶著問題，通過審查代碼，驗證這些問題是否被設計人員考慮到并已解決。該方法類似于代碼走查，從測試人員的角度去思考代碼邏輯的嚴謹性，往往能夠發(fā)現(xiàn)一些較深層次的軟件缺陷，對于一些安全性等級較高的軟件尤為重要。

3.4 動態(tài)測試

動態(tài)測試的技術和方法主要從實際測評經(jīng)驗的角度出發(fā)，對最常見測試類型的技術和方法進行總結：

3.4.1 功能測試

用正常值的等價類輸入數(shù)據(jù)值測試；用非正常值的等價類輸入數(shù)據(jù)值測試；對控制流程的正確性、合理性等進行驗證。

3.4.2 性能測試

對時間性能指標的測量主要有3種手段：

（1）對精度要求不高的，如秒級或分鐘級性能指標要求的，可以使用秒表。

（2）帶操作系統(tǒng)的軟件可以在調(diào)試環(huán)境下計算tick數(shù)。

（3）對精度要求較高的，如達到ms級、μs級的，可以在程序中插樁設置時間戳，用示波器進行測量。

3.4.3 接口測試

對模擬量、離散量等接口測試，首先考慮是否能夠通過萬用表、示波器等設備直接測量，若不能，可考慮通過功能驗證進行測試；對數(shù)字量，如RS422、RS232、АRINС429、1553B、САN、以太網(wǎng)等接口，應通過接口仿真軟件（如串口調(diào)試助手等），從以下幾方面進行測試：

（1）正常命令的解析和響應：按照協(xié)議格式和內(nèi)容輸入正確命令幀，若有直接反饋命令幀，則觀察反饋命令幀是否符合協(xié)議格式和內(nèi)容；若無，則通過判斷功能響應是否正確來間接地驗證接口是否正確。

（2）異常命令的處理和響應，即在輸入數(shù)據(jù)異常，如狀態(tài)為非法值、數(shù)據(jù)超范圍等，輸入幀格式不滿足協(xié)議要求，如幀頭、長度、命令字、校驗和、幀尾等發(fā)生錯誤的情況下，軟件的處理和響應能力。

3.4.4 邊界測試

邊界測試主要指輸入、輸出數(shù)據(jù)邊界，以及狀態(tài)轉(zhuǎn)化邊界、功能界限邊界、性能界限邊界和容量界限邊界等測試；數(shù)據(jù)邊界要測試邊界上、邊界內(nèi)和邊界外3個點，按照數(shù)據(jù)分辨率的最小精度進行測試。

3.4.5 余量測試

存儲空間余量包括靜態(tài)存儲空間余量和動態(tài)存儲空間余量。其中，靜態(tài)余量可通過計算編譯后燒寫目標代碼量與存儲空間的比例得到。動態(tài)余量一般可通過兩種方式計算：一是通過動態(tài)地址分配函數(shù)malloc（）預先分配占用要求余量的空間，觀察軟件是否正常運行；二是通過map文件計算實際占用空間。

處理時間余量主要是指有周期處理功能的軟件的實際執(zhí)行時間余量。

3.4.6 強度測試

3.4.6.1 時間強度

測試系統(tǒng)連續(xù)運行時間超過通常使用的最大值時，軟件能否始終保持正常狀態(tài)。

3.4.6.2 性能強度

性能強度測試的主要方法包括：提供要求處理的信息量，測試超過設計允許的最大值；數(shù)據(jù)傳輸能力的飽和試驗，測試超出設計能力的數(shù)據(jù)傳輸能力，包括內(nèi)存的寫入和讀出、外部設備、其它分系統(tǒng)及內(nèi)部界面的數(shù)據(jù)傳輸?shù)龋淮鎯Ψ秶ㄈ缇彌_區(qū)、表格和臨時信息區(qū)）超過額定大小的能力測試。

3.4.6.3 降級能力強度

對設計上允許降級運行的軟件，在部分硬件失效（或瞬間失效）時，驗證其自恢復能力。

4 結束語

軟件定型測評作為航空軍工產(chǎn)品配套軟件隨所屬武器系統(tǒng)定型的最后一道“關口”，具有重要的意義。因此，定型測評機構需以《軍用軟件產(chǎn)品定型管理辦法》、《軍用軟件質(zhì)量管理規(guī)定》、《航空軍工產(chǎn)品配套軟件定型管理工作細則》及軟件工程化管理相關軍用標準為具體指南，嚴格按照規(guī)范化的測評流程，加強軟件定型測評管理、測評方法手段、測評隊伍及測評條件建設，繼續(xù)推進航空軍工產(chǎn)品配套軟件定型測評和軟件工程化管理工作科學發(fā)展，促進航空軍工產(chǎn)品配套軟件研制、定型質(zhì)量提高，更好地為軍隊服務戰(zhàn)斗力生成模式轉(zhuǎn)變服務。

1 洪倫耀, 董云衛(wèi). 軟件質(zhì)量工程[M]. 西安電子科技大學出版社, 2004: 120～121

2 航空軍工產(chǎn)品定型委員會. 航定〔2007〕31號, 航空軍工產(chǎn)品配套軟件定型管理工作細則[S]. 2005

3 總裝電子信息部. 〔2005〕裝電字第324號, 軍用軟件測評實驗室測評過程和技術能力要求[S]. 2005

1009-8119（2017）05（1）-0053-04