杜百強(qiáng)， 孫 雷， 周 巍

(1.海裝重大專項(xiàng)裝備項(xiàng)目管理中心，北京 100045； 2.賽維航電科技有限公司，北京 101111)

軟件測(cè)試按照?qǐng)?zhí)行主體分為3種模式：① 由最終用戶開展的驗(yàn)收測(cè)試；② 由研制單位內(nèi)部開展的自測(cè)試；③ 由獨(dú)立的第三方測(cè)評(píng)機(jī)構(gòu)開展的第三方測(cè)評(píng)[1]。軍用軟件第三方測(cè)評(píng)機(jī)構(gòu)多成立于2000年左右，通過近20年的發(fā)展，基本建立了完整且具備持續(xù)改進(jìn)的第三方測(cè)評(píng)體系和技術(shù)能力。

軍用軟件第三方測(cè)評(píng)機(jī)構(gòu)成立時(shí)，軍用航空器正處于第二代研制末期的升級(jí)改進(jìn)階段，影響飛行安全的航空機(jī)載嵌入式軟件開始受到軍方的關(guān)注，并委托具備GJB 2725A資質(zhì)的軟件第三方測(cè)評(píng)機(jī)構(gòu)對(duì)航空機(jī)載嵌入式軟件質(zhì)量進(jìn)行把關(guān)。軟件第三方測(cè)評(píng)機(jī)構(gòu)依據(jù)軟件研制任務(wù)書、軟件需求規(guī)格說明和軟件設(shè)計(jì)文檔開展第三方測(cè)評(píng)工作，主要工作內(nèi)容是驗(yàn)證軟件實(shí)現(xiàn)的正確性。2005年軍方為規(guī)范軟件定型/鑒定要求，出臺(tái)了軟件定型管理要求等法規(guī)。自此，軟件第三方測(cè)評(píng)機(jī)構(gòu)承擔(dān)起對(duì)照研制總要求等頂層文件開展產(chǎn)品軟件功能/性能考核、出具達(dá)標(biāo)結(jié)論的工作。由于軟件第三方測(cè)評(píng)工作對(duì)產(chǎn)品質(zhì)量提升具有明顯作用，產(chǎn)品缺陷大幅減少，嚴(yán)重質(zhì)量事故降低效果顯著，軍用軟件第三方測(cè)評(píng)機(jī)構(gòu)在軍方信任度逐年增長(zhǎng)。軍方連續(xù)發(fā)布一系列標(biāo)準(zhǔn)和規(guī)范，逐步細(xì)化和規(guī)范軟件第三方測(cè)評(píng)機(jī)構(gòu)的工作，指導(dǎo)第三方測(cè)評(píng)機(jī)構(gòu)開展軍用軟件鑒定/定型測(cè)評(píng)任務(wù)，主要體現(xiàn)在：對(duì)申請(qǐng)?jiān)O(shè)計(jì)鑒定/定型產(chǎn)品中駐留的軟件實(shí)施考核、發(fā)現(xiàn)缺陷并負(fù)責(zé)歸零驗(yàn)證、測(cè)評(píng)結(jié)論作為支撐產(chǎn)品鑒定/定型的重要依據(jù)。

歷經(jīng)10余年發(fā)展，國(guó)內(nèi)航空器已發(fā)展至第四代，第四代航空機(jī)載嵌入式軟件采用了綜合模塊化航電(Integrated Modular Avionics，IMA)系統(tǒng)、高速機(jī)載網(wǎng)絡(luò)、基于模型的系統(tǒng)工程(Model-Based Systems Engineering，MBSE)和人工智能(Artificial Intelligence，AI)等技術(shù)，適合于第三代航空機(jī)載嵌入式軟件的第三方測(cè)評(píng)技術(shù)已無法滿足上述新技術(shù)的測(cè)評(píng)要求，形成的這段技術(shù)真空期是軟件第三方測(cè)評(píng)需要應(yīng)對(duì)的挑戰(zhàn)。相較于技術(shù)要求和管理要求較為寬松的軟件驗(yàn)收測(cè)試和內(nèi)部測(cè)試，承擔(dān)軍用航空機(jī)載嵌入式軟件質(zhì)量把關(guān)責(zé)任的軟件第三方測(cè)評(píng)對(duì)技術(shù)和質(zhì)量的要求更加嚴(yán)格。為應(yīng)對(duì)挑戰(zhàn)，第三方測(cè)評(píng)機(jī)構(gòu)需研究與之匹配的測(cè)評(píng)技術(shù)解決方案，并需要在這段技術(shù)真空期內(nèi)通過把握一些測(cè)試重點(diǎn)在一定程度上保障軟件的質(zhì)量，直到解決方案技術(shù)成熟并完全實(shí)施。

本文回顧了軍用航空機(jī)載嵌入式軟件第三方測(cè)評(píng)發(fā)展歷程，重點(diǎn)分析了第四代機(jī)載嵌入式軟件技術(shù)的變革給軟件第三方測(cè)評(píng)帶來的挑戰(zhàn)，提出了解決方案并總結(jié)測(cè)試重點(diǎn)，最后指出軟件第三方測(cè)評(píng)的發(fā)展方向。

1 第三代機(jī)載軟件第三方測(cè)評(píng)的發(fā)展

第三代航空機(jī)載系統(tǒng)研制過程中，以機(jī)載航電設(shè)備為代表的機(jī)載系統(tǒng)取得了突飛猛進(jìn)的發(fā)展。硬件算力和嵌入式機(jī)載網(wǎng)絡(luò)速率的大幅提升、嵌入式實(shí)時(shí)操作系統(tǒng)調(diào)度效能提高、可編程邏輯器件高效并行運(yùn)算，大幅釋放了機(jī)載嵌入式軟件潛力，軟件復(fù)雜度大幅提升，以某型飛機(jī)舉例，其機(jī)載軟件規(guī)模已逼近400萬條語句級(jí)別。

一般情況下，軟件規(guī)模的增長(zhǎng)和復(fù)雜度的提升會(huì)導(dǎo)致軟件缺陷數(shù)量呈指數(shù)級(jí)增長(zhǎng)，依靠管理理念的轉(zhuǎn)變和軟件測(cè)評(píng)技術(shù)的發(fā)展，機(jī)載嵌入式軟件缺陷數(shù)目整體呈現(xiàn)平穩(wěn)且略顯下降的態(tài)勢(shì)，缺陷平均密度滿足CMMI(Capability Maturity Model Integration,能力成熟度模型集成)2級(jí)到3級(jí)水平。

1.1 管理理念的轉(zhuǎn)變

在第三代航空機(jī)載系統(tǒng)研制初期，研制單位依據(jù)GJB 2786-1996《武器系統(tǒng)軟件開發(fā)》和GJB 438A-1997《武器系統(tǒng)軟件開發(fā)文檔》開展軟件研發(fā)工作，第三方測(cè)評(píng)機(jī)構(gòu)依據(jù)GJB/Z 141-2004《軍用軟件測(cè)試指南》和GJB 2725A-2001《測(cè)試實(shí)驗(yàn)室和校準(zhǔn)實(shí)驗(yàn)室通用要求》開展軟件第三方測(cè)評(píng)工作。

到了第三代機(jī)載系統(tǒng)研制中后期，軟件在機(jī)載系統(tǒng)中扮演越來越重要的角色，現(xiàn)行軟件法規(guī)標(biāo)準(zhǔn)逐漸不滿足實(shí)際研制需求。2009年，總裝備部修訂發(fā)布了GJB 2786A-2009《軍用軟件開發(fā)通用要求》和GJB 438B-2009《軍用軟件開發(fā)文檔通用要求》[2]，同時(shí)航空軍工產(chǎn)品定型委員會(huì)分別于2007年和2012年頒布了《航空軍工產(chǎn)品配套軟件定型管理工作細(xì)則》和《航空軍用軟件定型測(cè)評(píng)進(jìn)入條件評(píng)估標(biāo)準(zhǔn)》，軟件第三方測(cè)評(píng)機(jī)構(gòu)在法規(guī)指導(dǎo)下依據(jù)每個(gè)飛機(jī)型號(hào)特點(diǎn)發(fā)布型號(hào)測(cè)評(píng)總體方案，更加嚴(yán)格地約束和指導(dǎo)軟件第三方測(cè)評(píng)工作的開展。

在法規(guī)標(biāo)準(zhǔn)和管理規(guī)定指導(dǎo)下，軍方、主機(jī)、研制單位和軟件第三方測(cè)評(píng)機(jī)構(gòu)各司其職，建立了完善的管理和工作流程。作為關(guān)鍵環(huán)節(jié)的研制單位對(duì)軟件管理理念的轉(zhuǎn)變是軟件質(zhì)量提高的最重要的因素，主要體現(xiàn)在以下三點(diǎn)。

① 軟件需求需經(jīng)過嚴(yán)格的外部評(píng)審和基線版本控制。由于早期軟件研制人員隨意編制和刪改軟件需求，軟件需求存在大量遺漏和錯(cuò)誤，導(dǎo)致軟件測(cè)試不充分，從而引發(fā)了嚴(yán)重的事故。軟件研制單位從中吸取教訓(xùn)，開始重視軟件需求編制的質(zhì)量和版本的管理。軟件需求編制的質(zhì)量是第三方測(cè)評(píng)充分性的最基本保證，隨著軟件需求質(zhì)量的提高，軟件第三方測(cè)評(píng)質(zhì)量隨之逐步提高。

② 軟件第三方測(cè)評(píng)工作逐步受到軟件研制人員的支持和認(rèn)可。早期軟件研制人員反感、抵制第三方測(cè)評(píng)工作，普遍認(rèn)為軟件第三方測(cè)評(píng)是額外的負(fù)擔(dān)。但隨著一次次可能引發(fā)事故的缺陷被發(fā)現(xiàn)和軟件工程化的推進(jìn)，逐漸轉(zhuǎn)變了研制人員的觀念。當(dāng)前研制人員與軟件第三方測(cè)評(píng)機(jī)構(gòu)主動(dòng)溝通、積極配合已成常態(tài)，為第三方測(cè)評(píng)順利開展提供了有力支撐。

④ 軟件研制單位逐步開展軟件內(nèi)部測(cè)試能力的建設(shè)。軟件研制單位認(rèn)識(shí)到軟件測(cè)試的重要性后，紛紛建立了獨(dú)立于軟件研發(fā)團(tuán)隊(duì)的軟件內(nèi)部測(cè)試團(tuán)隊(duì)，通過與第三方測(cè)評(píng)機(jī)構(gòu)的交流與學(xué)習(xí)，技術(shù)能力得以加強(qiáng)，成為第三方測(cè)評(píng)開展前第一道質(zhì)量把關(guān)關(guān)口，為第三方測(cè)評(píng)準(zhǔn)入條件檢查提供了有力的保障。

1.2 軟件測(cè)評(píng)技術(shù)的發(fā)展

軟件第三方測(cè)評(píng)技術(shù)的發(fā)展主要體現(xiàn)在測(cè)試充分性不斷提高、測(cè)評(píng)質(zhì)量不斷提升、測(cè)評(píng)能力的突破和創(chuàng)新性評(píng)價(jià)方法不斷涌現(xiàn)這4個(gè)方面。

1.2.1 測(cè)試充分性不斷提高

2000—2014年是我國(guó)第三代航空機(jī)載系統(tǒng)最主要的研制階段，在這期間航空裝備逐步進(jìn)入軟件定義裝備時(shí)代。某型機(jī)載軟件規(guī)模從初始型號(hào)40萬行增長(zhǎng)到改款型號(hào)370萬行，由軟件實(shí)現(xiàn)戰(zhàn)技功能占比由30%提高到70%以上。隨著軟件功能的增加和管理要求的提高，軟件需求類文檔在完整性、統(tǒng)一性、準(zhǔn)確性和條目化等方面實(shí)現(xiàn)了巨大的進(jìn)步，充分性方面成績(jī)最為明顯，需求文檔正文平均頁數(shù)從21頁增加到115.7頁。

軟件需求是制定第三方測(cè)試方案的直接依據(jù)，隨著軟件需求日趨完善，測(cè)試需求功能項(xiàng)在保證遍歷正常流程的基礎(chǔ)上，更注重異常流程、數(shù)據(jù)越界、接口數(shù)據(jù)丟包、多場(chǎng)景性能指標(biāo)、安全性和恢復(fù)性設(shè)計(jì)、實(shí)戰(zhàn)場(chǎng)景模擬等測(cè)試，設(shè)計(jì)的平均測(cè)試用例由初期的135.7個(gè)增長(zhǎng)到1913.8個(gè)(上述數(shù)據(jù)來源于2000—2014年新研改進(jìn)型號(hào)提交第三方測(cè)評(píng)統(tǒng)計(jì)數(shù)據(jù))。由此可見，測(cè)試充分性得到了大幅提高。第三代機(jī)載軟件第三方測(cè)試發(fā)展趨勢(shì)如圖1所示。

圖1 第三代機(jī)載軟件第三方測(cè)試發(fā)展趨勢(shì)圖

1.2.2 測(cè)評(píng)質(zhì)量不斷提升

早期軟件第三方測(cè)評(píng)機(jī)構(gòu)的每個(gè)測(cè)評(píng)項(xiàng)目處于相對(duì)獨(dú)立的狀態(tài)，根據(jù)自身經(jīng)驗(yàn)分析需求、設(shè)計(jì)用例和開展測(cè)試，項(xiàng)目質(zhì)量寄希望于項(xiàng)目組成員過往經(jīng)驗(yàn)積累和責(zé)任心。測(cè)評(píng)機(jī)構(gòu)為解決上述問題，逐步通過自研工具平臺(tái)對(duì)大量測(cè)評(píng)經(jīng)驗(yàn)和數(shù)據(jù)凝練整理，指導(dǎo)所有項(xiàng)目組開展工作，使整體測(cè)評(píng)質(zhì)量維持在統(tǒng)一、較高的水平[3]。

自研工具平臺(tái)在提升測(cè)評(píng)方案的編制水平、測(cè)試用例設(shè)計(jì)水平、文檔自動(dòng)化水平等方面作用明顯，有效保證了測(cè)評(píng)質(zhì)量，主要體現(xiàn)在以下3個(gè)方面。

① 測(cè)評(píng)方案是第三方測(cè)評(píng)的靈魂，直接決定測(cè)評(píng)質(zhì)量。工具平臺(tái)將與當(dāng)前測(cè)評(píng)項(xiàng)目匹配度最高的前序型號(hào)測(cè)試經(jīng)驗(yàn)推送給項(xiàng)目組，有效保證了測(cè)評(píng)方案的質(zhì)量。近年來，測(cè)評(píng)方案編制的質(zhì)量逐年提升，方案外審不通過情況呈逐年下降趨勢(shì)。

② 工具平臺(tái)通過對(duì)積累的軟件缺陷數(shù)據(jù)進(jìn)行整理分析，有針對(duì)性地指導(dǎo)測(cè)試用例的設(shè)計(jì)，保證了高缺陷率的軟件功能模塊驗(yàn)證的充分性。

③ 工具平臺(tái)的文檔自動(dòng)化生成功能大幅提高了測(cè)評(píng)文檔的編制效率。

第三方測(cè)評(píng)自身特點(diǎn)決定了絕大多數(shù)測(cè)評(píng)實(shí)施依賴實(shí)裝設(shè)備和半物理仿真環(huán)境，需要測(cè)試人員手工操作實(shí)施驗(yàn)證，測(cè)評(píng)機(jī)構(gòu)嘗試研發(fā)通用測(cè)試平臺(tái)替代半物理仿真環(huán)境，通過腳本仿真模式實(shí)現(xiàn)測(cè)試自動(dòng)化，但由于第三方測(cè)評(píng)項(xiàng)目非連續(xù)性的特點(diǎn)和單一項(xiàng)目平臺(tái)配置時(shí)效問題，導(dǎo)致這項(xiàng)技術(shù)尚不成熟、應(yīng)用不廣，是測(cè)評(píng)機(jī)構(gòu)進(jìn)一步提升測(cè)評(píng)質(zhì)量的努力方向。

1.2.3 測(cè)評(píng)能力的突破

航空機(jī)載系統(tǒng)中FPGA和嵌入式軟件相互配合共同實(shí)現(xiàn)機(jī)載系統(tǒng)的戰(zhàn)技指標(biāo)，軟件第三方測(cè)評(píng)已如火如荼開展了10多年，F(xiàn)PGA測(cè)評(píng)一直處于標(biāo)準(zhǔn)研究、技術(shù)探索和項(xiàng)目試點(diǎn)驗(yàn)證階段。

直到第三代研制末期，GJB 9433-2018《軍用可編程邏輯器件軟件測(cè)試要求》標(biāo)準(zhǔn)頒布，結(jié)合GB/T 33783-2017《可編程邏輯器件軟件測(cè)試指南》和DO-254《機(jī)載電子設(shè)備硬件設(shè)計(jì)保證指南》，測(cè)評(píng)機(jī)構(gòu)紛紛建立了完整、可持續(xù)改進(jìn)的FPGA技術(shù)/質(zhì)量體系，逐步開展FPGA第三方測(cè)評(píng)工作，測(cè)評(píng)能力實(shí)現(xiàn)突破[4]，現(xiàn)某重點(diǎn)型號(hào)已全面開展FPGA測(cè)評(píng)。

1.2.4 創(chuàng)新性的評(píng)價(jià)方法不斷涌現(xiàn)

當(dāng)前軟件第三方測(cè)評(píng)的評(píng)價(jià)分別對(duì)文檔和程序開展評(píng)價(jià)。其中，文檔的評(píng)價(jià)主要從齊套性、完整性、文文一致、文實(shí)一致、簽署完整性等方面開展；程序的評(píng)價(jià)主要從軟件缺陷率、注釋率、需求功能點(diǎn)實(shí)現(xiàn)比率等方面開展。文檔和程序評(píng)價(jià)均比較簡(jiǎn)單，屬于較初級(jí)評(píng)價(jià)。

軟件是智力的產(chǎn)物，具有很高的復(fù)雜性、不確定性和不可見性，因而增加了軟件質(zhì)量評(píng)價(jià)的難度[5]。目前并無業(yè)界公認(rèn)的從軟件第三方測(cè)評(píng)視角開展軟件質(zhì)量評(píng)價(jià)的方法，業(yè)內(nèi)許多計(jì)算機(jī)專家和質(zhì)量評(píng)價(jià)專家都在積極研究符合機(jī)載軟件特點(diǎn)、科學(xué)合理的評(píng)價(jià)方法，相關(guān)學(xué)者使用專家咨詢法、模糊綜合評(píng)價(jià)法、優(yōu)序法和層次分析法等評(píng)價(jià)方法[6]從不同的角度開展了評(píng)價(jià)研究，其中基于層次分析法更適合從軟件第三方測(cè)評(píng)視角進(jìn)行軟件質(zhì)量評(píng)價(jià)，如何進(jìn)一步精準(zhǔn)制定權(quán)重和降低評(píng)價(jià)復(fù)雜度是未來的突破方向。

2 第四代機(jī)載軟件第三方測(cè)評(píng)的挑戰(zhàn)

當(dāng)航空機(jī)載系統(tǒng)從第三代跨越至第四代，機(jī)載軟件研發(fā)技術(shù)實(shí)現(xiàn)了突破性發(fā)展，主要體現(xiàn)在以下4個(gè)方面：

① 全數(shù)字聯(lián)合式架構(gòu)向IMA架構(gòu)轉(zhuǎn)變；

② 高速機(jī)載網(wǎng)絡(luò)取代多路傳輸數(shù)據(jù)總線成為主流；

③ 基于MBSE的軟件已得到應(yīng)用；

④ AI已在非關(guān)鍵、非控制邏輯模塊開始應(yīng)用。

當(dāng)熟練掌握第三代機(jī)載軟件測(cè)試技術(shù)的第三方測(cè)評(píng)人員仍忙碌在審查人工編寫的程序源代碼、在半物理仿真環(huán)境上根據(jù)確定的通過準(zhǔn)則判斷用例是否通過時(shí)，蘊(yùn)含上述新技術(shù)的第四代航空機(jī)載系統(tǒng)嵌入式軟件測(cè)評(píng)任務(wù)下達(dá)時(shí)，測(cè)試人員發(fā)現(xiàn)已有的測(cè)試技術(shù)已無法適用了，主要體現(xiàn)在以下4個(gè)方面：

① 被測(cè)設(shè)備軟件變成了分區(qū)應(yīng)用；

② 接口數(shù)據(jù)幀變成了網(wǎng)絡(luò)數(shù)據(jù)包；

③ 審查的程序源代碼變成了模型；

④ 客觀判斷準(zhǔn)則變成了主觀判斷。

軟件技術(shù)的代差在開始階段讓第三方測(cè)評(píng)機(jī)構(gòu)措手不及，但隨著不斷探索新的測(cè)試技術(shù)，測(cè)試技術(shù)適應(yīng)性問題將得以解決。

2.1 機(jī)載系統(tǒng)架構(gòu)的轉(zhuǎn)變

當(dāng)前機(jī)載系統(tǒng)已從第三代全數(shù)字聯(lián)合式架構(gòu)全面轉(zhuǎn)變?yōu)镮MA架構(gòu)，部署于綜合核心處理機(jī)(Integrated Core Processor,ICP)上[7]。以某型機(jī)載系統(tǒng)舉例，IMA體系架構(gòu)的ICP采用多塊通用處理模塊(GPP)、通用處理及I/O模塊(GPIO)、信號(hào)處理模塊(SPM)、大容量存儲(chǔ)模塊(MSM)板卡組合，每塊板卡采用多CPU結(jié)構(gòu)，通過在每塊CPU搭載的天脈II分區(qū)操作系統(tǒng)中駐留各功能域應(yīng)用軟件，實(shí)現(xiàn)紅外搜索、通信導(dǎo)航、雷達(dá)電子戰(zhàn)、懸掛物管理、戰(zhàn)術(shù)任務(wù)管理等功能。第三方測(cè)評(píng)工作的重點(diǎn)和難點(diǎn)來自于各分區(qū)功能域應(yīng)用軟件。

2.1.1 IMA架構(gòu)帶來的挑戰(zhàn)與解決方案

IMA架構(gòu)將許多聯(lián)合式結(jié)構(gòu)的設(shè)備供應(yīng)商轉(zhuǎn)變?yōu)楦鞴δ苡驊?yīng)用軟件供應(yīng)商[8]，以某型機(jī)載系統(tǒng)為例，應(yīng)用軟件部署在天脈II分區(qū)操作系統(tǒng)特定的分區(qū)中，一個(gè)ICP就駐留了50余項(xiàng)軟件配置項(xiàng)，軟件規(guī)模超過了250萬行。當(dāng)軟件第三方測(cè)評(píng)機(jī)構(gòu)承接鑒定/定型測(cè)評(píng)任務(wù)時(shí)，功能性能試驗(yàn)、環(huán)境適應(yīng)性試驗(yàn)、電磁兼容性試驗(yàn)、外場(chǎng)試驗(yàn)排故都在并行開展，ICP平臺(tái)造價(jià)昂貴導(dǎo)致只有主機(jī)廠所聯(lián)試環(huán)境可實(shí)施軟件測(cè)評(píng)，第三方測(cè)評(píng)難以得到足夠時(shí)間，測(cè)試環(huán)境資源成為最大的挑戰(zhàn)。

文獻(xiàn)[8]和文獻(xiàn)[9]給出了通過構(gòu)建分布式測(cè)試平臺(tái)的解決方案，但仍需占用主機(jī)廠所聯(lián)合試驗(yàn)環(huán)境，在根本上未解決測(cè)試環(huán)境資源搶占的挑戰(zhàn)。筆者認(rèn)為運(yùn)用全數(shù)字虛擬仿真技術(shù)將IMA架構(gòu)的ICP平臺(tái)虛擬化，在虛擬仿真環(huán)境中運(yùn)行天脈II操作系統(tǒng)和分區(qū)應(yīng)用軟件實(shí)施完整測(cè)試，再結(jié)合主機(jī)廠所聯(lián)合試驗(yàn)環(huán)境進(jìn)行補(bǔ)充驗(yàn)證，是解決IMA架構(gòu)軟件帶來的挑戰(zhàn)最有效的解決方案。

當(dāng)前業(yè)內(nèi)全數(shù)字虛擬仿真技術(shù)[10-12]已突破到PowerPC 555X系列，距離突破到天脈操作系統(tǒng)支持的PowerPC 8548、8640級(jí)別的CPU已指日可待。在基于全數(shù)字虛擬仿真技術(shù)的IMA架構(gòu)測(cè)試平臺(tái)研發(fā)成功且被認(rèn)可之前，在有限的測(cè)評(píng)環(huán)境和周期內(nèi)，第三方測(cè)評(píng)機(jī)構(gòu)應(yīng)抓住測(cè)試重點(diǎn)優(yōu)先保證測(cè)試質(zhì)量。

2.1.2 IMA架構(gòu)測(cè)試重點(diǎn)

開展分區(qū)功能域應(yīng)用軟件第三方軟件測(cè)評(píng)時(shí)需要重點(diǎn)關(guān)注以下6個(gè)方面：

① 測(cè)試就緒評(píng)審時(shí)確定分區(qū)藍(lán)圖(分區(qū)配置表)的狀態(tài)與系統(tǒng)總體設(shè)計(jì)應(yīng)保持一致；

② 分區(qū)間通信數(shù)據(jù)交換匹配性[9]，分區(qū)軟件在最繁忙狀態(tài)下的通信功能是否正常，有無通信延遲、數(shù)據(jù)丟失等問題；

③ 分區(qū)軟件死循環(huán)，除零溢出等缺陷都會(huì)觸發(fā)分區(qū)操作系統(tǒng)復(fù)位，系統(tǒng)復(fù)位后是否會(huì)影響其他分區(qū)的正常工作；

④ 各個(gè)分區(qū)的存儲(chǔ)空間分配是否獨(dú)立、無重疊、時(shí)間分配是否滿足CPU周期要求；

⑤ 在滿負(fù)荷運(yùn)行狀態(tài)下分區(qū)的存儲(chǔ)空間、周期時(shí)間余量是否滿足分配要求；

⑥ 當(dāng)多個(gè)分區(qū)軟件進(jìn)行了更改，回歸測(cè)試時(shí)應(yīng)做配置項(xiàng)和系統(tǒng)兩級(jí)更改影響性分析，回歸測(cè)試的順序應(yīng)符合測(cè)試策略。

2.2 新一代機(jī)載網(wǎng)絡(luò)興起

隨著機(jī)載航電系統(tǒng)綜合化、模塊化程度的深入，以及數(shù)據(jù)通信在帶寬、實(shí)時(shí)性、可靠性等方面需求的極大增強(qiáng)，交換式組網(wǎng)技術(shù)成為機(jī)載網(wǎng)絡(luò)系統(tǒng)的首選。以光纖通道[13](Fiber Channel，F(xiàn)C)、航空電子全雙工交換式以太網(wǎng)[14](Avionics Full Duplex Switch Ethernet,AFDX)和時(shí)間觸發(fā)以太網(wǎng)(Time-Triggered Ethernet,TTE)為代表的新一代航電系統(tǒng)機(jī)載網(wǎng)絡(luò)已經(jīng)在型號(hào)上取得了應(yīng)用[15]。

2.2.1 新一代機(jī)載網(wǎng)絡(luò)帶來的挑戰(zhàn)與解決方案

當(dāng)信號(hào)傳輸速率從HB6096總線100 Kbit/s、GJB 289A總線1 Mbit/s提高到100 Mbit/s的AFDX網(wǎng)絡(luò)和10 Gbit/s的FC網(wǎng)絡(luò)，機(jī)載網(wǎng)絡(luò)可傳輸?shù)臄?shù)據(jù)量極大增加。一般情況下，軟件研發(fā)人員不會(huì)為第三方測(cè)評(píng)工作專門開發(fā)適配接口控制協(xié)議(ICD)網(wǎng)絡(luò)包解析軟件。軟件第三方測(cè)評(píng)機(jī)構(gòu)開展接口數(shù)據(jù)幀遍歷測(cè)試時(shí)，測(cè)試數(shù)據(jù)格式轉(zhuǎn)換和測(cè)試用例執(zhí)行的工作量呈指數(shù)級(jí)增長(zhǎng)，給第三方測(cè)評(píng)工作帶來了巨大挑戰(zhàn)。

在項(xiàng)目研制初期與研制單位共同研發(fā)網(wǎng)絡(luò)包解析軟件，并結(jié)合接口自動(dòng)化測(cè)試工具，是新一代機(jī)載網(wǎng)絡(luò)接口遍歷測(cè)試最有效的方案，會(huì)為測(cè)評(píng)工作帶來極大便利。

2.2.2 新一代機(jī)載網(wǎng)絡(luò)接口測(cè)試重點(diǎn)

若在無網(wǎng)絡(luò)包解析軟件和自動(dòng)化測(cè)試工具的情況下，第三方測(cè)評(píng)工作應(yīng)利用現(xiàn)有資源，重點(diǎn)關(guān)注以下3個(gè)方面。

① 與研發(fā)人員共同研制簡(jiǎn)單的網(wǎng)絡(luò)包解析軟件；

② 充分分析接口控制協(xié)議，采用等價(jià)類劃分的方法對(duì)接口數(shù)據(jù)開展等價(jià)類劃分工作，盡最大可能降低工作量；

③ 除驗(yàn)證幀格式正常測(cè)試外，還需關(guān)注異常接口測(cè)試、幀數(shù)據(jù)邊界測(cè)試和幀數(shù)據(jù)濾波控制，特別是控制類幀命令的異常邏輯。

2.3 基于模型的系統(tǒng)工程的引進(jìn)

空客A380約800萬行代碼是由高安全性應(yīng)用開發(fā)環(huán)境(Safety-Critical Application Development Environment,SCADE)建模生成的，涉及電源、飛控、顯控、導(dǎo)航、發(fā)動(dòng)機(jī)等核心系統(tǒng)，極大地提升了軟件的安全性和可靠性[16]。國(guó)內(nèi)機(jī)載設(shè)備研制單位借鑒國(guó)際先進(jìn)技術(shù)理念，從傳統(tǒng)系統(tǒng)工程(Traditional Systems Engineering,TSE)向基于模型系統(tǒng)工程(MBSE)轉(zhuǎn)變[17]，并在民機(jī)領(lǐng)域取得了不錯(cuò)的成績(jī)。

民機(jī)領(lǐng)域的基于模型的開發(fā)(Model-Based Development,MBD)是最先引入軍機(jī)機(jī)載設(shè)備研制的技術(shù)，以模型的方式表達(dá)軟件功能(包括軟件架構(gòu)和軟件設(shè)計(jì))，再通過專用的工具直接生成軟件源代碼。以某型機(jī)載系統(tǒng)為例，電傳飛行控制系統(tǒng)核心控制律軟件、綜合顯控和平顯軟件使用SCADE模型工具開發(fā)，模型通過驗(yàn)證后，自動(dòng)生成符合GJB 8114等一系列編碼規(guī)范的C語言源程序，改變了傳統(tǒng)研發(fā)模式。

2.3.1 MBSE帶來的挑戰(zhàn)與解決方案

相較于傳統(tǒng)研發(fā)模式(采用自然語言描述軟件需求和軟件設(shè)計(jì)，人工編寫軟件源代碼)，MBSE代碼自動(dòng)生成技術(shù)使得第三方測(cè)評(píng)的靜態(tài)測(cè)試對(duì)象由傳統(tǒng)的軟件源代碼變?yōu)榱四Ｐ停斯ごa審查方法已不適用，如何證明模型的正確性給測(cè)評(píng)工作帶來了挑戰(zhàn)。

在民機(jī)適航驗(yàn)證領(lǐng)域，美國(guó)航空無線電委員會(huì)于2011年發(fā)布了DO-331《基于模型的開發(fā)與驗(yàn)證指南》和DO-333《DO-178C和DO-278A的形式化方法補(bǔ)充》，其中模型驗(yàn)證理念對(duì)基于模型開發(fā)的軍用軟件具有指導(dǎo)作用[18]，構(gòu)建基于模型的軟件適航驗(yàn)證體系是最優(yōu)解決方案。

2.3.2 基于模型驗(yàn)證架構(gòu)和驗(yàn)證重點(diǎn)

在構(gòu)建完善基于模型的軟件適航驗(yàn)證體系(適航目標(biāo)的符合性)前，結(jié)合當(dāng)前軍用軟件管理要求，本文設(shè)計(jì)了模型驗(yàn)證架構(gòu)，如圖2所示，其中驗(yàn)證重點(diǎn)關(guān)注以下5個(gè)方面：

圖2 模型驗(yàn)證架構(gòu)圖

① 模型評(píng)審，針對(duì)自然語言描述的需求和設(shè)計(jì)文檔或建模語言的規(guī)范模型和設(shè)計(jì)模型開展充分的評(píng)審工作，包括模型與標(biāo)準(zhǔn)的符合性分析和模型的追溯性分析；

② 模型仿真，驗(yàn)證模型符合軟件需求和軟件設(shè)計(jì)；

③ 形式化驗(yàn)證，通過對(duì)模型安全性分析進(jìn)行形式化建模，開展形式化驗(yàn)證，保證模型無非預(yù)期功能；

④ 目標(biāo)機(jī)動(dòng)態(tài)測(cè)試，在目標(biāo)機(jī)上進(jìn)行測(cè)試，與傳統(tǒng)測(cè)試方法一致；

⑤ 在驗(yàn)證過程中開展需求覆蓋分析和模型覆蓋分析，需求覆蓋分析驗(yàn)證所有的系統(tǒng)需求已經(jīng)通過模型實(shí)現(xiàn)，模型覆蓋分析驗(yàn)證模型沒有非預(yù)期的功能。

針對(duì)使用SCADE工具研發(fā)模型，驗(yàn)證工作如表1所示。

表1 基于SCADE工具模型驗(yàn)證工作表

2.4 人工智能技術(shù)應(yīng)用

當(dāng)前，世界科技正醞釀著新突破的發(fā)展格局。以人機(jī)大戰(zhàn)為標(biāo)志，人工智能發(fā)展取得了突破性進(jìn)展，并加速向軍事領(lǐng)域轉(zhuǎn)移，這必將對(duì)信息化戰(zhàn)爭(zhēng)形態(tài)產(chǎn)生沖擊甚至“顛覆性”的影響[19]。

由于機(jī)載系統(tǒng)作戰(zhàn)場(chǎng)景具有環(huán)境高復(fù)雜、博弈強(qiáng)對(duì)抗、響應(yīng)高實(shí)時(shí)、信息不完整、邊界不確定等特征，民用人工智能技術(shù)無法直接應(yīng)用于軍事領(lǐng)域[20]，當(dāng)前正處于逐步提升作戰(zhàn)應(yīng)用場(chǎng)景下感知、認(rèn)知、決策和執(zhí)行能力科研階段[21]。

當(dāng)前的機(jī)載系統(tǒng)中人工智能處于窄人工智能階段，還未達(dá)到“類人腦”的通用人工智能，主要用于提升效能和輔助決策。

2.4.1 人工智能帶來的挑戰(zhàn)與解決方案

某型雷達(dá)/電子戰(zhàn)系統(tǒng)在輔助決策模塊使用人工智能算法去除雜波干擾，采用了深度學(xué)習(xí)模型中卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)算法，通過對(duì)海量標(biāo)注樣本進(jìn)行訓(xùn)練，使用多層非線性變換方法[22]大幅降低虛假目標(biāo)檢出率，為飛行員提供精確指引。以某型雷達(dá)/電子戰(zhàn)系統(tǒng)訓(xùn)練的CNN算法為例，該系統(tǒng)具有海量的訓(xùn)練數(shù)據(jù)、復(fù)雜應(yīng)用場(chǎng)景、單一目標(biāo)檢出的概率性、不斷自我學(xué)習(xí)等特性，給第三測(cè)評(píng)帶來了嚴(yán)峻的考驗(yàn)。

傳統(tǒng)的航空機(jī)載軟件第三方測(cè)評(píng)根據(jù)軟件需求設(shè)計(jì)有限且明確的輸入組合、預(yù)期結(jié)果和通過準(zhǔn)則的測(cè)試用例，通過半物理仿真環(huán)境實(shí)施測(cè)試，得到測(cè)試結(jié)論。對(duì)該系統(tǒng)進(jìn)行軟件第三方測(cè)評(píng)時(shí)，傳統(tǒng)的測(cè)試方法無法適用，如何構(gòu)造具有足夠泛化能力的測(cè)試樣本數(shù)據(jù)、如何評(píng)價(jià)算法成熟度等成為軟件第三方測(cè)評(píng)的最大難題。

針對(duì)當(dāng)前應(yīng)用的非類人腦AI算法，第三方軟件測(cè)評(píng)機(jī)構(gòu)首選外場(chǎng)試驗(yàn)或試飛數(shù)據(jù)作為測(cè)試樣本，否則需構(gòu)造足夠大的測(cè)試樣本數(shù)據(jù)，再通過查準(zhǔn)率和召回率“定量+定性”評(píng)價(jià)算法模型的成熟度是符合當(dāng)前技術(shù)階段的解決方案，長(zhǎng)遠(yuǎn)的技術(shù)解決方案是構(gòu)建超級(jí)AI自動(dòng)化測(cè)試平臺(tái)驗(yàn)證AI軟件。

2.4.2 人工智能測(cè)試重點(diǎn)

在當(dāng)前技術(shù)解決方案下，針對(duì)嵌入人工智能算法的軟件開展第三方測(cè)評(píng)時(shí)重點(diǎn)關(guān)注如下幾個(gè)方面。

① 通過有無AI算法的兩套軟件對(duì)比驗(yàn)證，給出AI算法有效性評(píng)價(jià)。

② 設(shè)計(jì)有效的測(cè)試模型，形式化方法是解決途徑之一。

③ 構(gòu)建與訓(xùn)練數(shù)據(jù)比例合適(可以借鑒七三開模式)且足夠大的測(cè)試樣本數(shù)據(jù)，其中需包含微小輸入變化測(cè)試樣本，觀察輸出是否出現(xiàn)較大波動(dòng)來驗(yàn)證算法的魯棒性。

④ AI算法具備自身不斷自我學(xué)習(xí)的特點(diǎn)，評(píng)價(jià)結(jié)論需增加時(shí)間維度。

⑤ 基于給定的場(chǎng)景開展性能測(cè)試。

⑥ 當(dāng)AI算法測(cè)試不滿足預(yù)期時(shí)，應(yīng)從下述幾個(gè)方面逐一考慮：測(cè)試樣本數(shù)據(jù)是否符合要求、AI算法是否已完成了足夠的訓(xùn)練、AI算法參數(shù)設(shè)計(jì)是否需要調(diào)整、AI算法本身是否符合實(shí)際應(yīng)用場(chǎng)景。

3 未來發(fā)展展望

美空軍在《全球地平線》中明確提出：針對(duì)“反介入/區(qū)域拒止”抵消戰(zhàn)略由裝備技術(shù)差異化轉(zhuǎn)變?yōu)橐钥熘坡?，是否能快速引入新技術(shù)并生成戰(zhàn)斗力將決定新“抵消戰(zhàn)略”的成敗。因此，預(yù)計(jì)國(guó)內(nèi)為實(shí)現(xiàn)國(guó)土防衛(wèi)戰(zhàn)略，在未來幾年機(jī)載系統(tǒng)可能會(huì)大規(guī)模應(yīng)用新技術(shù)，提高防衛(wèi)能力，主要表現(xiàn)以下4個(gè)方面。

(1) 機(jī)載系統(tǒng)架構(gòu)進(jìn)一步升級(jí)。

機(jī)載系統(tǒng)軟件將逐步向下一代機(jī)載軟件環(huán)境架構(gòu)(Future Airborne Capability Environment，F(xiàn)ACE)遷移，F(xiàn)ACE架構(gòu)采用分層思想，將功能軟件以組件形式實(shí)現(xiàn)[23-24]。第三方測(cè)評(píng)機(jī)構(gòu)應(yīng)提前開展組件化、分布式部署和動(dòng)態(tài)重構(gòu)等測(cè)試方法的研究，開展基于FACE架構(gòu)機(jī)載系統(tǒng)全數(shù)字虛擬仿真環(huán)境的研究。

(2) 機(jī)載網(wǎng)絡(luò)迎來新一輪變革。

機(jī)載有線光纖網(wǎng)絡(luò)將向無線航空電子內(nèi)部通信(Wireless Avionics Intra-Communications,WAIC)網(wǎng)絡(luò)[25-26]轉(zhuǎn)變。第三方測(cè)評(píng)機(jī)構(gòu)應(yīng)預(yù)先開展無線網(wǎng)絡(luò)測(cè)試技術(shù)和網(wǎng)絡(luò)安全驗(yàn)證技術(shù)的研究。

(3) 民機(jī)適航理論在軍機(jī)領(lǐng)域的推廣應(yīng)用。

隨著MBSE在軍品型號(hào)不斷應(yīng)用，民機(jī)適航理論已普遍得到軍方科研項(xiàng)目管理部門認(rèn)可[27-28]，機(jī)載系統(tǒng)研制與試驗(yàn)過程將采用雙流程模式，第一種流程模式是保持當(dāng)前GJB 5000A/B軟件研發(fā)體系和GJB 2725A第三方測(cè)評(píng)體系，第二種流程模式是全面采用DO-178C民機(jī)適航體系。第三方測(cè)評(píng)機(jī)構(gòu)應(yīng)提前建立軟件適航驗(yàn)證體系，主要包含評(píng)審、測(cè)試和分析3個(gè)流程，其中分析流程是當(dāng)前最大薄弱環(huán)節(jié)，主要包含：

① 源代碼靜態(tài)分析；

② 需求覆蓋分析；

③ 結(jié)構(gòu)覆蓋分析；

④ 數(shù)據(jù)耦合和控制耦合分析；

⑤ 堆棧分析；

⑥ 最壞執(zhí)行時(shí)間分析；

⑦ 運(yùn)行時(shí)錯(cuò)誤分析；

⑧ 仿真平臺(tái)一致性分析；

⑨ 源代碼與目標(biāo)碼一致性分析。

(4) 通用人工智能將得到廣泛應(yīng)用。

全場(chǎng)景的感知、認(rèn)知、決策與執(zhí)行的“類人腦”機(jī)載系統(tǒng)首先會(huì)在無人系統(tǒng)中得到廣泛應(yīng)用[29]。屆時(shí)純?nèi)斯y(cè)試手段已無法滿足測(cè)試要求，需大力推進(jìn)自動(dòng)化測(cè)試技術(shù)與人工智能、大數(shù)據(jù)等技術(shù)相結(jié)合的研究，實(shí)現(xiàn)超級(jí)自動(dòng)化(Hyper-Automation)，構(gòu)建機(jī)器人之上的機(jī)器人[30]，應(yīng)用AI測(cè)試AI。

新技術(shù)的應(yīng)用給軟件測(cè)試帶來了新的機(jī)遇和挑戰(zhàn)，第三方軟件測(cè)評(píng)機(jī)構(gòu)應(yīng)迅速反應(yīng)，掌握新技術(shù)的背景知識(shí)、建立新技術(shù)的測(cè)試驗(yàn)證能力，盡可能縮短應(yīng)用新技術(shù)軟件研發(fā)與測(cè)試之間的適應(yīng)期。

4 結(jié)束語

本文詳述了機(jī)載嵌入式軟件第三方測(cè)評(píng)已取得的發(fā)展，分析了當(dāng)前由于新技術(shù)興起而遇到的挑戰(zhàn)，提出了解決方案和測(cè)試重點(diǎn)，并展望了機(jī)載嵌入式軟件第三方測(cè)評(píng)未來的發(fā)展方向。

軟件是技術(shù)更迭非常迅速的行業(yè)，不斷涌現(xiàn)新的軟件研發(fā)技術(shù)會(huì)牽引著新軟件測(cè)試技術(shù)發(fā)展，需要軟件測(cè)試人員不斷學(xué)習(xí)和研究新測(cè)試技術(shù)，適應(yīng)軟件研發(fā)技術(shù)步伐，有效保障機(jī)載嵌入式軟件的質(zhì)量和安全。

軟件第三方測(cè)評(píng)在今后的發(fā)展中要保證測(cè)試技術(shù)的先進(jìn)性，與軟件驗(yàn)收測(cè)試、內(nèi)部測(cè)試在技術(shù)上相互促進(jìn)，還需在評(píng)價(jià)方面取得突破，實(shí)現(xiàn)真正意義上的測(cè)試+評(píng)價(jià)。