夏佳佳，鄒毅軍，周江偉，王天民，曹勝莉

(上?？屏盒畔⒐こ逃邢薰荆虾！?00233)

?

嵌入式軟件自動化測試系統(tǒng)研究

夏佳佳，鄒毅軍，周江偉，王天民，曹勝莉

(上?？屏盒畔⒐こ逃邢薰?，上海200233)

嵌入式軟件系統(tǒng)的測試通常需要對其被控對象或者環(huán)境進(jìn)行仿真，以進(jìn)行硬件在環(huán)的閉環(huán)驗證，在軟件測試中很有必要將被控對象的實(shí)時仿真模型與被測系統(tǒng)連接起來進(jìn)行閉環(huán)測試;在總結(jié)分析嵌入式測試領(lǐng)域新需求的基礎(chǔ)上，提出了一種基于分布式仿真測試環(huán)境的嵌入式軟件自動化測試系統(tǒng);該系統(tǒng)具有較強(qiáng)的測試管理能力，以實(shí)時仿真機(jī)為核心，以及接口的模塊化定制，實(shí)現(xiàn)了對系統(tǒng)動態(tài)特性的半實(shí)物仿真軟硬件環(huán)境，很好地解決了嵌入式系統(tǒng)內(nèi)存資源較少，與硬件緊密相關(guān)等問題。

嵌入式軟件；閉環(huán)測試；自動化測試；實(shí)時仿真機(jī)

0　引言

嵌入式系統(tǒng)是集軟硬件于一體的可獨(dú)立工作的器件，主要包括嵌入式微處理器、外圍硬件設(shè)備、嵌入式操作系統(tǒng)以及應(yīng)用軟件系統(tǒng)。隨著嵌入式軟件系統(tǒng)的規(guī)模逐步擴(kuò)大，軟件系統(tǒng)測試環(huán)境在實(shí)際軟件開發(fā)測試中的作用也日益顯著，隨著嵌入式軟件在軍用和民用領(lǐng)域的快速發(fā)展，嵌入式軟件發(fā)揮了舉足輕重的作用，對嵌入式軟件的質(zhì)量也提出了更高的要求。多年來，國內(nèi)外學(xué)者在嵌入式軟件測試環(huán)境的構(gòu)建方法進(jìn)行了活躍的研究，文獻(xiàn)[1]針對綜合模塊化航電軟件提出了一種仿真測試環(huán)境構(gòu)建方法。文獻(xiàn)[2]利用系統(tǒng)建模語言SysML來描述系統(tǒng)開發(fā)與測試環(huán)境。文獻(xiàn)[3]則針對多核嵌入式軟件提出了一種新的自動化測試環(huán)境。另外，利用分布式仿真測試環(huán)境(Distributed Simulation Testing Environment，DSTE)對嵌入式軟件進(jìn)行測試是目前國內(nèi)外公認(rèn)行之有效的手段[4]，而大量測試數(shù)據(jù)在仿真模型之間的實(shí)時通訊、收集和分布節(jié)點(diǎn)之間的傳輸是分布式仿真測試環(huán)境的設(shè)計難點(diǎn)。針對這個問題，北京航空航天大學(xué)的研究者提出了一種應(yīng)用代理模式和批處理雙緩存區(qū)模式的方法，解決了分布式仿真測試環(huán)境實(shí)時數(shù)據(jù)處理的關(guān)鍵技術(shù)[5]，其軟件體系結(jié)構(gòu)可以滿足功能復(fù)雜、有大量的命令和數(shù)據(jù)處理需求的仿真系統(tǒng)測試。嵌入式軟件測試工具之間的主要區(qū)別在于采用的總線和硬件接口、處理器、硬件拓?fù)浣Y(jié)構(gòu)和軟件開發(fā)語言等方面。目前面向嵌入式軟件測試的工具還比較少，主要體現(xiàn)在缺乏軟件測試過程管理，面向軟件測試的測試腳本測試建模能力較差[6-7]。

嵌入式軟件的自動化測試，即利用測試腳本來自動控制嵌入式軟件的運(yùn)行，并且自動收集相關(guān)數(shù)據(jù)進(jìn)行分析，最終生成相應(yīng)的測試報告。結(jié)合國內(nèi)外測試工具的優(yōu)缺點(diǎn)，本文提出了一種基于QuiKLab軟件和RT-LAB軟件的嵌入式軟件自動化測試系統(tǒng)，該系統(tǒng)使用專業(yè)建模工具對被測系統(tǒng)的內(nèi)部特征與外部環(huán)境進(jìn)行仿真建模，并把仿真模型裝載到實(shí)時系統(tǒng)上。測試腳本通過各種I/O板卡與被測系統(tǒng)進(jìn)行通訊，從而建立起一個硬件在環(huán)的實(shí)時閉環(huán)測試環(huán)境。QuiKLab是上海科梁信息工程有限公司經(jīng)多年研發(fā)的一個產(chǎn)品，它是一個開放的平臺，能夠與RT-LAB實(shí)時仿真平臺無縫集成。RT-LAB軟件是加拿大OPAL-RT公司的集成化實(shí)時仿真環(huán)境的旗艦產(chǎn)品。RT-LAB集成了在線參數(shù)調(diào)節(jié)、信號獲取、數(shù)據(jù)錄入和信號示波器等一些最常用的便利功能，使模型開發(fā)和測試變得更容易；并可將運(yùn)算負(fù)載分配到多個目標(biāo)機(jī)上，可對大型復(fù)雜的硬件在環(huán)(HIL)和快速控制原型(RCP)應(yīng)用的模型的實(shí)時仿真進(jìn)行分布式并行計算。

1　系統(tǒng)設(shè)計

1.1系統(tǒng)總體構(gòu)成

本系統(tǒng)采用分布式架構(gòu)，方便擴(kuò)展和升級，即測試開發(fā)管理主機(jī)和目標(biāo)仿真機(jī)架構(gòu)，主機(jī)和目標(biāo)機(jī)之間采用以太網(wǎng)通訊，目標(biāo)機(jī)之間采用1394B通信。系統(tǒng)支持分布式仿真測試和實(shí)時并行運(yùn)算，每個測試主機(jī)都可以連接一個或者多個仿真計算機(jī)單獨(dú)的部署，用于系統(tǒng)中相對獨(dú)立的子系統(tǒng)的仿真與測試，系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1　系統(tǒng)結(jié)構(gòu)圖

測試開發(fā)管理主機(jī)主要安裝QuiKLab軟件、RT-LAB主機(jī)模塊、Matlab軟件，其實(shí)現(xiàn)的功能包括測試開發(fā)管理、實(shí)時仿真模型開發(fā)、測試用例建立、測試任務(wù)建立、圖形化監(jiān)控、測試任務(wù)執(zhí)行。實(shí)時仿真測試目標(biāo)機(jī)安裝REDHAT LINUX 實(shí)時操作系統(tǒng)、RT-LAB目標(biāo)機(jī)模塊以及I/O和總線板卡，其主要功能是完成系統(tǒng)實(shí)時模型解算及實(shí)時I/O端口配置和通訊。實(shí)時仿真目標(biāo)機(jī)提供了豐富的I/O接口，測試腳本通過目標(biāo)機(jī)的通訊接口模塊與被測系統(tǒng)進(jìn)行通訊。

Matlab/Simulink仿真建模軟件主要實(shí)現(xiàn)對與被測系統(tǒng)的內(nèi)特征與外部環(huán)境進(jìn)行仿真建模，如建立被測系統(tǒng)外圍的動力學(xué)模型、傳感器和執(zhí)行器模型。RT-LAB實(shí)時仿真平臺集成了強(qiáng)實(shí)時仿真內(nèi)核，具有高精度實(shí)時核心調(diào)度能力和I/O功能。在QuiKLab自動化測試管理軟件中集成了常用的RT-LAB仿真管理軟件功能，可以運(yùn)行單獨(dú)RT-LAB仿真管理軟件執(zhí)行程序，也可以在QuiKLab自動化測試管理軟件中調(diào)用仿真管理界面實(shí)現(xiàn)模型編譯、分配、運(yùn)行控制等功能。QuiKLab自動化測試管理軟件通過實(shí)時調(diào)用仿真管理軟件功能，從而按照測試用例及測試流程的要求實(shí)時控制仿真模型、調(diào)整仿真模型參數(shù)和實(shí)施故障注入功能。本文提出的嵌入式軟件自動化測試系統(tǒng)框架圖如圖2所示。

圖2　嵌入式軟件自動化測試系統(tǒng)框架圖

1.2測試開發(fā)管理分系統(tǒng)

測試開發(fā)管理計算機(jī)運(yùn)行在Windows操作系統(tǒng)下，是系統(tǒng)開發(fā)平臺、監(jiān)控平臺以及人機(jī)操作界面，可以在測試開發(fā)管理計算機(jī)完成系統(tǒng)的測試用例設(shè)計、測試管理、分布式模型開發(fā)、調(diào)試、以及試驗數(shù)據(jù)的監(jiān)控記錄等任務(wù)。測試開發(fā)管理計算機(jī)能將復(fù)雜的系統(tǒng)模型分割成若干子系統(tǒng)模型，通過主控制模塊實(shí)現(xiàn)實(shí)時二進(jìn)制代碼的自動生成，并分配到多個仿真計算機(jī)(或仿真計算機(jī)上 的多核)上實(shí)時并行運(yùn)算，使運(yùn)算能夠在規(guī)定的步長內(nèi)完成，保證了系統(tǒng)的實(shí)時性要求。測試開發(fā)管理計算機(jī)制定測試任務(wù)，將測試任務(wù)生成測試腳本，并執(zhí)行測試，實(shí)時獲取來自目標(biāo)機(jī)分系統(tǒng)仿真測試計算結(jié)果數(shù)據(jù)。測試開發(fā)管理計算機(jī)最后按照指定的模板生成測試報告文檔。圖3是主機(jī)上部署的軟件的模塊組成，其主要功能是支持測試工程管理、測試開發(fā)管理和測試運(yùn)行控制；提供測試腳本驅(qū)動仿真模型測試的功能；支持各種測試類型用例設(shè)計，包括正常/異常功能測試、性能測試、邊界測試、強(qiáng)度測試；能夠進(jìn)行在線監(jiān)控，支持示波器、表盤、開關(guān)量、指示燈等方式顯示；能夠通過TCP/IP實(shí)現(xiàn)模型仿真的控制，包括模型下載，節(jié)點(diǎn)分配，仿真執(zhí)行，停止等操作。

圖3　測試開發(fā)管理計算機(jī)軟件構(gòu)成

1.3實(shí)時仿真計算機(jī)分系統(tǒng)

圖5　系統(tǒng)工作流程圖

實(shí)時仿真計算機(jī)是本系統(tǒng)的控制實(shí)現(xiàn)層與設(shè)備層，它是實(shí)現(xiàn)系統(tǒng)動態(tài)特性、I/O接口功能的仿真與控制實(shí)現(xiàn)平臺。實(shí)時仿真計算機(jī)硬件運(yùn)算能力強(qiáng)，實(shí)時性好，系統(tǒng)運(yùn)行的實(shí)時精度最高可以達(dá)到10μs級別；提供100多種第三方I/O和總線板卡的驅(qū)動，如A429、1553B、串口、反射內(nèi)存卡等；具備對網(wǎng)絡(luò)、MIL-STD-1553B、CAN、A/D、D/A、DI/DO、RS232/RS422及非標(biāo)準(zhǔn)接口板的管理、驅(qū)動功能。實(shí)時仿真計算機(jī)上運(yùn)行系統(tǒng)仿真與控制模型，這些模型在測試主機(jī)上用Simulink建立，并通過上位機(jī)軟件編譯并下載到仿真計算機(jī)上運(yùn)行。實(shí)時仿真計算機(jī)分系統(tǒng)實(shí)現(xiàn)的功能包括：被控對象與環(huán)境動力學(xué)模型實(shí)時運(yùn)行、外部執(zhí)行器與傳感器的模擬與激勵、與被測目標(biāo)系統(tǒng)的I/O與通訊接口。

在本系統(tǒng)中，實(shí)時仿真計算機(jī)分系統(tǒng)由2臺通用實(shí)時測試目標(biāo)機(jī)組成。它們之間通過1394B總線連接，所有I/O都通過仿真計算機(jī)中運(yùn)行的仿真模型控制，這樣實(shí)現(xiàn)了I/O的遠(yuǎn)程分布與擴(kuò)展。它們的內(nèi)部構(gòu)成與相互連接關(guān)系如圖4所示。

圖4　實(shí)時仿真計算機(jī)分系統(tǒng)構(gòu)成

從上述仿真計算機(jī)的設(shè)計可以看出，這種設(shè)計方案實(shí)現(xiàn)了運(yùn)算能力的分布式實(shí)現(xiàn)與I/O的分布式部署。既能夠保證運(yùn)算能力滿足動態(tài)特性模型結(jié)算的要求，又可以實(shí)現(xiàn)I/O數(shù)量的擴(kuò)展，因此能很好地解決模型運(yùn)算能力與I/O數(shù)量的要求。試驗進(jìn)行時，仿真目標(biāo)計算機(jī)與被測系統(tǒng)等設(shè)備通過I/O硬線連接，系統(tǒng)動態(tài)特性與仿真的動力學(xué)模型在仿真機(jī)上實(shí)時運(yùn)行，并能夠模擬出被測目標(biāo)系統(tǒng)所需的各種傳感器與執(zhí)行器的信號，用于激勵控制器。這些參數(shù)可以發(fā)送到測試管理主機(jī)在線顯示，也可以存儲在本地硬盤上以備試驗結(jié)束后離線分析。

2　系統(tǒng)工作流程

本系統(tǒng)的工作流程以軟件流程為主，硬件為程控設(shè)備或者板卡，不需要手動操作，完全可以通過軟件的設(shè)置或者模型控制，工作流程如圖5所示。首先，根據(jù)被測系統(tǒng)的接口需求在MATLAB/Simulink建模軟件中建立被測系統(tǒng)外圍接口模型，該模型主要為接口模塊的設(shè)置，針對串口、CAN、1553B等總線類接口只需要在模型中放入相應(yīng)的驅(qū)動模塊，設(shè)置部分可以在QuiKLab中實(shí)現(xiàn)。RT-LAB仿真管理軟件可以實(shí)現(xiàn)被測系統(tǒng)外圍接口模型的編譯和節(jié)點(diǎn)分配等功能，編譯過的模型是可以在Redhat系統(tǒng)下運(yùn)行的可執(zhí)行程序。根據(jù)被測系統(tǒng)測試需求文檔的要求定義通訊鏈路的協(xié)議、編寫測試用例、制定測試流程。最后，在QuiKLab自動測試管理軟件先運(yùn)行編譯過的被測系統(tǒng)外圍接口模型，再執(zhí)行測試流程，測試流程執(zhí)行完畢會打印出測試結(jié)論及測試報告。

QuiKLab采用流程化的測試用例管理方式，在測試用例界面中將測試流程設(shè)計成由一系列事件和動作組成的測試流程框架，根據(jù)實(shí)際需求選擇合適的事件和動作組織成測試需求中規(guī)定的測試流程。每個事件或動作都可以看作是測試流程中的一個測試步驟，測試步驟可以是從被測系統(tǒng)收數(shù)據(jù)，也可以是發(fā)送數(shù)據(jù)給被測系統(tǒng)，也可以是條件判斷。以下是一個簡單的使用事件和動作組成完整的測試流程的例子。假設(shè)測試流程的需求如圖6所示。

圖6　測試需求流程圖

那么，使用本方法創(chuàng)建的測試流程如圖7所示。

圖7　測試流程例子

在測試用例設(shè)計界面中，以流程樹的形式供用戶設(shè)計測試流程，軟件能夠?qū)⒂脩粼O(shè)計好的測試流程自動生成Python語言的測試腳本。測試腳本序列在運(yùn)行時，通過驅(qū)動仿真測試平臺的I/O驅(qū)動和通訊接口與被測系統(tǒng)通訊，激勵被測系統(tǒng)做出各種響應(yīng)。事件的類型有外部事件、內(nèi)部事件、系統(tǒng)事件、同步事件。外部事件指測試系統(tǒng)接收到被測系統(tǒng)的消息，或者測試系統(tǒng)接收到外部其他系統(tǒng)的消息；內(nèi)部指測試系統(tǒng)內(nèi)部產(chǎn)生的事件，如判斷某個觸發(fā)變量的值是否滿足指定的條件，若滿足則此事件觸發(fā)；系統(tǒng)事件可以設(shè)置定時或周期事件，如指定在某個時間此事件觸發(fā)、在某個時間段內(nèi)此事件一直觸發(fā)等；同步事件用來做同步用，當(dāng)某個或多個同步信號滿足了設(shè)定的同步條件后，此同步事件就會觸發(fā)。動作的類型有發(fā)送TCP/UDP/串口消息、發(fā)送CAN總線消息、發(fā)送1553B總線消息、設(shè)置1553B RT數(shù)據(jù)、延時、動作控制、比較期望值、自定義動作、流程結(jié)束等。

系統(tǒng)均提供了相應(yīng)的故障注入設(shè)置方式，在設(shè)計測試用例時，可以在測試用例的流程編輯界面中設(shè)置是否需要故障注入以及故障注入的方式等。當(dāng)測試用例中發(fā)送消息時指定了故障，則在處理該消息時軟件會自動先處理事先設(shè)計的故障，并按照故障邏輯的結(jié)果完成故障注入。所有故障注入時要發(fā)送的數(shù)據(jù)，均可以直接指定一個固定值，或者從文件讀取，或者從其它物理接口獲取等。

3　實(shí)驗性能分析

本文對該系統(tǒng)進(jìn)行了測試，測試開發(fā)管理主機(jī)硬件配置如下：聯(lián)想S30工作站，Intel 4核CPU(3.06 GHz)，16 GB 內(nèi)存，1TB SATA硬盤，1 GB顯卡，預(yù)裝Windows 7 Pro.64bit 中文版，24" LCD顯示器。實(shí)時仿真計算機(jī)分系統(tǒng)由2臺通用實(shí)時測試目標(biāo)機(jī)組成，它們之間通過1394B總線連接，機(jī)箱中的I/O都通過仿真計算機(jī)中運(yùn)行的仿真模型控制。實(shí)時測試目標(biāo)機(jī)具體配置如下：標(biāo)準(zhǔn)4U高度上架機(jī)箱，Intel 3.2 GHz雙核處理器，4 GB內(nèi)存，運(yùn)行REDHAT LINUX 實(shí)時操作系統(tǒng)，提供7個PCI插槽，安裝有各種總線功能卡。

經(jīng)本文測試，系統(tǒng)性能指標(biāo)達(dá)到了較高的能力：1)測試動作之間的延時精度最小精度能達(dá)到100 μs；2)支持強(qiáng)度測試，短時間處理、大數(shù)據(jù)處理、并行處理；3)數(shù)字I/O采集信號誤差絕對值不大于0.1 ms；4)強(qiáng)實(shí)時處理能力達(dá)到10 μs?？梢?，本文提出的分布式仿真測試系統(tǒng)對實(shí)時系統(tǒng)性的測試性能提升效果是非常顯著的。

4　結(jié)束語

基于本文提出的分布式仿真測試環(huán)境已經(jīng)成功應(yīng)用于某通訊鏈路故障注入項目以及其他國防軍事裝備項目中。本文提出的系統(tǒng)具有如下關(guān)鍵特點(diǎn)和優(yōu)勢：1)提供一站式可視化的測試管理環(huán)境，大大簡化測試管理工作；2)運(yùn)算速度快，實(shí)時性好；3)開放性平臺，提供C/C++，Python，Labview等API，圖形化監(jiān)控軟件界面可以根據(jù)用戶需求定制；4)擴(kuò)展能力強(qiáng)，能夠通過添加PCI板卡的方式得到更多的I/O與數(shù)據(jù)通道。另外，本系統(tǒng)是一種分布式實(shí)時仿真平臺，其硬件平臺基于當(dāng)前速度最快的主流硬件平臺。本系統(tǒng)還支持運(yùn)算能力的并行分布，能夠在多臺仿真機(jī)上擴(kuò)展模型。目前該系統(tǒng)已經(jīng)可以滿足絕大多數(shù)航空、航天、兵器等領(lǐng)域強(qiáng)實(shí)時嵌入式軟件的測試需求。

[1] 周慶，劉斌，余正偉，等．綜合模塊化航電軟件仿真測試環(huán)境研究[J].航空學(xué)報，2012,33(4):722-733.

[2] Friedenthal S，Moore A，Steiner R．Integrating SysML into a systems development environment[M].A Practical Guide to SysML．2nd ed．[S.1.]: Elsevier,2012:523-556.

[3] Koonga C S，Shihb C，Hsiungc P A，et al．Automatic testing environment for multi-Core embedded software ATEMES[J]．The Journal of Systems and Software，2012，85(1)：43-60.

[4] 劉暢,劉斌,蔣崇武.嵌入式軟件仿真測試環(huán)境實(shí)時數(shù)據(jù)處理研究[J].計算機(jī)工程與技術(shù)，2009,30(7):1561.

[5] 劉斌.嵌入式軟件可靠性仿真測試系統(tǒng)研究[J].北京航空航天大學(xué)學(xué)報,2000，26(4)：490-493.

[6] ADS2：Avionics development system 2nd generation[EB/OL]. www.techsat.com,2004.

[7] GESTE：GESTE產(chǎn)品介紹[EB/OL]. www.antares-testing.corn/File.asp,2007.

Research on Automatic Test Platform for Embedded Software

Xia Jiajia, Zou Yijun, Zhou Jiangwei, Wang Tianmin, Cao Shengli

(Shanghai Keliang Information Tech.& Eng.Co.,Ltd.,Shanghai200233,China)

The simulation of controlled object and environment are usually required for embedded software system testing to achieve the purpose of Hardware-In-Loop (HIL) verification. It is necessary to connect both the real time simulation model of controlled object and software to be tested to perform HIL testing. Based on the analysis of latest needs of embedded testing,a system platform in accordance with test automation of embedded software based on Distributed Simulation Testing Environment is proposed in this paper. The testing system implanted with powerful test management function,composed with not only the real-time simulation device as its core but also the modular customization of device interface connected,which actualizes the system level HIL hardware and software simulation environment of dynamic testing of embedded software system and brings out a solution that perfectly handles the defects of embedded system such as deficiency of memory and tightly related with hardware and so on.

embedded software; in-loop verification; automatic test; real-time simulation device

1671-4598(2016)04-0022-04DOI：10.16526/j.cnki.11-4762/tp.2016.04.007

TP273

A

2015-07-29；

2015-11-12。

夏佳佳(1987-)，女，浙江舟山人，碩士，工程師，主要從事嵌入式軟件自動化測試系統(tǒng)和測試?yán)碚摰难芯浚摂M現(xiàn)實(shí)及其可視化技術(shù)方向的研究。