陳洪邦 李孝成

南京翼輝信息技術(shù)有限公司 南京 210000

引言

隨著物聯(lián)網(wǎng)的發(fā)展，使用不同硬件平臺、不同操作系統(tǒng)和安裝各種軟件的嵌入式設(shè)備被不斷的研發(fā)生產(chǎn)出來，安裝在這些設(shè)備中的嵌入式軟件系統(tǒng)變得多種多樣。多種設(shè)備為在各個設(shè)備中安裝的嵌入式軟件系統(tǒng)提供多種執(zhí)行環(huán)境，但是會產(chǎn)生錯誤。因此，考慮到可能在執(zhí)行這些嵌入式系統(tǒng)功能中出現(xiàn)的錯誤，需要提前對嵌入式系統(tǒng)進(jìn)行測試。

在與對應(yīng)于真實(shí)環(huán)境的目標(biāo)環(huán)境端口連接之前的主機(jī)環(huán)境下，根據(jù)基于許多情況的多種用戶情景來測試嵌入式系統(tǒng)。在主機(jī)環(huán)境下展開的情景可以在目標(biāo)環(huán)境下再現(xiàn)。由于可以將嵌入式系統(tǒng)與具有多種硬件特性和軟件環(huán)境的目標(biāo)環(huán)境端口連接，并進(jìn)行操作，所以在完成嵌入式系統(tǒng)的開發(fā)之前，嵌入式系統(tǒng)需要進(jìn)行多種情景詳細(xì)且深入的測試。存在一種傳統(tǒng)的測試方法，使用商業(yè)化的自動測試工具，以便向嵌入式軟件單向發(fā)送命令。

單獨(dú)加載嵌入式軟件系統(tǒng)的多個電子設(shè)備在通過通信接口發(fā)送和接收數(shù)據(jù)的同時執(zhí)行每個嵌入式系統(tǒng)功能。各個嵌入式系統(tǒng)的特性相互不同(例如，不同操作系統(tǒng)或者不同CPU架構(gòu))，因此問題可能不僅由一個嵌入式系統(tǒng)引起而且也由多個嵌入式系統(tǒng)之間的交互引起。在后者的情況下，在執(zhí)行各個嵌入式系統(tǒng)功能的時間差、嵌入式軟件在接口上的效果等可以引起多種不期望的問題。

因此，基于針對單個嵌入式系統(tǒng)的單向命令發(fā)送的傳統(tǒng)測試難以再現(xiàn)特性相互不同的多個嵌入式系統(tǒng)之間的交互中、發(fā)送和接收數(shù)據(jù)的交互操作等中發(fā)生的多種問題。要覆蓋多種交互情景，傳統(tǒng)測試是不靈活的，驗(yàn)證與多種情況相對應(yīng)的情景的成本較高，浪費(fèi)了時間和勞動力，難以精確測試。

針對上述嵌入式系統(tǒng)測試驗(yàn)證問題，本文提出一種嵌入式系統(tǒng)的自動化測試裝置和測試方法，根據(jù)此方法實(shí)現(xiàn)一套基于Sylix OS嵌入式系統(tǒng)的自動化測試系統(tǒng)作為一種解決方案，解決嵌入式系統(tǒng)外設(shè)眾多、交互場景復(fù)雜、硬件平臺和軟件平臺(包括操作系統(tǒng)和軟件)多樣的測試和驗(yàn)證工作量巨大且難以覆蓋的難題。

1 系統(tǒng)總體設(shè)計(jì)

1.1 自動化測試裝置設(shè)計(jì) 自動化測試裝置由三個功能組件組成，上位機(jī)、工具代理、目標(biāo)代理；上位機(jī)是一臺安裝Windows操作系統(tǒng)(也可以是Linux或Mac OS)的電腦，上位機(jī)上部署了自動化測試系統(tǒng)人機(jī)操作界面，人機(jī)界面使用跨平臺C＋＋圖形用戶界面應(yīng)用程序開發(fā)框架Qt開發(fā)；工具代理是具備完整嵌入式系統(tǒng)功能的板卡或設(shè)備；目標(biāo)代理是被測目標(biāo)對象，一般是具備嵌入式系統(tǒng)功能的板卡或嵌入式設(shè)備。

自動化測試裝置的連接拓?fù)淙鐖D11所示，上位機(jī)、工具代理和目標(biāo)代理之間需要通過網(wǎng)線連接，并給三個設(shè)備分配同網(wǎng)段的IP地址，以便于網(wǎng)絡(luò)通信。根據(jù)測試需求的需要，測試工具與被測目標(biāo)之間可以通過各種總線連接，例如網(wǎng)口、串口、I2 C、CAN、SPI等，被測目標(biāo)也可以通過HDMI連接顯示器輸出圖像。

圖1.1 自動化測試裝置連接拓?fù)?/p>

1.2 系統(tǒng)軟件架構(gòu)設(shè)計(jì) 自動化測試系統(tǒng)軟件架構(gòu)分為三個部分，上位機(jī)軟件、工具代理軟件和目標(biāo)代理軟件，上位機(jī)軟件主要承擔(dān)整個系統(tǒng)的業(yè)務(wù)流程控制和人機(jī)交互界面；工具代理軟件承擔(dān)測試用例的執(zhí)行管理和測試執(zhí)行協(xié)作，如按照用例設(shè)計(jì)的順序執(zhí)行等；目標(biāo)代理軟件需要完成在測試前置條件滿足情況下，執(zhí)行測試用例，并向測試工具和上位機(jī)反饋測試結(jié)果和上傳測試日志文件。嵌入式系統(tǒng)的自動化測試系統(tǒng)架構(gòu)如圖12所示。

圖1.2 嵌入式系統(tǒng)的自動化測試系統(tǒng)架構(gòu)

2 軟件設(shè)計(jì)

2.1 上位機(jī)軟件設(shè)計(jì) 上位機(jī)軟件是自動化測試系統(tǒng)的人機(jī)操作主界面。主要功能包括測試用例和測試負(fù)載的管理，包括增加、刪除、修改、保存等功能；設(shè)備拓?fù)涔芾?、與工具代理和設(shè)備代理的消息通信和文件傳輸；對XML和JSON格式文件的管理，測試業(yè)務(wù)流程控制、測試報告生成和打印，日志文件收集、查看、分析等，負(fù)載監(jiān)控和系統(tǒng)設(shè)置等。

2.1.1 測試配置流程 測試配置主要目標(biāo)是根據(jù)測試需求生成目標(biāo)代理執(zhí)行的測試場景文件，如圖2.3所示。測試場景文件以XML文件保存，一般包括測試用例和測試負(fù)載。

根據(jù)測試需求，首先需要配置測試用例和測試負(fù)載，生成測試用例文件和測試負(fù)載文件，這兩種以JSON文件保存；測試用例和測試負(fù)載文件結(jié)構(gòu)一般又劃分成測試集、測試用例和測試項(xiàng)，以樹形結(jié)構(gòu)組織；在配置測試場景時，可以直接選擇配置好的測試用例和測試負(fù)載的內(nèi)容作為測試場景文件的測試項(xiàng)，添加到測試場景文件中的測試項(xiàng)也可以根據(jù)待測板卡的硬件參數(shù)進(jìn)行測試項(xiàng)參數(shù)的調(diào)整，并不會影響被引用的測試用例或測試負(fù)載文件中的測試項(xiàng)。

因此，測試用例和測試負(fù)載文件可以被復(fù)用，測試場景中測試參數(shù)也可以動態(tài)調(diào)整，大大提高了測試效率，降低用例管理的復(fù)雜度。

圖2.1 測試配置流程

2.1.2 啟動測試流程 啟動測試流程是自動化測試系統(tǒng)的核心流程，首先，需要啟動執(zhí)行工具代理和目標(biāo)代理上的軟件程序，在Sylix OS中啟動的命令是/apps/test_tool&，/apps/test_target&。啟動上位機(jī)軟件，在系統(tǒng)設(shè)置中配置自動化測試執(zhí)行的必需參數(shù)。其次，需要在上位機(jī)的測試場景中勾選待執(zhí)行的測試用例和測試負(fù)載，點(diǎn)擊啟動執(zhí)行。最后在測試分析中查看測試報告和測試產(chǎn)生的日志文件。啟動測試后的三個組件之間具體交互流程，詳見圖2.2。

圖2.2 啟動測試流程

2.2 工具代理軟件設(shè)計(jì)

2.2.1 業(yè)務(wù)主流程 工具代理軟件負(fù)責(zé)交互命令應(yīng)答，XML解析，測試流程控制，測試執(zhí)行和分派測試任務(wù)給目標(biāo)代理，并更新測試項(xiàng)執(zhí)行鏈表中的測試結(jié)果和測試日志路徑，然后再上報上位機(jī)。業(yè)務(wù)流程，如圖2.3所示。

2.3 目標(biāo)代理軟件設(shè)計(jì)

2.3.1 業(yè)務(wù)主流程 目標(biāo)代理軟件負(fù)責(zé)執(zhí)行負(fù)載程序和測試用例，并向測試工具和上位機(jī)反饋測試結(jié)果和上傳測試日志文件，業(yè)務(wù)具體流程，如圖2.4所示。

2.3.2 負(fù)載監(jiān)控流程 負(fù)載監(jiān)控流程主要是周期性的上報監(jiān)控?cái)?shù)據(jù)到上位機(jī)，具體業(yè)務(wù)流程，如圖2.5所示。

圖2.3 工具代理軟件主流程

圖2.4 目標(biāo)代理軟件主流程

圖2.5 負(fù)載監(jiān)控流程

3 系統(tǒng)驗(yàn)證

自動化測試系統(tǒng)驗(yàn)證的步驟是：

1、進(jìn)行系統(tǒng)設(shè)置；

2、配置設(shè)備拓?fù)洌?/p>

3、配置測試用例和測試負(fù)載；

4、配置測試場景；

5、啟動測試，執(zhí)行測試用例；

6、生成測試報告，查看測試日志，進(jìn)行測試分析。

3.1 系統(tǒng)設(shè)置 進(jìn)行系統(tǒng)設(shè)置，主要對后續(xù)軟件運(yùn)行需要用到的默認(rèn)目錄、默認(rèn)設(shè)備拓?fù)湮募湍J(rèn)系統(tǒng)通信端口號進(jìn)行設(shè)置，如圖3.1所示。

圖3.1 系統(tǒng)設(shè)置對話框

3.2 配置設(shè)備拓?fù)?配置設(shè)備拓?fù)?，目前只支持一個工具代理設(shè)備管理一個目標(biāo)代理設(shè)備，后續(xù)業(yè)務(wù)場景需要，也可以擴(kuò)展成一對多，主要是配置上位機(jī)IP，工具節(jié)點(diǎn)設(shè)備和目標(biāo)代理設(shè)備的IP和通信端口，如圖3.2所示。

圖3.2 設(shè)備拓?fù)涔芾?/p>

3.3 配置測試用例 增加測試集、測試用例、測試項(xiàng)，進(jìn)行配置測試用例并保存，以便于后續(xù)在配置測試場景時使用，如圖3.3所示。

圖3.3 測試用例管理對話框

3.4 配置測試場景 增加選中的測試用例到測試場景中，配置測試場景，如圖3.4所示。

圖3.4 增加選中測試用例到測試場景中

3.5 執(zhí)行測試用例 執(zhí)行選中的測試用例，如圖3.5所示。

圖3.5 執(zhí)行選中測試用例

3.6 測試分析 生成和查看測試報告，查看測試日志文件，進(jìn)行測試分析，如圖3.6所示。

圖3.6 生成測試報告和查看日志記錄

結(jié)語

本文探討了現(xiàn)有嵌入式系統(tǒng)的傳統(tǒng)測試方法存在的不足，設(shè)計(jì)了基于Sylix OS操作系統(tǒng)的自動化測試裝置和自動化測試系統(tǒng)。從測試裝置設(shè)計(jì)和測試系統(tǒng)軟件設(shè)計(jì)兩個方面介紹了該系統(tǒng)的實(shí)現(xiàn)方法。最后，該系統(tǒng)已經(jīng)過全面完備的驗(yàn)證，根據(jù)翼輝信息研發(fā)部和測試部工作中的測試需求，配置測試用例和測試負(fù)載，生成測試場景文件，下發(fā)到工具代理和目標(biāo)代理機(jī)上執(zhí)行，并對自動化用例執(zhí)行結(jié)果進(jìn)行分析，對該自動化測試系統(tǒng)進(jìn)行了詳細(xì)的驗(yàn)證，已達(dá)到該系統(tǒng)設(shè)計(jì)的初衷。在研發(fā)過程中，使用此系統(tǒng)輔助測試人員和開發(fā)人員進(jìn)行嵌入式系統(tǒng)的自動化測試，提升了測試效率，節(jié)約測試時間和人力，提高測試覆蓋率，可以更早發(fā)現(xiàn)系統(tǒng)錯誤(BUG)并快速進(jìn)行回歸測試，提升產(chǎn)品質(zhì)量。此測試系統(tǒng)只要稍加修改，就可以用于基于其他操作系統(tǒng)的嵌入式設(shè)備的自動化測試驗(yàn)證。