摘 ?要：大數(shù)據(jù)和云計算的興起，對數(shù)通廠家的產(chǎn)品質(zhì)量和測試效率都提出了極高的要求。由于云計算自動化管理平臺和RF自動化管理平臺都無法解決測試過程和測試報告的管理問題、復(fù)雜環(huán)境并發(fā)問題等疑難問題。文章提出VTest的自動化測試管理平臺，實現(xiàn)測試流程、自動化開發(fā)、標(biāo)準(zhǔn)化結(jié)果輸出等集成式管理，滿足企業(yè)內(nèi)部測試、互聯(lián)網(wǎng)企業(yè)和運營商集采入圍測試的需求，可以提升測試效率，縮短測試周期，提高產(chǎn)品的質(zhì)量，加速產(chǎn)品的發(fā)布速度。

關(guān)鍵詞：自動化測試;測試管理;自動化測試開發(fā)

中圖分類號：TP311.52 ? ? 文獻標(biāo)識碼：A 文章編號：2096-4706（2020）12-0098-07

Abstract：With the rise of big data and cloud computing，the product quality and test efficiency of data communication manufacturers have put forward extremely high requirements. Because the cloud computing automation management platform and RF automation management platform can not solve the test process and test report management problems，complex environment concurrency problems and other difficult problems. This paper puts forward the VTest automated test management platform，which can realize the integrated management of test process，automatic development and standardized result output，so as to meet the needs of enterprise internal testing，internet enterprises and operatorscentralized purchase and shortens the test period，improves the product quality and accelerates the release speed of products.

Keywords：automated testing;test management;automated test development

0 ?引 ?言

成功入圍互聯(lián)網(wǎng)企業(yè)如阿里、騰訊、運營商如中國移動等的集采測試，是對廠商在業(yè)界中的領(lǐng)先地位的一種認可，集采測試每次都能吸引諸多設(shè)備廠商競爭。集采測試涉及路由器領(lǐng)域、交換機領(lǐng)域、無線領(lǐng)域和安全領(lǐng)域等，其中高端路由器和數(shù)據(jù)中心交換機集采測試是中國移動在IP數(shù)通產(chǎn)品領(lǐng)域最重要的選型測試，會從眾多國內(nèi)外產(chǎn)品供應(yīng)商里優(yōu)中選優(yōu)[1]。在路由器和交換機領(lǐng)域的設(shè)備選型過程中設(shè)置了最高測評規(guī)格，移動方基于Spirent（思博倫）和IXIA（意達康）的儀表廠商，構(gòu)建了相應(yīng)測試平臺[2]，其保密性高、測試效率高。由于移動測試人員一個人需面對多廠商產(chǎn)品的測試，在高標(biāo)準(zhǔn)的驗收條件下，如何提升測試效率是目前最主要的問題。本文章通過分析傳統(tǒng)自動化管理平臺、RF自動化管理平臺，提出了全新的VTest（Visual Test）自動化測試管理平臺，實現(xiàn)了測試用例管理、測試報告管理、測試過程管理、自動化測試管理等集中式管理，提高了測試效率，縮短了測試周期，降低了人工成本，有效地降低了外部測試的風(fēng)險。

1 ?現(xiàn)有的自動化測試管理平臺分析

云計算的自動化測試管理平臺[3]，更傾向于企業(yè)內(nèi)部的集成測試，實現(xiàn)功能型的測試，局限性較大，無法勝任中國移動集采入圍測試的相關(guān)測試要求。

RF平臺的優(yōu)勢在于較好的擴展性，支持較多第三方管理平臺如Jenkins、持續(xù)集成（Continuous Integration，CI）平臺[4]等，支持主流的開發(fā)語言。由于其開源特性，對外提供的公共庫支持有限，用戶需要基于不同的產(chǎn)品投入大量的人力和時間，以進行二次開發(fā)并進行適配。這就要求人員對自動化語言要極其熟悉，對人員水平要求極高。同時，RF缺少相應(yīng)的測試管理和測試報告管理，測試配置通過表格形式進行設(shè)置，易用性較差，穩(wěn)定性也不足。平臺運行復(fù)雜組網(wǎng)用例時需要人工逐個配置，極其耗時也容易出錯。

2 ?VTest自動化測試管理平臺

通過對比RF自動化測試管理平臺的優(yōu)劣勢，提出并設(shè)計了VTest自動化測試管理平臺，其優(yōu)勢如表1所示。

2.1 ?VTest自動化測試管理平臺架構(gòu)

互聯(lián)網(wǎng)業(yè)務(wù)和運營商網(wǎng)絡(luò)都具有周期短、質(zhì)量要求高等特點，銳捷網(wǎng)絡(luò)公司為了更好地控制人力成本、縮短產(chǎn)品交付周期、提升產(chǎn)品的測試效率、提高產(chǎn)品的交付質(zhì)量，分析研究了云計算自動化測試管理平臺和RF自動化測試管理平臺無法解決的復(fù)雜場景組網(wǎng)測試、可視化測試管理等問題，基于測試儀表廠商Spirent和IXIA的配套儀表，提出了VTest自動化測試管理平臺，通過分級分層的測試平臺架構(gòu)，實現(xiàn)了測試用例、測試腳本等的統(tǒng)一管理，具有上手快、自動化開發(fā)效率高、維護簡單等優(yōu)點，其封裝的QuickCall和自帶的Native API擴展功能可以解決復(fù)雜的疊加應(yīng)用場景，并支持多廠家的測試報告輸出，輸出報告統(tǒng)一并且完整，方便對過程的跟蹤和問題的排查。如圖1所示，將整體分為表示層、邏輯層、封裝層、接口層和物理層。

用戶基于可視化操作界面，發(fā)送相應(yīng)的測試指令給測試資源、被測設(shè)備以及測試儀表，完成對測試拓撲的管理。

2.2 ?VTest自動化測試管理平臺實現(xiàn)與應(yīng)用

2.2.1 ?VTest自動化測試管理平臺實現(xiàn)的動能

（1）測試用例庫管理：實現(xiàn)記錄測試項目名稱、測試廠家信息、測試軟件版本號以及測試用例名稱等測試用例管理功能。

（2）自動化測試管理：根據(jù)測試用例的設(shè)計要求，實現(xiàn)自動化公共庫設(shè)計、自動化腳本開發(fā)、自動化腳本調(diào)試等自動化相關(guān)功能。

（3）測試過程管理：按照項目測試要求，在自動化測試管理平臺下發(fā)全局的功能配置、測試動作與拓撲對應(yīng)關(guān)系配置，把以上配置結(jié)果分別下發(fā)給被測設(shè)備與測試儀表，完成測試用例的測試。同時，通過測試過程的監(jiān)控，實現(xiàn)對被測設(shè)備的設(shè)備信息、測試表項、設(shè)備回顯、測試指標(biāo)等信息的監(jiān)控功能。

（4）測試報告管理：自動化測試管理平臺提取登記內(nèi)容、測試時間、測試過程以及測試結(jié)果等信息自動生成測試報表，同時實現(xiàn)對測試結(jié)果的瀏覽和打印功能。

2.2.2 ?VTest自動化測試管理平臺的應(yīng)用

（1）應(yīng)用于企業(yè)內(nèi)部測試：自動化測試管理平臺可實現(xiàn)對測試全流程的監(jiān)控，并提供了可靠的自動化測試解決方案，通過可視化的人際交互界面和標(biāo)準(zhǔn)化的測試報告，解決了成長性企業(yè)內(nèi)部自動化率低、測試流程混亂以及無嚴(yán)格的測試報告審核等問題。該平臺的使用讓本公司的產(chǎn)品的自動化率從10%提升到80%、測試效率提升了8倍，縮短了產(chǎn)品研發(fā)的周期，提高了產(chǎn)品入市的速度，有效地降低了40%的成本。

（2）應(yīng)用于互聯(lián)網(wǎng)企業(yè)入圍測試：由于互聯(lián)網(wǎng)產(chǎn)品的版本迭代快、測試內(nèi)容多、效率要求高等特點，自動化測試管理平臺支持CI平臺的聯(lián)動，通過QuickCall與Response Maps的組合，使測試用例轉(zhuǎn)化為快速的自動化測試，利用平臺的拓撲管理功能，實現(xiàn)服務(wù)器、虛擬機、物理PC機、被測設(shè)備和測試儀表的多套并發(fā)與拓撲自動切換，結(jié)合CI平臺實現(xiàn)自定義時間段的執(zhí)行與測試驗證，極大程度上減低了人工成本的投入。單測試用例執(zhí)行周期從60分鐘/個提升到6分鐘/個，測試效率提升10倍，有效地縮短了測試回歸周期，提升了測試用例的復(fù)用率。

（3）應(yīng)用于運營商集采測試：針對運營商集采測試周期短、用例復(fù)雜度高、測試要求嚴(yán)苛等特點，利用自動化測試管理平臺的可視化界面，結(jié)合報文的回放和錄制功能生成千萬級路由轉(zhuǎn)發(fā)流量;利用測試用例隨機、測試端口隨機等隨機算法，實現(xiàn)了測試用例隨機概率的觸發(fā);再進一步通過圖形化人機交互功能，實現(xiàn)10臺被測設(shè)備的復(fù)雜組網(wǎng);由自動化測試管理平臺統(tǒng)一調(diào)用800個測試儀表端口，實現(xiàn)瞬時的并發(fā)操作，從而完成7*24 h穩(wěn)定的長時間的自動化拷機測試。該平臺的使用讓環(huán)境搭建周期從7天縮短到1天，測試效率提升7倍，大大降低了測試的復(fù)雜度，提高了測試的質(zhì)量，減少了人工操作的耗時以及手工任務(wù)的錯誤概率，提升了企業(yè)入圍集采測試的可能，降低了入圍集采測試失敗的風(fēng)險。

VTest自動化測試管理平臺提出了可視化的自動化測試管理，統(tǒng)一了操作規(guī)范和測試流程，解決了傳統(tǒng)自動化的資源獨占性問題。其通過測試拓撲的自動切換，提升了被測設(shè)備、被測儀表等測試資源的利用率，較好地縮短了項目的測試周期。該平臺解決了云計算自動化測試管理平臺下應(yīng)用場景局限性的問題，能更好地適應(yīng)復(fù)雜的、嚴(yán)苛的、較大規(guī)模的測試場景;解決了RF自動化框架穩(wěn)定性差、開發(fā)效率低的問題，保證了自動化測試管理平臺的穩(wěn)態(tài)運行，提高了自動化腳本的開發(fā)效率，從而進一步提升了測試的效率。

2.2.3 ?VTest自動化測試管理平臺的提升效果

文章分析了業(yè)界多平臺多架構(gòu)的優(yōu)劣勢，VTest自動化測試管理平臺采用分層架構(gòu)，以高效率、高可用、高可靠、擴展性強為設(shè)計準(zhǔn)則，滿足多廠商的適應(yīng)復(fù)雜性環(huán)境、多功能、高性能、大容量、能完成7*24 h測試的測試需求。VTest平臺通過對運維管理工具的整合和對測試流程的管控，實現(xiàn)了產(chǎn)品質(zhì)量與測試管理方面的創(chuàng)新性突破。借助這一全新的平臺，參與集采測試的廠商實現(xiàn)了產(chǎn)品質(zhì)量與測試管理水平、測試工作交付效率的大幅度提升，從而不斷降低測試成本與入圍測試出局的風(fēng)險。

3 ?結(jié) ?論

VTest自動化測試管理平臺是集成測試用例設(shè)計和執(zhí)行的解決方案，可用于測試用例的快速開發(fā)、自動化和維護以及標(biāo)準(zhǔn)化測試報告的管理。該平臺能靈活應(yīng)對企業(yè)內(nèi)部測試、互聯(lián)網(wǎng)企業(yè)集采測試、運營商集采測試等業(yè)務(wù)場景的挑戰(zhàn)，避免自動化測試項目可能遭遇的各種陷阱。其更完美地提供給客戶定制化的解決方案，嚴(yán)格地遵循產(chǎn)品開發(fā)和測試過程中的最佳實踐方案。對比現(xiàn)有的自動化管理平臺，VTest提升了自動化腳本開發(fā)的效率，提高了測試用例的復(fù)用率，提升了產(chǎn)品的質(zhì)量，有效地縮短了產(chǎn)品測試周期，極大地降低了人工成本，完全可以適應(yīng)今天和未來所面臨的各項挑戰(zhàn)。

參考文獻：

[1] 周俊.運營商產(chǎn)品測試機制研究 [J].電信技術(shù)，2014（3）：8-11.

[2] 蒙克.思博倫通信：測試為ICT產(chǎn)業(yè)保駕護航 [N].網(wǎng)絡(luò)世界，2013-04-29（8）.

[3] 林奇.基于云計算的測試管理平臺 [J].科技傳播，2013，5（17）：227-228+192.

[4] 張晨，姚莉.基于RF的自動化測試腳本設(shè)計與應(yīng)用 [J].電子技術(shù)與軟件工程，2014（1）：103-104.

[5] WELCH B B.Tcl/Tk編程權(quán)威指南 [M].崔凱，譯.北京：中國電力出版社，2002.

作者簡介：賀宏達（1986.10—），男，漢族，湖南耒陽人，中級工程師，本科，研究方向：數(shù)通產(chǎn)品測試、軟件黑盒測試。