孫曉韓，李 寧，于 楊，楊子儀，張 林

(北京信息科技大學(xué) 網(wǎng)絡(luò)文化與數(shù)字傳播北京市重點(diǎn)實(shí)驗(yàn)室，北京 100101)

0 引 言

產(chǎn)品測(cè)試文檔是一類特殊的文檔，它記錄產(chǎn)品測(cè)試活動(dòng)留下的記錄，并作為交付物，供產(chǎn)品的相關(guān)方使用，是產(chǎn)品的重要組成部分。這類文檔的特點(diǎn)是與測(cè)試項(xiàng)目的數(shù)據(jù)有緊密聯(lián)系，種類繁多內(nèi)容復(fù)雜。此外，這類文檔有嚴(yán)格的編制要求，存在大量的測(cè)試規(guī)范和文檔編制規(guī)范[1-2]。文獻(xiàn)[3]總結(jié)了軟件文檔編制的四方面要求：(1)準(zhǔn)確性：產(chǎn)品文檔描述的內(nèi)容要與實(shí)際情況保持一致，并反映產(chǎn)品的最新更新；(2)完整性：產(chǎn)品文檔中能夠系統(tǒng)、詳盡地描述產(chǎn)品所提供的全部功能；(3)及時(shí)性：產(chǎn)品文檔可隨時(shí)按需獲得；(4)可用性：文檔可以指導(dǎo)目標(biāo)用戶高效地完成工作。這些要求對(duì)于其他種類的文檔編制也是必要的。

文檔的計(jì)算機(jī)輔助編制技術(shù)，特別是軟件產(chǎn)品的文檔編制技術(shù)研究已有很長(zhǎng)的歷史[4-5]。以往的計(jì)算機(jī)輔助軟件文檔編寫(xiě)手段主要有：(1)通過(guò)辦公軟件、Dita[6]等寫(xiě)作工具或手工編寫(xiě)或填充模板；(2)通過(guò) MarkDown[7]、reStructedText[8]等工具輔助，在軟件開(kāi)發(fā)過(guò)程中對(duì)代碼進(jìn)行標(biāo)記，自動(dòng)化地或半自動(dòng)化地生成文檔；(3)使用軟件工具自動(dòng)記錄數(shù)據(jù)并生成文檔；(4)開(kāi)發(fā)專用的文檔編寫(xiě)軟件。這些文檔編制方法都存在各自的優(yōu)缺點(diǎn)。

首先第一種方法編寫(xiě)的文檔可讀性較好，但是主要依靠人工，費(fèi)時(shí)費(fèi)力，難以做到與系統(tǒng)同步更新；第二種方法能夠做到與系統(tǒng)同步更新，但是需要進(jìn)行大量的標(biāo)注，帶來(lái)額外的負(fù)擔(dān)，且生成的文檔類型有限，可讀性較差；第三種方法自動(dòng)化程度較高，但需要完善的軟件工程環(huán)境的支持，一般工具形成的文檔難以做到規(guī)范和全面，且難以進(jìn)行靈活定制；第四種方法需要為不同的項(xiàng)目開(kāi)發(fā)文檔系統(tǒng)，而今天人們更希望以“低代碼”的方式適應(yīng)產(chǎn)品的變化。此外，當(dāng)前大部分文檔都是靜態(tài)的，難以按需展現(xiàn)數(shù)據(jù)內(nèi)容或?qū)崿F(xiàn)交互式的信息檢索。

當(dāng)前隨著軟硬件開(kāi)發(fā)技術(shù)的快速演進(jìn)，以往的文檔編制過(guò)程也顯得低效而難以適應(yīng)需要。以測(cè)試文檔為例，軟件測(cè)試是軟件工程的重要環(huán)節(jié)，其主要產(chǎn)物是測(cè)試文檔。測(cè)試文檔要反映測(cè)試過(guò)程的活動(dòng)，包括測(cè)試計(jì)劃、測(cè)試需求、測(cè)試流程、缺陷跟蹤和記錄，等等。特別是大型軟件測(cè)試經(jīng)常包含成千上萬(wàn)個(gè)測(cè)試用例，記錄這些測(cè)試案例和測(cè)試結(jié)果，使得測(cè)試文檔的編寫(xiě)工作量很大。另一方面，敏捷開(kāi)發(fā)方法和DevOps[9]的應(yīng)用，強(qiáng)調(diào)持續(xù)集成(Continuous Integration，CI)和持續(xù)交付(Continuous Delivery，CD)，使得傳統(tǒng)的測(cè)試文檔編制過(guò)程難以適應(yīng)，一方面頻繁的迭代和更新導(dǎo)致文檔延遲交付，另一方面找不到掌握全面信息的文檔編制人員，文檔的開(kāi)發(fā)成為了影響項(xiàng)目進(jìn)展的瓶頸。

隨著近年人工智能和自然語(yǔ)言處理技術(shù)的發(fā)展，計(jì)算機(jī)輔助寫(xiě)作技術(shù)逐漸成熟。廣義的計(jì)算機(jī)輔助寫(xiě)作(Computer Aided Writing， CAW)以數(shù)據(jù)和知識(shí)為基礎(chǔ)，將知識(shí)管理與認(rèn)知技術(shù)相結(jié)合，輔助人工完成文檔的編寫(xiě)[10]。在CAW中，數(shù)據(jù)到文本的生成(Data to Text，D2T)技術(shù)與該文關(guān)系較大。目前該領(lǐng)域已經(jīng)取得了較多的研究進(jìn)展，業(yè)界已經(jīng)研制出面向不同領(lǐng)域和應(yīng)用的多個(gè)生成系統(tǒng)，如基于數(shù)值數(shù)據(jù)生成天氣預(yù)報(bào)文本[11]、體育新聞[12]、財(cái)經(jīng)報(bào)道、醫(yī)療報(bào)告等[13]。數(shù)據(jù)到文本的生成技術(shù)一般包括以下階段：數(shù)據(jù)的分析和理解，文本的規(guī)劃以及遣詞造句[14]。

測(cè)試文檔的編寫(xiě)也可以看作是從測(cè)試記錄和測(cè)試數(shù)據(jù)生成測(cè)試報(bào)告文本的過(guò)程。數(shù)據(jù)到文本的生成技術(shù)可以為之提供很好的借鑒。例如，可以基于測(cè)試規(guī)范構(gòu)建測(cè)試過(guò)程的知識(shí)本體，通過(guò)對(duì)測(cè)試數(shù)據(jù)的分析，將其映射到知識(shí)本體，形成知識(shí)表達(dá)，然后借助測(cè)試文檔模板和內(nèi)容生成規(guī)則，最終生成測(cè)試文檔。此外，可以借助CAW的動(dòng)態(tài)模板技術(shù)和復(fù)合出版[15]的特點(diǎn)，在遵循測(cè)試文檔編寫(xiě)規(guī)范的前提下，根據(jù)數(shù)據(jù)的形態(tài)個(gè)性化地展現(xiàn)報(bào)告內(nèi)容。例如，對(duì)于重復(fù)的測(cè)試項(xiàng)，自動(dòng)形成子章節(jié)內(nèi)容，對(duì)于統(tǒng)計(jì)數(shù)據(jù)，根據(jù)需要展現(xiàn)成表格和圖表，或借助智能標(biāo)記和插件對(duì)測(cè)試結(jié)果進(jìn)行檢索。

綜上，針對(duì)文檔編制過(guò)程中的低效問(wèn)題，該文按上述思路提出一種基于知識(shí)提取的測(cè)試文檔自動(dòng)生成方法，其可以實(shí)現(xiàn)測(cè)試文檔的自動(dòng)生成，有效提升了現(xiàn)實(shí)中軟件產(chǎn)品測(cè)試的智能性、可復(fù)用性以及自動(dòng)化程度。

1 測(cè)試文檔生成方法及模型設(shè)計(jì)

該文的目標(biāo)是為計(jì)算機(jī)產(chǎn)品的質(zhì)量測(cè)試開(kāi)發(fā)測(cè)試數(shù)據(jù)管理與測(cè)試文檔生成系統(tǒng)。希望能夠支持多類軟件的測(cè)試，能夠?qū)y(cè)試結(jié)果進(jìn)行語(yǔ)義檢索，能夠跨平臺(tái)運(yùn)行，能夠保持測(cè)試文檔的實(shí)時(shí)更新。經(jīng)過(guò)調(diào)研得知，在計(jì)算機(jī)產(chǎn)品的質(zhì)量測(cè)試中，一個(gè)被測(cè)系統(tǒng)一般由多部分子系統(tǒng)構(gòu)成，每個(gè)部分均按多個(gè)測(cè)試項(xiàng)、多個(gè)指標(biāo)和多輪次測(cè)試開(kāi)展測(cè)試，有一套預(yù)先設(shè)計(jì)的電子表格文檔用于記錄測(cè)試數(shù)據(jù)，不同類型的被測(cè)產(chǎn)品對(duì)應(yīng)不同的電子表格記錄。一個(gè)中等規(guī)模的測(cè)試項(xiàng)目大約包含50張電子表格，500多項(xiàng)測(cè)試數(shù)據(jù)，一個(gè)復(fù)雜系統(tǒng)的數(shù)據(jù)量會(huì)數(shù)倍于它?？梢?jiàn)數(shù)據(jù)的規(guī)模和復(fù)雜程度是很高的。一個(gè)典型的記錄測(cè)試數(shù)據(jù)的電子表格局部如圖1所示。

圖1 一個(gè)典型的記錄測(cè)試數(shù)據(jù)的電子表格(局部)

一般的測(cè)試文檔自動(dòng)生成系統(tǒng)會(huì)簡(jiǎn)單建立電子表格單元格到測(cè)試文檔模板中標(biāo)識(shí)項(xiàng)的映射，通過(guò)模板填充生成測(cè)試文檔[16]。但是這樣處理會(huì)存在多個(gè)問(wèn)題：(1)無(wú)法對(duì)測(cè)試數(shù)據(jù)進(jìn)行有效的管理和后續(xù)利用，例如對(duì)測(cè)試結(jié)果進(jìn)行動(dòng)態(tài)查詢；(2)深度依賴被測(cè)的產(chǎn)品的種類，如果換一種產(chǎn)品則需要重新編程，無(wú)法達(dá)到“低代碼”的目標(biāo)；(3)缺少靈活性，記錄測(cè)試數(shù)據(jù)的電子表格一旦結(jié)構(gòu)發(fā)生變化，將需要重建映射。

筆者認(rèn)為，要改進(jìn)上述問(wèn)題，需要一種有效的方式來(lái)管理測(cè)試數(shù)據(jù)。由于測(cè)試數(shù)據(jù)記錄與具體的被測(cè)產(chǎn)品相關(guān)，靈活多變，要將其體現(xiàn)在標(biāo)準(zhǔn)的測(cè)試文檔內(nèi)容中，構(gòu)建的流程如下：

第一步：對(duì)不同類型產(chǎn)品的測(cè)試數(shù)據(jù)進(jìn)行分析和知識(shí)提取，得到測(cè)試結(jié)果的結(jié)構(gòu)化語(yǔ)義表示；第二步：將提取后的測(cè)試結(jié)果結(jié)構(gòu)化表示映射到通用的測(cè)試本體，形成穩(wěn)定、通用的知識(shí)表示并加以存儲(chǔ)；第三步：構(gòu)造知識(shí)本體到測(cè)試文檔的映射關(guān)系，將測(cè)試結(jié)果通過(guò)模板填充或格式轉(zhuǎn)換形成測(cè)試文檔。其中，第一步對(duì)應(yīng)D2T的數(shù)據(jù)理解過(guò)程；第三步對(duì)應(yīng)D2T的文本規(guī)劃和遣詞造句過(guò)程；其中第二步是該文特有的。在自然語(yǔ)言處理中，D2T生成的是自由的文本，不需要特定的結(jié)構(gòu)和格式約束，而測(cè)試文檔需要符合相關(guān)的編制規(guī)范，對(duì)于不同的產(chǎn)品測(cè)試類型，測(cè)試文檔的撰寫(xiě)方式是基本一致的，因此需要對(duì)測(cè)試結(jié)果進(jìn)行規(guī)范化的表示并保存到測(cè)試知識(shí)庫(kù)中。

圖2 測(cè)試文檔生成過(guò)程(1)

圖3 軟件文檔生成過(guò)程(2)

2 測(cè)試數(shù)據(jù)理解與知識(shí)提取

大量的電子表格中的測(cè)試數(shù)據(jù)是以非關(guān)系型的方式記錄的，例如，圖1中有多個(gè)表格嵌套，不符合關(guān)系型范式。因此需要與之相適合的層次模型表示數(shù)據(jù)及其關(guān)系，XML數(shù)據(jù)顯然是最好的選擇。從自由設(shè)計(jì)的電子表格中提取出XML并非易事。例如，圖1的電子表格并沒(méi)有明確的與XML數(shù)據(jù)的對(duì)應(yīng)關(guān)系。為此需要進(jìn)行表格邏輯結(jié)構(gòu)的識(shí)別，以獲得測(cè)試數(shù)據(jù)的知識(shí)表示。

設(shè)計(jì)了以下的表格邏輯結(jié)構(gòu)識(shí)別算法。

從邏輯結(jié)構(gòu)來(lái)看，表格模板是由單元格集合C和單元格間關(guān)聯(lián)關(guān)系集合R組成的一種數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)。其中單元格集合C為：

C={c|c∈T1∪T2}

(1)

式中，T1={Header},T2={Data,HeaderData}。Data表示數(shù)據(jù)型單元格，在表格模板中，Data不含內(nèi)容。Header表示表頭型單元格，它是一種只含表頭信息而不含數(shù)據(jù)信息的單元格。HeaderData表示表頭數(shù)據(jù)型單元格，它既含表頭信息，又能被填入數(shù)據(jù)。

單元格間關(guān)聯(lián)關(guān)系分為兩種：層次關(guān)系(表示為Hie)和指示關(guān)系(表示為Ind)。層次關(guān)系集合H為：

(2)

(3)

R=H∪I

(4)

圖4 表格模板示例

(5)

如果所有單元格兩兩不重復(fù)組合形成的集合為P，則：

P=R∪N

(6)

由此可知，若要提取表格的邏輯結(jié)構(gòu)，必須要確定表格的單元格集合C和單元格間關(guān)聯(lián)關(guān)系集合R。其中，C的確立依賴于表頭型單元格集合T1、其他單元格集合T2的確立，即表頭型單元格的識(shí)別。并且，關(guān)聯(lián)關(guān)系集合R是在已知T1、T2集合的基礎(chǔ)上建立的，故表頭識(shí)別是邏輯結(jié)構(gòu)識(shí)別的首要任務(wù)。

該文構(gòu)造了一種全連接神經(jīng)網(wǎng)絡(luò)分類器來(lái)區(qū)分Header和HeaderData。神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層和輸出層組成，它依靠神經(jīng)元內(nèi)的激活函數(shù)構(gòu)造輸入與輸出的非線性關(guān)系。全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。經(jīng)驗(yàn)證，在表頭識(shí)別任務(wù)中，隱含層采用ReLU激活函數(shù)比其他激活函數(shù)更能使模型快速地趨于收斂，所以在隱含層該文方法采用ReLU激活函數(shù)。在輸出層，由于Softmax函數(shù)可以將多分類轉(zhuǎn)化為概率，所以該文方法采用Softmax激活函數(shù)。此外，針對(duì)分類問(wèn)題，交叉熵函數(shù)便于梯度下降反向傳播，因此，采用交叉熵函數(shù)作為網(wǎng)絡(luò)的損失函數(shù)。

圖5 全連接神經(jīng)網(wǎng)絡(luò)的整體結(jié)構(gòu)

為了在反向傳播中降低交叉熵，需要以一定的力度調(diào)整網(wǎng)絡(luò)參數(shù)。交叉熵與參數(shù)的偏導(dǎo)數(shù)指明了以多大力度調(diào)整該參數(shù)，以W11為例，經(jīng)過(guò)一次反向傳播后，它的新值Wnew11更新情況如公式(7)所示：

(7)

式中，ETotal為交叉熵，η為學(xué)習(xí)速率。經(jīng)過(guò)多次反向傳播，網(wǎng)絡(luò)參數(shù)可以更新為最優(yōu)值。

網(wǎng)絡(luò)的配置參數(shù)如表1所示。其中Full為隱含層，η為學(xué)習(xí)速率。

表1 全連接神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)

在關(guān)聯(lián)關(guān)系識(shí)別中，首先剔除絕對(duì)無(wú)關(guān)聯(lián)的單元格對(duì)，然后基于規(guī)則將表格分割成較小的邏輯塊，再應(yīng)用 Siamese-BiLSTM 模型對(duì)其進(jìn)行關(guān)聯(lián)關(guān)系識(shí)別，并根據(jù)識(shí)別結(jié)果中相關(guān)聯(lián)的單元格對(duì)，構(gòu)建表格邏輯結(jié)構(gòu)樹(shù)。對(duì)應(yīng)圖1，識(shí)別出的邏輯結(jié)構(gòu)樹(shù)見(jiàn)圖6。

圖6 圖1的表格邏輯結(jié)構(gòu)識(shí)別結(jié)果(簡(jiǎn)化表示)

電子表格理解的具體算法詳見(jiàn)文獻(xiàn)[17]。

3 測(cè)試知識(shí)庫(kù)構(gòu)建

如前文所述，在獲得測(cè)試數(shù)據(jù)的知識(shí)表示之后，為了形成規(guī)范的測(cè)試文檔，需要構(gòu)建一個(gè)通用、穩(wěn)定的測(cè)試知識(shí)本體。由于測(cè)試的概念體系是一個(gè)典型樹(shù)狀結(jié)構(gòu)，并不適合用關(guān)系型數(shù)據(jù)來(lái)描述，因此采用XML Schema來(lái)描述測(cè)試數(shù)據(jù)的本體結(jié)構(gòu)，對(duì)應(yīng)圖1，測(cè)試知識(shí)本體的局部結(jié)構(gòu)如圖7所示。

為了將來(lái)有效利用測(cè)試數(shù)據(jù)，并為測(cè)試文檔生成做準(zhǔn)備，需要有效管理各個(gè)測(cè)試項(xiàng)目的Kp，為此采用XML數(shù)據(jù)庫(kù)管理系統(tǒng)eXist來(lái)進(jìn)行測(cè)試知識(shí)的管理。

eXist是一個(gè)開(kāi)源的原生XML數(shù)據(jù)庫(kù)管理系統(tǒng)[18]，能夠很好地支持?jǐn)?shù)據(jù)索引，支持XSLT，XQuery和Java開(kāi)發(fā)，特別是能夠支持無(wú)預(yù)定義的存儲(chǔ)結(jié)構(gòu)，這樣能夠很好地適應(yīng)測(cè)試數(shù)據(jù)結(jié)構(gòu)的變化。此外eXist可以通過(guò)建立共享目錄和文件拷貝簡(jiǎn)便地實(shí)現(xiàn)數(shù)據(jù)入庫(kù)，對(duì)于非專業(yè)的測(cè)試人員非常方便。

圖7 測(cè)試知識(shí)本體的局部結(jié)構(gòu)

eXist數(shù)據(jù)庫(kù)的基本概念包括文檔集(collection)、資源(resource)和文檔(document)。eXist通過(guò)collection將一系列數(shù)據(jù)文件聚集起來(lái)，存儲(chǔ)所有文件的元數(shù)據(jù)以及多個(gè)resource。resource中以命名空間為單位存儲(chǔ)多條XML數(shù)據(jù)(document)。在該文的系統(tǒng)中，每一類測(cè)試項(xiàng)目c對(duì)應(yīng)一個(gè)collection，其中包含各個(gè)pc的resource以及存放Kp的測(cè)試數(shù)據(jù)document。有了測(cè)試知識(shí)庫(kù)，便可以著手生成測(cè)試文檔了。

4 測(cè)試文檔自動(dòng)生成

對(duì)于所有的測(cè)試項(xiàng)目，測(cè)試文檔均為符合標(biāo)準(zhǔn)的規(guī)范形式，這種形式一般用模板來(lái)表達(dá)。但是一般使用的靜態(tài)報(bào)告模板存在以下幾個(gè)問(wèn)題。首先，難以處理動(dòng)態(tài)變化的數(shù)據(jù)，例如對(duì)空的測(cè)試項(xiàng)進(jìn)行去除，或?qū)χ貜?fù)的測(cè)試項(xiàng)增加動(dòng)態(tài)分節(jié)；其次，難以根據(jù)測(cè)試數(shù)據(jù)的特點(diǎn)按需展示內(nèi)容，例如對(duì)于表格形式的數(shù)據(jù)，難以提供選擇以最適合的圖表(chart)形式來(lái)呈現(xiàn)；再有，人們習(xí)慣了紙質(zhì)的測(cè)試文檔，而作為電子形式的測(cè)試文檔理應(yīng)有更豐富的交互方式，例如通過(guò)插件或智能標(biāo)簽來(lái)裁剪或定位報(bào)告中的特定內(nèi)容，或?qū)y(cè)試結(jié)果進(jìn)行查詢統(tǒng)計(jì)。

為支持文檔的動(dòng)態(tài)生成能力，采用局部模板，以自底向上的方式來(lái)生成測(cè)試文檔。為測(cè)試文檔的各個(gè)部分設(shè)計(jì)了局部的模板ti，每個(gè)ti可能有多個(gè)候選{ti1,ti2,…}，根據(jù)數(shù)據(jù)的呈現(xiàn)要求來(lái)選用，全部ti組成測(cè)試文檔的模板集合T，

ti∈T,0

ReportGeneration(Kp,T)

i=1;

whilei<=N

{

for eachti∈T

{

定位Kp的位置，得到數(shù)據(jù)d;

按d的特點(diǎn)和呈現(xiàn)要求選擇ti中的候選模板tij，tij∈ti;

用d填充tij，生成測(cè)試文檔的第i部分;

}

}

if需要?jiǎng)討B(tài)查詢等擴(kuò)展功能

{

構(gòu)造基于XQuery查詢程序；

生成查詢插件或智能標(biāo)簽；

}

項(xiàng)目要求將測(cè)試文檔保存成為Microsoft Word文檔形式，為降低對(duì)Microsoft Office產(chǎn)品的依賴，沒(méi)有采用Office SDK，而基于OOXML的開(kāi)源接口POI[19]來(lái)開(kāi)發(fā)模板。如果需要生成HTML形式的測(cè)試文檔，可使用XSLT構(gòu)造測(cè)試文檔的轉(zhuǎn)換式樣單，此處不作贅述。這種在不同介質(zhì)上按需生成文檔的能力，體現(xiàn)了復(fù)合出版的思想。圖8是該文生成的測(cè)試文檔部分內(nèi)容。

圖8 生成的測(cè)試文檔(部分)

5 結(jié)束語(yǔ)

運(yùn)用數(shù)據(jù)到文本的生成理論，提出了一種基于知識(shí)提取的測(cè)試文檔生成方法。該方法首先對(duì)原始的測(cè)試記錄數(shù)據(jù)進(jìn)行分析和理解，重點(diǎn)進(jìn)行電子表格的表頭識(shí)別和單元格關(guān)聯(lián)關(guān)系識(shí)別，抽取出XML形式的表格邏輯關(guān)系分析結(jié)果；其次按照預(yù)先設(shè)計(jì)的、標(biāo)準(zhǔn)化的測(cè)試本體，將表格邏輯關(guān)系分析結(jié)果轉(zhuǎn)換成規(guī)范的知識(shí)表達(dá)，存放在XML數(shù)據(jù)庫(kù)中，形成測(cè)試知識(shí)庫(kù)；最后依次用知識(shí)庫(kù)中的數(shù)據(jù)填充文檔局部模板，逐步獲得整體的測(cè)試文檔。該方法體現(xiàn)了如下的創(chuàng)新性：

較好的通用性和“低代碼”，可以支持多類測(cè)試和多個(gè)測(cè)試項(xiàng)目。在不同的測(cè)試類型之間切換時(shí)，只需要自動(dòng)識(shí)別新的電子表格測(cè)試記錄，并替換第3節(jié)中的Tp即可。另外，如果測(cè)試項(xiàng)目對(duì)測(cè)試文檔的展現(xiàn)形式有特殊的要求，可以定制模板和腳本，此外無(wú)需更多的編程，避免了重復(fù)開(kāi)發(fā)工作。

通過(guò)對(duì)測(cè)試數(shù)據(jù)的知識(shí)提取，避免了原始測(cè)試記錄的不穩(wěn)定性，利于測(cè)試結(jié)果有效利用。雖然在測(cè)試過(guò)程中受各種因素影響，難以保證測(cè)試人員自始至終采用一致的電子表格記錄數(shù)據(jù)，但是只要表格的邏輯結(jié)構(gòu)不變，總能從中得到正確的知識(shí)表示。另外規(guī)范化的知識(shí)表示可以用于后續(xù)對(duì)測(cè)試結(jié)果的各種查詢、統(tǒng)計(jì)和分析。

在填充局部模板的基礎(chǔ)上生成整體測(cè)試文檔，避免了傳統(tǒng)靜態(tài)模板帶來(lái)的缺點(diǎn)，能夠較好地處理動(dòng)態(tài)的數(shù)據(jù)，并按需展示數(shù)據(jù)內(nèi)容，同時(shí)可以擴(kuò)充交互式的數(shù)據(jù)訪問(wèn)能力。

系統(tǒng)有較好的跨平臺(tái)能力，采用開(kāi)放的標(biāo)準(zhǔn)和開(kāi)源軟件進(jìn)行開(kāi)發(fā)，不依賴于特定的商業(yè)軟件。

取得的成果已經(jīng)通過(guò)驗(yàn)收，成功應(yīng)用于中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院的產(chǎn)品測(cè)試部門(mén)，從浩繁的測(cè)試數(shù)據(jù)中生成一份測(cè)試文檔只需要幾分鐘的時(shí)間，在近期大負(fù)荷的信創(chuàng)產(chǎn)品測(cè)試任務(wù)中發(fā)揮了重要作用。

在未來(lái)可以繼續(xù)改進(jìn)的方面有：

(1)考慮將RDF等知識(shí)表示語(yǔ)法用于測(cè)試知識(shí)的表示，以期更高效地實(shí)現(xiàn)對(duì)測(cè)試結(jié)果的語(yǔ)義檢索；

(2)構(gòu)建更為靈活的文檔模板集合，配合智能化的作文規(guī)則，進(jìn)一步提高測(cè)試文檔的可讀性；

(3)將成果推廣到其他領(lǐng)域的文檔編制，針對(duì)敏捷開(kāi)發(fā)和DevOps等開(kāi)發(fā)模式特點(diǎn)，探討從不同來(lái)源的原始數(shù)據(jù)生成完整的、規(guī)范的產(chǎn)品文檔的可能性。