劉 維，何冬輝，楊攀飛

（1.工業(yè)和信息化部電子第五研究所，廣州 511300；2.基礎(chǔ)軟硬件性能與可靠性測評工業(yè)和信息化部重點實驗室，廣州 511300）

0 引言

中間件是連接軟件組件或企業(yè)應(yīng)用程序的軟件［1］，其主要作用是屏蔽底層系統(tǒng)和通信的異構(gòu)性，進而支撐應(yīng)用實現(xiàn)穩(wěn)定、可靠和高并發(fā)運行，并簡化應(yīng)用的開發(fā)流程［2］。它開始于操作系統(tǒng)之上的一些附加功能，以促進復(fù)雜應(yīng)用程序的開發(fā)，然后發(fā)展了數(shù)據(jù)集成功能，后來成為網(wǎng)絡(luò)應(yīng)用程序的促進者，最終成為每個分布式環(huán)境、應(yīng)用程序、系統(tǒng)和平臺的重要組成部分。到目前為止，任何類型的分布式系統(tǒng)或應(yīng)用程序都能找到中間件或一些涉及的中間件功能。通常，它支持復(fù)雜的分布式業(yè)務(wù)軟件應(yīng)用程序［1］。

作為三大基礎(chǔ)軟件之一，中間件是信息系統(tǒng)建設(shè)項目不可缺少的核心組件，與操作系統(tǒng)、數(shù)據(jù)庫具備同樣的戰(zhàn)略高度。中間件實現(xiàn)的范圍是多種多樣的，從面向通信的中間件到面向組件的應(yīng)用服務(wù)器［3］。目前國際通用的中間件技術(shù)標(biāo)準(zhǔn)主要有由SUN 公司提出的Java EE、微軟的COM+/.NET 框架以及公共對象請求代理體系結(jié)構(gòu)（common object request broker architec?ture，CORBA）/CORBA 組件模型（CCM）［4］。在政策的指引下，國內(nèi)涌現(xiàn)出了一批國產(chǎn)化中間件產(chǎn)品，并廣泛應(yīng)用在各個行業(yè)與領(lǐng)域，現(xiàn)階段的國產(chǎn)中間件的核心訴求主要集中在應(yīng)用中間件。

目前在中國市場，主要的中間件廠商（組織）有8 家，其中3 家來自美國，5 家為國內(nèi)廠商，國內(nèi)廠商因受到政策驅(qū)動，市場保持穩(wěn)定發(fā)展態(tài)勢［5］。在8 家中間件廠商的主打中間件產(chǎn)品中，7 家為商業(yè)產(chǎn)品，1 家為開源產(chǎn)品，8 家廠商均通過了Jakarta EE 8規(guī)范兼容測試認證。

獲得系統(tǒng)性能特征的常用方法是通過基準(zhǔn)測試［3］，為保證國產(chǎn)Web 應(yīng)用中間件滿足其服務(wù)質(zhì)量（QoS）要求，須使用基準(zhǔn)測試來測量和驗證它們的性能。面對國產(chǎn)中間件無測評體系、無配套測評工具的現(xiàn)狀，通過對中間件測評技術(shù)的研究，本文設(shè)計了一種Web 應(yīng)用中間件性能測試系統(tǒng)，使用汽車保險經(jīng)紀(jì)基準(zhǔn)模型對Web 應(yīng)用中間件進行性能評估，對通過了Java EE 8、Java EE 7、Java EE 6 國際標(biāo)準(zhǔn)兼容認證的某國產(chǎn)品牌Web應(yīng)用服務(wù)器軟件進行評測。

1 系統(tǒng)設(shè)計

1.1 汽車保險經(jīng)紀(jì)基準(zhǔn)模型

汽車保險經(jīng)紀(jì)基準(zhǔn)模型旨在測量與Java EE 7.0 Web Profile 或更高版本規(guī)范兼容的應(yīng)用服務(wù)器的性能。它為Web 應(yīng)用程序的用戶提供了一個標(biāo)準(zhǔn)，用于比較從Java EE Web Profile 應(yīng)用服務(wù)器、Java 運行時環(huán)境、網(wǎng)絡(luò)和操作系統(tǒng)到數(shù)據(jù)庫服務(wù)器和存儲的所有級別的應(yīng)用程序棧（application stack）的軟件和硬件性能［6］。它由一個保險應(yīng)用程序組成，包含三種不同的服務(wù)：車輛服務(wù)、保險供應(yīng)商服務(wù)和保險服務(wù)，該應(yīng)用程序使用JSF 和REST 函數(shù)來驅(qū)動應(yīng)用服務(wù)器上的負載。

1.2 Web應(yīng)用中間件測試系統(tǒng)的實現(xiàn)

整個測試系統(tǒng)可大致分為Driver，Applica?tion Server，Database Server三個部分［7］，結(jié)構(gòu)如圖1所示。

圖1 Web應(yīng)用中間件性能測試系統(tǒng)結(jié)構(gòu)圖

Driver 的壓力部分：首先Driver 引用Faban測試工具進行部署和測試，其工作原理是由主節(jié)點創(chuàng)立多個從節(jié)點，之后用大量從節(jié)點來進行壓力負載的測試。基準(zhǔn)測試系統(tǒng)使用Faban來安排和自動化基準(zhǔn)測試運行。Faban 還提供了一個嵌入式圖形工具，可以繪制和比較運行結(jié)果。該工具作為托管在Tomcat 服務(wù)器上的Web 應(yīng)用程序運行，它提供Web 用戶界面，并充當(dāng)汽車保險經(jīng)紀(jì)基準(zhǔn)測試的驅(qū)動程序組件的容器。線束提供的Web 用戶界面用于調(diào)度運行，管理運行，查看運行日志以及運行完成后查看結(jié)果（包括詳細圖表）［7］。

Application Server 部分：其主要運行著車輛保險模型，該模型由三部分服務(wù)組成，分別是：車輛服務(wù)、保險供應(yīng)商服務(wù)和保險服務(wù)。該模型支持集群化部署。

Database Server 部分：提供數(shù)據(jù)服務(wù)，并且能夠及時響應(yīng)，支持集群化部署。

通過gradle 腳本程序獲取到預(yù)先寫好的Ap?plication 的接口測試模型數(shù)據(jù)，之后通過創(chuàng)建主從線程來預(yù)熱測試程序，預(yù)熱之后按照接口測試模型數(shù)據(jù)針對性地對承載應(yīng)用服務(wù)器Applica?tion Server的中間件進行測試。

Web 應(yīng)用中間件性能測試系統(tǒng)的功能特點見表1。

表1 Web應(yīng)用中間件性能測試系統(tǒng)的功能特點

2 應(yīng)用驗證

2.1 運行環(huán)境

測試系統(tǒng)軟、硬件環(huán)境如表2所示。汽車保險經(jīng)紀(jì)基準(zhǔn)模型測試的吞吐量由保險驅(qū)動程序的活動驅(qū)動。注入率（injection rate，IR）衡量在基準(zhǔn)運行期間將加載多少數(shù)據(jù)，驅(qū)動器的吞吐量與所選的注入率直接相關(guān)。為了提高吞吐量，需要增加注入率。較高的注入率等同于更多的客戶端負載，因此相應(yīng)地創(chuàng)建了更多的數(shù)據(jù)，本文分別在注入率為500、1000、1500 和2000的條件下進行了測試，設(shè)置預(yù)熱時長為600 s，測試時長為3600 s，結(jié)束時長為300 s。

表2 測試系統(tǒng)運行環(huán)境

2.2 測試結(jié)果分析

本系統(tǒng)對Web 應(yīng)用中間件測試項分為四個部分，分別為組合操作（Operation Mix）、響應(yīng)時長（Response Times（seconds））、邏輯執(zhí)行時長（Cycle/Think Times（seconds））及其他項（Miscella?neous Statistics），業(yè)務(wù)交易類型如表3 所示。由保險驅(qū)動程序運行的業(yè)務(wù)交易是保險服務(wù)的一系列操作，業(yè)務(wù)交易序列由驅(qū)動程序根據(jù)表4中所示的組合選擇。驅(qū)動程序?qū)?5%的負載發(fā)送到JAX?RS API，并將15%的負載發(fā)送到JSF生成的HTML 頁面。表4 中的每個序列都具有REST 和JSF變體。驅(qū)動負載的客戶端模擬Web用戶與保險服務(wù)的應(yīng)用程序進行交互，負載按照15%的JSF請求和85%的REST請求的比例進行分配。

表4 業(yè)務(wù)交易組合要求

2.2.1 組合操作

組合操作測試結(jié)果包括業(yè)務(wù)成功總數(shù)、失敗總數(shù)、實際組合、目標(biāo)組合四項，對于每種類型的業(yè)務(wù)交易操作，基準(zhǔn)中實現(xiàn)的實際組合須在目標(biāo)組合的4%范圍內(nèi)（±2%），驅(qū)動程序檢查并報告是否滿足組合混合要求。圖2 顯示了500、1000、1500 和2000 四種不同注入率（txrate）下業(yè)務(wù)操作的成功總數(shù)，圖3 顯示了實際組合和目標(biāo)組合之間的偏差在規(guī)定的范圍內(nèi)，所有業(yè)務(wù)測試項通過。

圖2 不同注入率下業(yè)務(wù)的成功總數(shù)

圖3 不同注入率下業(yè)務(wù)實際組合和目標(biāo)組合的偏差

2.2.2 響應(yīng)時長

驅(qū)動程序測量并記錄業(yè)務(wù)交易序列中每個不同操作的響應(yīng)時間，僅包括在測量間隔中成功完成業(yè)務(wù)交易序列的操作。業(yè)務(wù)交易的每個操作中至少有90%的響應(yīng)時間（90%th）須小于2 s（即90%目標(biāo)響應(yīng)時間為2 s）。每個業(yè)務(wù)交易操作的平均響應(yīng)時間不得超過記錄的90%響應(yīng)時間的0.1 s，此要求可確保所有用戶都能看到合理的響應(yīng)時間。例如，如果注冊事務(wù)的90%響應(yīng)時間是1 s，那么平均值不能大于1.1 s。驅(qū)動程序檢查并報告是否滿足響應(yīng)時間要求。

該項測試，測試結(jié)果包括平均響應(yīng)時長、最大響應(yīng)時長、標(biāo)準(zhǔn)差、90%實際響應(yīng)時間、90%目標(biāo)響應(yīng)時間五項，若每項業(yè)務(wù)平均響應(yīng)時間和90%實際響應(yīng)時間符合以上要求，則該測試項通過，反之則未通過。

圖4表明不同注入率，業(yè)務(wù)交易的每個操作中90%實際響應(yīng)時間（90%th）均小于90%目標(biāo)響應(yīng)時間（2 s），平均響應(yīng)時間（avg）符合規(guī)定，所有測試項通過，通過計算驗證也可證明以上結(jié)論。

圖4 業(yè)務(wù)交易操作的響應(yīng)時間

2.2.3 邏輯執(zhí)行時長

該部分測試結(jié)果分為目標(biāo)平均（targeted avg）、實際平均（actual avg）、邏輯執(zhí)行時長最小值（min）和邏輯執(zhí)行時長最大值（max）四項，每一個業(yè)務(wù)交易操作的測試均生成上述四項結(jié)果，當(dāng)實際平均不超過目標(biāo)平均時，該業(yè)務(wù)交易操作項測試通過。測試結(jié)果表明在各注入率下實際平均執(zhí)行時長（actual avg）皆不高于目標(biāo)執(zhí)行時長（targeted avg），該項測試通過，測試結(jié)果如圖5及圖6所示。

圖5 邏輯執(zhí)行時長的目標(biāo)平均和實際平均

圖6 邏輯執(zhí)行時長的目標(biāo)平均及實際平均之差

2.2.4 其他項

該部分測試項設(shè)測量基準(zhǔn)設(shè)置，包括使用安全連接、有效的運行屬性設(shè)置；初步審計項，該項是注入數(shù)據(jù)的初步數(shù)據(jù)量審計，包括車輛描述、車輛、車輛保險、投保人、保險政策；原子性測試，測試內(nèi)容包括原子性測試一及原子性測試二；持久性和正確性測試，包括JPA緩存透寫測試、幻讀刪除測試；最終審計項測試，它對程序測試之后的數(shù)據(jù)審計；業(yè)務(wù)審計項測試。具體描述見表5。

表5 其他項測試

續(xù)表5

在基準(zhǔn)測試期間，業(yè)務(wù)交易序列的每個操作有99%或以上須在穩(wěn)定狀態(tài)下取得成功，這允許最多1%的操作類型失敗。此外，數(shù)據(jù)庫表中的行數(shù)須不超過預(yù)期大小±1%的偏差。驅(qū)動程序檢查并報告是否滿足這些要求。測試結(jié)果表明，實際結(jié)果（results）符合目標(biāo)結(jié)果（targeted results），被測Web 應(yīng)用中間件使用https 安全連接方式，與目標(biāo)結(jié)果一致，有效的運行屬性設(shè)置符合目標(biāo)結(jié)果，原子性測試通過。在誤差允許范圍內(nèi)，初步審計、最終審計及業(yè)務(wù)審計成功率被測結(jié)果符合目標(biāo)結(jié)果要求。圖7在橫軸上三組不連續(xù)線段分別表示初步審計項、最終審計項和業(yè)務(wù)審計的成功數(shù)。

圖7 初步審計、最終審計及業(yè)務(wù)審計成功數(shù)

3 結(jié)語

當(dāng)前，我國信創(chuàng)產(chǎn)業(yè)快速發(fā)展，但在中間件測評體系和測評工具方面還沒有成熟的、標(biāo)準(zhǔn)的技術(shù)和產(chǎn)品成果，本文設(shè)計了一個基于汽車保險經(jīng)紀(jì)基準(zhǔn)模型的Web 應(yīng)用中間件性能測試系統(tǒng)，并在某國產(chǎn)品牌Web 應(yīng)用中間件上進行了應(yīng)用驗證，探索了在四組不同注入率下應(yīng)用服務(wù)器的系統(tǒng)性能。實驗結(jié)果表明，該測試系統(tǒng)能夠?qū)崿F(xiàn)對國產(chǎn)Web 應(yīng)用中間件性能的評估，在一定程度上有效牽引了國產(chǎn)Web 應(yīng)用中間件產(chǎn)品質(zhì)量提升。