覃文闖，胡一鳴，杜蘇妮

（國家應(yīng)用軟件產(chǎn)品質(zhì)量監(jiān)督檢驗中心，北京100193）

傳統(tǒng)的數(shù)據(jù)庫選型和應(yīng)用中間件選型測試通常是基于Benchmark的一些基準(zhǔn)測試工具。這些測試工具集通常都是第三方非盈利組織提供的，目前常用的基準(zhǔn)測試工具集有TPC[1]、SPEC[2]、LINKPACK、EISPACK、LAPACK、NPB、HPCC、IOzone、LMbench等。

TPC和SPEC是數(shù)據(jù)庫和應(yīng)用中間件最常用的測試基準(zhǔn)工具，而其中的TPC-C[3]和SPECjserver2004[4]通常被選擇用于數(shù)據(jù)庫和Java應(yīng)用服務(wù)器的性能基準(zhǔn)測試工具，這兩個基準(zhǔn)測試結(jié)果在國際上也有很好的認(rèn)同。這些結(jié)果能客觀反映數(shù)據(jù)庫和應(yīng)用中間件本身的性能情況。

但是上述基準(zhǔn)測試都是基于仿真業(yè)務(wù)，對于某個特定的應(yīng)用系統(tǒng)，基準(zhǔn)結(jié)果往往和在特定應(yīng)用系統(tǒng)中的表現(xiàn)有很大差異。所以本文探求一種基于真實業(yè)務(wù)應(yīng)用系統(tǒng)的業(yè)務(wù)模型作為基準(zhǔn)，對不同數(shù)據(jù)庫和應(yīng)用中間件進行選型測試，通過其在真實業(yè)務(wù)應(yīng)用系統(tǒng)的表現(xiàn)更客觀地反映針對該特定應(yīng)用系統(tǒng)、數(shù)據(jù)庫和應(yīng)用中間件達(dá)到的最佳能效比。

1 傳統(tǒng)Benchmark測試的問題

傳統(tǒng)的基于第三方非盈利機構(gòu)的Benchmark測試工具集測試是基于一個模擬的業(yè)務(wù)模型進行測試。以最常見的TPC-C測試為例，關(guān)于TPC-C的基準(zhǔn)規(guī)范業(yè)務(wù)模式，此規(guī)范描述的是一個大型的商品批發(fā)銷售公司，它擁有若干個分布在不同區(qū)域的商品倉庫。當(dāng)業(yè)務(wù)擴展的時候，公司將添加新的倉庫。每個倉庫負(fù)責(zé)為10個銷售點供貨，其中每個銷售點為3 000個客戶提供服務(wù)。每個客戶提交的訂單中，平均每個訂單有10項產(chǎn)品，所有訂單中約1%的產(chǎn)品在其直接所屬的倉庫中沒有存貨，必須由其他區(qū)域的倉庫來供貨。同時，每個倉庫都要維護公司銷售的100 000種商品的庫存記錄。但是對于這個基準(zhǔn)，TPC不給出基準(zhǔn)程序的代碼，只給出基準(zhǔn)程序的標(biāo)準(zhǔn)規(guī)范。即允許任何廠家或其他測試者構(gòu)造出符合自己硬件或者軟件環(huán)境的被測應(yīng)用，這個被測試的應(yīng)用只要符合這個規(guī)范就可以。

TPC-C測試的結(jié)果主要有兩個指標(biāo)，即流量指標(biāo)（Throughput，簡稱tpmC）和性價比（Price/Performance，簡稱Price/tpmC）。流量指標(biāo)值越大，說明系統(tǒng)的聯(lián)機事務(wù)處理能力越高。性價比測試系統(tǒng)的整體價格與流量指標(biāo)的比值，在獲得相同的tpmC值的情況下，價格越低越好。

TPC-C的指標(biāo)僅表明當(dāng)前被測試環(huán)境作為一個有機整體，處理符合TPC-C規(guī)范、模擬OLTP的商品批發(fā)銷售公司應(yīng)用的性能情況。不能離開這個整體去判讀TPC-C數(shù)據(jù)。這個有機整體包含硬件系統(tǒng)，如主機設(shè)備、網(wǎng)絡(luò)設(shè)備、存儲設(shè)備；軟件系統(tǒng)如數(shù)據(jù)庫、應(yīng)用軟件、廠商自己開發(fā)的TPC-C模型；以及技術(shù)支持服務(wù)，如架構(gòu)設(shè)計優(yōu)化、程序優(yōu)化、參數(shù)優(yōu)化等。

用戶實際的應(yīng)用系統(tǒng)通常與軟件廠商測試時的TPCC模型有差異（如業(yè)務(wù)邏輯、使用習(xí)慣、數(shù)據(jù)量等等方面）。所以客戶應(yīng)用系統(tǒng)的性能即使部署在廠商當(dāng)時測試TPCC應(yīng)用的環(huán)境上，TPPC值也會有差異的。

因此僅靠TPCC值進行軟件選型是不充分、不全面的。

2 基于真實應(yīng)用系統(tǒng)的選型測試

傳統(tǒng)基于Benchmark測試結(jié)果的選型測試，由于測試模型和真實業(yè)務(wù)有區(qū)別，選型測試的結(jié)果往往不能保證所選數(shù)據(jù)庫或者中間件的表現(xiàn)與測試結(jié)果相符。業(yè)務(wù)模型的差異因子是結(jié)果偏差的主要影響因子。區(qū)別于傳統(tǒng)的Benchmark測試，基于真實應(yīng)用系統(tǒng)的選型測試模型是真實的業(yè)務(wù)模型，從業(yè)務(wù)模型的真實性上避免了業(yè)務(wù)模型差異產(chǎn)生的比對選型誤差。該方法的思想是在相同的測試基準(zhǔn)下，針對相同的業(yè)務(wù)應(yīng)用模型，進行相同測試的性能測試，通過時間特性和資源利用性兩個方面進行選型評價。

3 選型測試案例說明

通過一個實際的業(yè)務(wù)系統(tǒng)選型測試，介紹了基于應(yīng)用性能表現(xiàn)進行通用基礎(chǔ)軟件選型的實踐。選型委托方是某機構(gòu)的核心業(yè)務(wù)軟件，該系統(tǒng)完全基于J2EE規(guī)范開發(fā)的B/S架構(gòu)的應(yīng)用系統(tǒng)，數(shù)據(jù)庫符合美國國家標(biāo)準(zhǔn)學(xué)會（ANSI）SQL 2003的關(guān)系型數(shù)據(jù)庫。根據(jù)上述基本要求，本次選型測試涉及5個中間件和4種數(shù)據(jù)庫。選型組合矩陣關(guān)系如表1所示。

表1 選型組合矩陣關(guān)系表

根據(jù)上述組合，分別采用相同的性能測試腳本進行相同場景設(shè)置的綜合場景測試，測試點包含了系統(tǒng)的4個典型操作功能點，場景持續(xù)運行時間為2 h。為嚴(yán)格保證測試的基準(zhǔn)一致性，確保測試相對公平公正，基準(zhǔn)一致性應(yīng)包含5個部分內(nèi)容要求：

（1）操作系統(tǒng)基準(zhǔn)一致性要求：數(shù)據(jù)庫服務(wù)器操作系統(tǒng)為AIX 5.3.0.8，應(yīng)用數(shù)據(jù)庫服務(wù)器操作系統(tǒng)為Redhat AS 5.4 64 bit kernel2.6.1.8_164.el5，負(fù)載均衡服務(wù)器操作系統(tǒng)為Redhat AS 5.4 64 bit kernel2.6.1.8_164.el5；

（2）其他相關(guān)軟件版本一致；

（3）硬件環(huán)境一致；

（4）測試策略與測試壓力的一致性：測試中執(zhí)行相同的測試策略，對腳本和場景運行的設(shè)置保持一致；

（5）數(shù)據(jù)一致性要求：測試環(huán)境的數(shù)據(jù)容量保持一致，數(shù)據(jù)庫的數(shù)據(jù)記錄數(shù)量和數(shù)據(jù)內(nèi)容保持一致。

3.1 效率評價模型說明

以貼近系統(tǒng)實際使用情況為選擇依據(jù)，本次測試的綜合場景測試最貼近用戶的真實使用情況。所以本評價模型的數(shù)據(jù)基礎(chǔ)來源于綜合場景測試的測試結(jié)果數(shù)據(jù)。評價模型包括時間特性和資源利用性，具體計算權(quán)值可以根據(jù)業(yè)務(wù)需要進行相應(yīng)調(diào)整，本次評價權(quán)值僅供參考。評價模型說明如圖1所示，評分說明如表2所示。

圖1 效率度量評價模型

表2 效率度量評分表

（1）效率評價總得分＝時間特性總得分×0.6＋資料利用性得分×0.4

（2）時間特性總體得分計算說明：

時間特性得分＝（功能點1×0.125＋功能點2×0.125＋功能點3×0.125＋功能點4×0.125）＋總體吞吐量得分×0.5

（3）資源利用性得分計算說明：

資源利用性得分＝（數(shù)據(jù)庫CPU占用得分＋應(yīng)用服務(wù)器CPU占用得分）/2

3.2 選型評價結(jié)果

根據(jù)8個環(huán)境測試的詳細(xì)結(jié)果，依據(jù)上述評價模型和評分說明進行總體的選型評價，得分如圖2所示。

圖2 效率度量評價結(jié)果

依據(jù)上述評價結(jié)果，編號4、5、6、7的得分高于95分，可以結(jié)合采購成本綜合考慮最終的軟件選型。

本文介紹了一種基于應(yīng)用性能表現(xiàn)的通用基礎(chǔ)軟件選型方法，此方法基于真實的業(yè)務(wù)應(yīng)用模型，采用相同的測試約束和統(tǒng)一的評價模型，相對于傳統(tǒng)基于基準(zhǔn)測試工具進行選型更具有針對性，是對選型測試的一種方法補充。

[1]TPC Benchmark Testing[EB/OL].[2012-12-10].http：//www.tpc.org/information/benchmarks.asp.

[2]SPEC Standard Performance Evaluation[EB/OL].[2012-12-10].http：//www.spec.org.

[3]TPC-C Benchmark Testing[EB/OL].[2012-12-20].http：//www.tpc.org/tpcc.

[4]SPECjAppServer2004[EB/OL].[2012-12-20].http：//www.spec.org/jAppServer2004.