周顯明， 王勇

(中國(guó)電子科技集團(tuán)第三十二研究所，上海 200233)

新一代本幣交易系統(tǒng)的綜合性能測(cè)試實(shí)踐

周顯明， 王勇

(中國(guó)電子科技集團(tuán)第三十二研究所，上海 200233)

為測(cè)試多市場(chǎng)金融交易平臺(tái)的性能，提出一種基于LoadRunner測(cè)試平臺(tái)的綜合性能測(cè)方法，通過搭建模擬測(cè)試環(huán)境和軟件模擬大批量在線并發(fā)用戶等方法，嚴(yán)格按照性能測(cè)試實(shí)施流程，實(shí)現(xiàn)了對(duì)交易平臺(tái)的系統(tǒng)容量、系統(tǒng)處理能力、客戶端響應(yīng)時(shí)間、系統(tǒng)可靠性和安全性等指標(biāo)的測(cè)試，取得了較好的驗(yàn)證和評(píng)估效果。

本幣交易系統(tǒng)；性能測(cè)試；TPS(每秒事務(wù)處理能力);系統(tǒng)處理能力；系統(tǒng)可靠性; 模擬環(huán)境

Abstract: For the purpose of testing the performance of a multi-market financial transaction platform, this paper presents a comprehensive performance testing method based on LoadRunner testing platform. By setting up simulation test environment and simulating through software a large amount of on-line concurrent users, in strict accordance with the implementation process for performance tests, we have successfully tested indexes of the trading platform, such as system capacity, system processing ability, client-side response time, system reliability and security. Good verification and evaluation effects are achieved.

Keywords: RMB trading system; performance test; TPS (transaction processing capability per second); system handling ability; system reliability; simulation environment

0 引 言

根據(jù)金融產(chǎn)品計(jì)價(jià)所用的幣種不同，可劃分為外匯市場(chǎng)和本幣市場(chǎng)。本幣市場(chǎng)由現(xiàn)貨市場(chǎng)(貨幣、債券)和衍生品市場(chǎng)(貨幣、債券、信用等衍生品)組成。2015年在本幣市場(chǎng)聯(lián)網(wǎng)交易成員已超過7 400家，這些交易單位的本幣交易均通過交易中心的本幣交易系統(tǒng)實(shí)現(xiàn)，并將成交數(shù)據(jù)通過大額支付系統(tǒng)進(jìn)行資金清算。

交易中心上線的新一代本幣交易系統(tǒng)，為市場(chǎng)主體提供更安全、更高效、更便捷的交易服務(wù)平臺(tái)，以及豐富、靈活的交易前、中后臺(tái)輔助與擴(kuò)展功能，適合不同類型、不同規(guī)模的機(jī)構(gòu)，該系統(tǒng)涵蓋貨幣市場(chǎng)、債券市場(chǎng)、衍生品市場(chǎng)，支持多種交易方式，基本能夠滿足市場(chǎng)主體的交易需求。

該系統(tǒng)是典型的C/S架構(gòu)：服務(wù)器端的運(yùn)行環(huán)境為AIX7.1+Oracle11g，主要包含了交易核心進(jìn)程、交易輔助模塊、系統(tǒng)維護(hù)模塊和各類與外圍系統(tǒng)的接口；客戶端的運(yùn)行環(huán)境為Windows+MS SqlCE3.5，主要用于交易前臺(tái)(DWS)、交易中后臺(tái)(MBO)和場(chǎng)務(wù)子系統(tǒng)(MSC)；客戶端和服務(wù)器端采用自主研發(fā)的IMIX消息協(xié)議進(jìn)行通信，并采用安全數(shù)字證書進(jìn)行認(rèn)證；系統(tǒng)部署采用“上海/北京”主備模式，主要服務(wù)器均采用主備或雙活實(shí)現(xiàn)系統(tǒng)高可用性。

1 綜合性能測(cè)試

圍繞交易系統(tǒng)的性能測(cè)試(Performance Testing)，一般有2個(gè)測(cè)試維度：交易/事務(wù)(Transaction)、用戶操作(Client Operation)，性能測(cè)試通常用基于一定并發(fā)用戶數(shù)下的響應(yīng)時(shí)間或吞吐量(每秒事務(wù)處理能力)來度量。就新一代本幣交易系統(tǒng)來看，系統(tǒng)用戶數(shù)在8 000～10 000 個(gè)，在線用戶數(shù)從實(shí)際場(chǎng)務(wù)統(tǒng)計(jì)顯示在800～1 000 個(gè)，并發(fā)用戶數(shù)按每天交易報(bào)價(jià)統(tǒng)計(jì)顯示在30個(gè)左右。

常用的性能分析方法可以是基于內(nèi)存的、基于CPU的、基于磁盤I/O的、基于進(jìn)程的或基于網(wǎng)絡(luò)的，通過各類性能計(jì)數(shù)器(Performance Counter)來分析具體的量化指標(biāo)。對(duì)新一代本幣交易系統(tǒng)的性能測(cè)試，設(shè)定了以下一些主要性能指標(biāo)：

(1)交易成員數(shù)(支持10 000家用戶上線)；

(2)每天報(bào)價(jià)筆數(shù)(支持每天500 000筆報(bào)價(jià))；

(3)峰值時(shí)間報(bào)價(jià)筆數(shù)(支持每分鐘10 000筆報(bào)價(jià))；

(4)基礎(chǔ)數(shù)據(jù)及交易數(shù)據(jù)下載時(shí)間(在100 M局域網(wǎng)環(huán)境下不超過2分鐘)；

(5)用戶登錄時(shí)間/平均查詢時(shí)間(在100 M局域網(wǎng)環(huán)境下不超過5秒)；

(6)報(bào)價(jià)時(shí)間指標(biāo)/成交確認(rèn)時(shí)間(在100 M局域網(wǎng)環(huán)境下不超過2秒)。

綜合性能測(cè)試，除了上述性能測(cè)試外，還涉及負(fù)載測(cè)試(Load Testing)、壓力測(cè)試(Stress Testing)、破壞性測(cè)試(如：應(yīng)急切換)和安全性測(cè)試(如：數(shù)據(jù)加密)。負(fù)載測(cè)試是通過不斷加載(如：逐漸增加模擬用戶的數(shù)量)等方式來觀察不同負(fù)載下系統(tǒng)的響應(yīng)時(shí)間和數(shù)據(jù)吞吐量、系統(tǒng)占用的資源(如CPU、內(nèi)存)等，以發(fā)現(xiàn)系統(tǒng)可能存在的性能瓶頸、內(nèi)存泄漏、不能實(shí)時(shí)同步等問題。壓力測(cè)試是在強(qiáng)負(fù)載(如：大數(shù)據(jù)量、大量并發(fā)用戶等)下的長(zhǎng)時(shí)間運(yùn)行，查看應(yīng)用系統(tǒng)在峰值情況下的表現(xiàn)，從而發(fā)現(xiàn)系統(tǒng)的某項(xiàng)功能或性能隱患。針對(duì)本項(xiàng)目，我們采用了8小時(shí)穩(wěn)定運(yùn)行測(cè)試，基于服務(wù)器和進(jìn)程故障的應(yīng)急切換測(cè)試，及針對(duì)交易數(shù)據(jù)加密傳輸機(jī)制的安全性測(cè)試[1]。

2 測(cè)試實(shí)踐剖析

2.1 測(cè)試內(nèi)容

本次測(cè)試對(duì)象是交易中心新一代本幣交易系統(tǒng)，該系統(tǒng)為銀行、保險(xiǎn)公司、債券公司、基金公司、財(cái)務(wù)公司等各類金融機(jī)構(gòu)提供統(tǒng)一的本幣交易服務(wù)平臺(tái)。測(cè)試類型主要是性能測(cè)試，同時(shí)包括負(fù)載測(cè)試、壓力測(cè)試、應(yīng)急切換測(cè)試和安全性測(cè)試，屬于綜合性能測(cè)試。

依據(jù)新一代本幣交易系統(tǒng)的設(shè)計(jì)性能參數(shù)，結(jié)合交易中心歷年各市場(chǎng)交易數(shù)據(jù)，分析并建立典型應(yīng)用場(chǎng)景作為性能測(cè)試對(duì)象，同時(shí)根據(jù)各市場(chǎng)使用分布情況和服務(wù)端進(jìn)程設(shè)計(jì)的實(shí)際情況，可以將測(cè)試內(nèi)容(關(guān)鍵性能指標(biāo))劃分為以下的幾大部分：

(1)系統(tǒng)機(jī)構(gòu)和用戶容量指標(biāo)

系統(tǒng)機(jī)構(gòu)和用戶容量指標(biāo)包括交易成員數(shù)指標(biāo)、交易員數(shù)指標(biāo)等。此類指標(biāo)的驗(yàn)證相對(duì)簡(jiǎn)單，只需要使用執(zhí)行SQL腳本直接往數(shù)據(jù)庫(kù)寫入規(guī)定數(shù)量的機(jī)構(gòu)和用戶數(shù)量即可。

(2)系統(tǒng)處理能力指標(biāo)

系統(tǒng)處理能力指標(biāo)包括峰值時(shí)間報(bào)價(jià)筆數(shù)指標(biāo)、峰值時(shí)間段成交筆數(shù)指標(biāo)、峰值客戶端并發(fā)用戶指標(biāo)等，因?yàn)楦魇袌?chǎng)從設(shè)計(jì)上保證了獨(dú)立性，所以對(duì)于各市場(chǎng)必須單位驗(yàn)證峰值處理能力。此外，還需要通過對(duì)典型業(yè)務(wù)的分析，確定混合市場(chǎng)的峰值報(bào)價(jià)和成交處理能力，并進(jìn)行驗(yàn)證。

(3)客戶端功能響應(yīng)時(shí)間指標(biāo)

功能操作響應(yīng)時(shí)間包括基礎(chǔ)數(shù)據(jù)及交易數(shù)據(jù)下載時(shí)間指標(biāo)、用戶登錄時(shí)間指標(biāo)、成交確認(rèn)時(shí)間指標(biāo)、平均查詢時(shí)間指標(biāo)、平均匯總時(shí)間指標(biāo)等。

(4)可靠性指標(biāo)

可靠性指標(biāo)包括每天報(bào)價(jià)筆數(shù)指標(biāo)、每天成交筆數(shù)指標(biāo)、8小時(shí)穩(wěn)定運(yùn)行指標(biāo)等[2]。

2.2 測(cè)試流程

性能測(cè)試項(xiàng)目實(shí)施過程一般可劃分為5個(gè)階段，包括：測(cè)試啟動(dòng)階段、測(cè)試準(zhǔn)備階段、測(cè)試執(zhí)行階段、性能調(diào)優(yōu)階段、測(cè)試報(bào)告和總結(jié)階段，如圖1所示。

圖1 性能測(cè)試項(xiàng)目實(shí)施流程

測(cè)試啟動(dòng)階段：主要完成性能測(cè)試需求分析和具體計(jì)劃的制定，確定性能測(cè)試進(jìn)度要求、人員要求、范圍要求和測(cè)試技術(shù)要求，主要活動(dòng)包括性能測(cè)試需求討論、項(xiàng)目進(jìn)度計(jì)劃編制、性能測(cè)試方案初稿、完成性能測(cè)試方案和性能測(cè)試方案評(píng)審，并輸出性能測(cè)試計(jì)劃和性能測(cè)試方案[3]。

測(cè)試準(zhǔn)備階段：在項(xiàng)目性能測(cè)試計(jì)劃和測(cè)試方案確定之后，進(jìn)行腳本準(zhǔn)備、數(shù)據(jù)準(zhǔn)備、系統(tǒng)運(yùn)行軟硬件環(huán)境準(zhǔn)備、測(cè)試工具準(zhǔn)備、測(cè)試執(zhí)行階段：根據(jù)性能測(cè)試方案確定的測(cè)試場(chǎng)景和腳本執(zhí)行順序，執(zhí)行：基準(zhǔn)測(cè)試執(zhí)行和監(jiān)控、單場(chǎng)景測(cè)試執(zhí)行和監(jiān)控、混合場(chǎng)景執(zhí)行和監(jiān)控、穩(wěn)定性測(cè)試執(zhí)行和監(jiān)控、測(cè)試結(jié)果數(shù)據(jù)采集。

性能調(diào)優(yōu)階段：針對(duì)測(cè)試結(jié)果數(shù)據(jù)，確定哪些測(cè)試數(shù)據(jù)結(jié)果符合期望結(jié)果，配合項(xiàng)目開發(fā)人員進(jìn)行性能瓶頸定位，在修改代碼和配置后，再次對(duì)調(diào)優(yōu)結(jié)果進(jìn)行驗(yàn)證[4]。

測(cè)試報(bào)告和總結(jié)階段：對(duì)測(cè)試執(zhí)行采集的結(jié)果數(shù)據(jù)和監(jiān)控?cái)?shù)據(jù)進(jìn)行匯總和分析，編制性能測(cè)試報(bào)告，并對(duì)項(xiàng)目過程進(jìn)行總結(jié)和分析。

2.3 測(cè)試環(huán)境和方法

本次測(cè)試所搭建的模擬環(huán)境如圖2所示。

圖2 模擬測(cè)試環(huán)境網(wǎng)絡(luò)拓?fù)鋱D

首先，LoadRunner的從原理上就是通過執(zhí)行功能，記錄相應(yīng)功能與服務(wù)器之間的通信收發(fā)的數(shù)據(jù)，產(chǎn)生測(cè)試腳本模板，測(cè)試人員參數(shù)化相應(yīng)的數(shù)據(jù)，建立測(cè)試場(chǎng)景并設(shè)置參數(shù)，便可以實(shí)現(xiàn)并發(fā)測(cè)試。新一代本幣交易系統(tǒng)采用了安全機(jī)制，即服務(wù)端和客戶端的通信通過“加密和加壓處理”以非明文的方式進(jìn)行，所以原先的直接使用LoadRunner錄制測(cè)試腳本，進(jìn)行參數(shù)化后進(jìn)行性能測(cè)試的方法并不適用。在測(cè)試實(shí)踐中，使用COM機(jī)制解決了LoadRunner不能調(diào)用.net代碼的問題，通過提供的解密和加密以及解壓算法，并且采用16進(jìn)制進(jìn)行數(shù)據(jù)傳輸解決了加密后數(shù)據(jù)轉(zhuǎn)換容易失真的問題[5]。

其次，新一代本幣交易系統(tǒng)是C/S結(jié)構(gòu)，采用Socket通信機(jī)制，系統(tǒng)性能指標(biāo)的驗(yàn)證需要模擬大批量用戶進(jìn)行并發(fā)操作，因此選用了典型且常用的LoadRunner9.0作為系統(tǒng)處理能力指標(biāo)驗(yàn)證的主要工具。但是，該交易系統(tǒng)要求有上千個(gè)在線用戶，對(duì)于LoadRunner會(huì)涉及License的費(fèi)用，所以在實(shí)踐操作中采用了自主開發(fā)的在線用戶模擬軟件來實(shí)現(xiàn)，最終達(dá)到每臺(tái)PC機(jī)模擬800個(gè)在線用戶。

涉及客戶端功能操作響應(yīng)類的性能指標(biāo)，選用了Quick Test Professional 9.2，進(jìn)行錄制客戶端的功能操作過程，通過在腳本中插入檢測(cè)點(diǎn)，獲取各個(gè)操作的系統(tǒng)時(shí)間，通過計(jì)算得到各個(gè)操作的具體客戶端響應(yīng)時(shí)間。此外，客戶端功能操作響應(yīng)時(shí)間與客戶端的帶寬、服務(wù)器的性能壓力都有關(guān)系，在測(cè)試實(shí)踐中還選用了Net Limit 2.0進(jìn)行網(wǎng)絡(luò)帶寬的限制。

2.4 關(guān)鍵性能指標(biāo)測(cè)試結(jié)果

(1)單市場(chǎng)的峰值時(shí)間報(bào)價(jià)處理指標(biāo)

為驗(yàn)證系統(tǒng)中各個(gè)單市場(chǎng)的峰值處理能力，使用客戶端模擬了6個(gè)MSC用戶(不限制帶寬)，使用在線用戶模擬軟件模擬了450個(gè)DWS用戶(限定每個(gè)用戶32Kbit帶寬)，使用LoadRunner模擬50個(gè)并發(fā)用戶(限定每個(gè)用戶32Kbit帶寬)，以獲取服務(wù)器TPS(每秒處理的報(bào)價(jià)數(shù)量)值。以現(xiàn)券市場(chǎng)交易對(duì)話為例，圖3給出了TPS測(cè)試結(jié)果，即在500個(gè)在線用戶，50個(gè)并發(fā)用戶情況下，對(duì)話報(bào)價(jià)能達(dá)到41.991筆/秒。

圖3 現(xiàn)券市場(chǎng)對(duì)話報(bào)價(jià)峰值TPS曲線圖

(2)峰值時(shí)間客戶端并發(fā)用戶指標(biāo)

選取執(zhí)行現(xiàn)券市場(chǎng)、質(zhì)押式回購(gòu)市場(chǎng)、信用拆借市場(chǎng)，分別模擬100個(gè)并發(fā)用戶進(jìn)行對(duì)話報(bào)價(jià)，總共300個(gè)并發(fā)用戶，無其他在線用戶，未限制網(wǎng)絡(luò)帶寬，執(zhí)行時(shí)間為5分鐘，以獲取峰值時(shí)間客戶端并發(fā)性能。顯示了此種情況下TPS值變化曲線比較穩(wěn)定，三個(gè)市場(chǎng)混合對(duì)話報(bào)價(jià)TPS達(dá)到66筆/秒。

(3)峰值時(shí)間報(bào)價(jià)響應(yīng)指標(biāo)

在模擬環(huán)境下，使用客戶端模擬了5個(gè)MSC用戶(不限制帶寬)，使用在線用戶模擬軟件模擬了450個(gè)DWS用戶(限定每個(gè)用戶32Kbit帶寬)，使用LoadRunner模擬50個(gè)并發(fā)用戶(限定每個(gè)用戶32Kbit帶寬)，以獲取峰值情況下的報(bào)價(jià)響應(yīng)時(shí)間。以現(xiàn)券市場(chǎng)交易對(duì)話為例，圖4顯示平均響應(yīng)時(shí)間在1.006秒(最大10.187秒，最小0.449秒)。

(4)8小時(shí)穩(wěn)定運(yùn)行指標(biāo)

在模擬環(huán)境下，使用客戶端模擬了2個(gè)MSC用戶(不限制帶寬)，使用在線用戶模擬軟件模擬了2400個(gè)DWS用戶(限定每個(gè)用戶32Kbit帶寬)，使用LoadRunner模擬64個(gè)并發(fā)用戶(限定每個(gè)用戶32Kbit帶寬)，每個(gè)并發(fā)用戶每秒發(fā)起1筆報(bào)價(jià)消息，每個(gè)成交并發(fā)用戶每10秒發(fā)起1筆成交消息，每隔20秒發(fā)起5個(gè)用戶的登錄操作，再每隔20秒發(fā)起5個(gè)用戶的退出操作，連續(xù)執(zhí)行該測(cè)試腳本8小時(shí)，顯示：64個(gè)并發(fā)用戶順利執(zhí)行各種報(bào)價(jià)和成交操作，2400個(gè)在線用戶正常接收?qǐng)?bào)價(jià)數(shù)據(jù)，總計(jì)857917筆報(bào)價(jià)，其中36713筆成交，壓力測(cè)試期間各服務(wù)器進(jìn)程基本正常。

3 結(jié)束語

經(jīng)過對(duì)新一代本幣交易系統(tǒng)的綜合性能測(cè)試結(jié)果數(shù)據(jù)的分析：該系統(tǒng)目前能支持7000家交易成員，峰值時(shí)間客戶并發(fā)300個(gè)對(duì)話報(bào)價(jià)運(yùn)行正常，在8小時(shí)穩(wěn)定運(yùn)行測(cè)試中實(shí)現(xiàn)了857000多筆日?qǐng)?bào)價(jià)數(shù)(設(shè)計(jì)指標(biāo)為500000筆)、實(shí)現(xiàn)了近60000多筆日?qǐng)?bào)價(jià)數(shù)(設(shè)計(jì)指標(biāo)為50000筆)，峰值時(shí)間報(bào)價(jià)時(shí)間和成交時(shí)間等響應(yīng)時(shí)間指標(biāo)均在2秒左右(基本滿足設(shè)計(jì)要求)。在對(duì)通信服務(wù)器故障切換、LM進(jìn)程故障恢復(fù)和應(yīng)用進(jìn)程故障恢復(fù)的測(cè)試中，也都全部通過測(cè)試。

[1] 王偉君，姜毅，劉蕤，等. 云計(jì)算環(huán)境下軟件測(cè)試研究進(jìn)展[J].現(xiàn)代圖書情報(bào)技術(shù)，2012,33(11)：3-9.

[2] 李志剛，馮亞娜.云計(jì)算虛擬環(huán)境下第三方軟件測(cè)試環(huán)境研究[J].信息技術(shù)，2013,37(8)：183-185.

[3] (印度)TARUN LALWANI.QTP自動(dòng)化測(cè)試權(quán)威指南[M].趙旭斌，闕勇，韓洪波，何慶丹,譯.2版. 北京:人民郵電出版社, 2013.

[4] (英)格雷，福斯特.自動(dòng)化測(cè)試最佳實(shí)踐[M].朱少民，張秋華，趙亞男,譯. 北京:機(jī)械工業(yè)出版社，2013.

[5] 王奇，曹良帥，趙賢敬,等. 基于SaaS的自動(dòng)化測(cè)試云平臺(tái)研究[J]. 電信工程技術(shù)與標(biāo)準(zhǔn)化，2012,25(10)：67-71.

Comprehensive Performance Test Practice for the New Generation RMB Trading System

Zhou Xianming, Wang Yong

(No. 32 Research Institute, China Electronics Technology Group,Shanghai 200233, China)

10.3969/j.issn.1000-3886.2017.03.006

TP311

A

1000-3886(2017)03-0016-04

定稿日期: 2016-10-27

周顯明(1961- )，男，上海人，高級(jí)工程師，碩士， 軟件工程及軟件測(cè)試方向。 王勇(1981-)，男，江蘇啟東人，工程師，學(xué)士，軟件工程及軟件測(cè)試方向。