錢建良

1 引言

計(jì)算機(jī)網(wǎng)上評(píng)卷系統(tǒng)于1999年在我國(guó)誕生。歷經(jīng)十多年的應(yīng)用發(fā)展，網(wǎng)上評(píng)卷不但解決了考試評(píng)卷的公正性和準(zhǔn)確性難題，而且還使教育測(cè)量及教學(xué)診斷的科學(xué)化得以較好地實(shí)現(xiàn)。江蘇省從2004年首次在成人高考中實(shí)施網(wǎng)上評(píng)卷，目前已在普通高考、學(xué)業(yè)水平測(cè)試、成人高考和研究生考試等各類教育考試中廣泛使用。在江蘇省各類教育考試網(wǎng)上評(píng)卷項(xiàng)目中，普通高考評(píng)卷的系統(tǒng)并發(fā)量最大，3 000多名評(píng)卷教師同時(shí)在線，掃描后經(jīng)過(guò)切割的子圖總?cè)萘考s為1TB，切割后的圖像大小一般從幾十KB到幾百KB。在評(píng)卷過(guò)程中，要求客戶端每個(gè)頁(yè)面（主要是考生答題圖像）流暢地、沒(méi)有任何停頓地顯示，對(duì)評(píng)卷硬件架構(gòu)和軟件性能有較高的要求。在確保網(wǎng)上評(píng)卷系統(tǒng)性能的同時(shí)，還需保障網(wǎng)絡(luò)線路、網(wǎng)絡(luò)交換機(jī)、服務(wù)器以及存儲(chǔ)等設(shè)備的可靠運(yùn)行，避免由于單點(diǎn)故障造成的業(yè)務(wù)中斷。江蘇省教育考試院通過(guò)積極應(yīng)用新的計(jì)算機(jī)技術(shù)，完善和優(yōu)化系統(tǒng)架構(gòu)，已建設(shè)完成具有高可靠性、高可擴(kuò)展性和高性能的新一代網(wǎng)上評(píng)卷統(tǒng)一架構(gòu)平臺(tái)，能滿足各類評(píng)卷軟件架構(gòu)的要求和各類評(píng)卷工作的需要。

2 網(wǎng)上評(píng)卷系統(tǒng)的常用體系架構(gòu)及薄弱環(huán)節(jié)

2.1 網(wǎng)上評(píng)卷系統(tǒng)的常用體系架構(gòu)

網(wǎng)上評(píng)卷系統(tǒng)采用基于J2EE的設(shè)計(jì)架構(gòu)，客戶端以瀏覽器方式訪問(wèn)系統(tǒng)進(jìn)行評(píng)卷。評(píng)卷開(kāi)始前，先將考生原始答題信息通過(guò)掃描的方式轉(zhuǎn)換成電子圖片保存到存儲(chǔ)上，再根據(jù)評(píng)卷專家組預(yù)先制定的切割方案將圖片分割成以一題或若干題為單位的子圖，評(píng)卷教師通過(guò)評(píng)卷客戶端瀏覽器訪問(wèn)應(yīng)用服務(wù)器，應(yīng)用服務(wù)器接收客戶端請(qǐng)求，從數(shù)據(jù)庫(kù)服務(wù)器中獲取相關(guān)信息，包括答題子圖的url路徑，返回給客戶端瀏覽器，客戶端瀏覽器收到響應(yīng)后，根據(jù)子圖的url路徑，從文件服務(wù)器獲取對(duì)應(yīng)子圖，返回給客戶端，評(píng)卷教師評(píng)閱答題子圖后對(duì)答題結(jié)果打分提交，存入數(shù)據(jù)庫(kù)服務(wù)器，并請(qǐng)求下一個(gè)答題子圖。

評(píng)卷系統(tǒng)服務(wù)器端主要由應(yīng)用服務(wù)器、文件服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、掃描服務(wù)器和NAS存儲(chǔ)組成，各評(píng)卷點(diǎn)的評(píng)卷教師通過(guò)專線和中心機(jī)房服務(wù)器互聯(lián)，如圖1所示。所有服務(wù)器的操作系統(tǒng)一般都采用32位windows2003，應(yīng)用服務(wù)器和文件服務(wù)器均使用HTTP協(xié)議提供服務(wù)，應(yīng)用服務(wù)器一般采用基于jdk1.4的weblogic中間件，處理評(píng)卷業(yè)務(wù)邏輯，文件服務(wù)器使用weblogic或IIS提供圖像傳輸，數(shù)據(jù)庫(kù)服務(wù)器使用Oracle數(shù)據(jù)庫(kù)，NAS存儲(chǔ)保存考生的答題電子圖像。

系統(tǒng)的部署以每個(gè)科目為單位，配置應(yīng)用服務(wù)器、文件服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器和存儲(chǔ)。根據(jù)每個(gè)科目的評(píng)卷數(shù)量確定所需的服務(wù)器數(shù)量和存儲(chǔ)容量，并發(fā)量小的幾個(gè)科目會(huì)共用一組服務(wù)器。

2.2 網(wǎng)上評(píng)卷系統(tǒng)常用部署模式的薄弱環(huán)節(jié)

網(wǎng)上評(píng)卷系統(tǒng)常用的部署模式在正常情況下，能滿足評(píng)卷的業(yè)務(wù)需求，但存在一定的不足。

圖1 網(wǎng)上評(píng)卷常用部署結(jié)構(gòu)圖

2.2.1 單點(diǎn)故障

單點(diǎn)故障存在于評(píng)卷系統(tǒng)的線路以及網(wǎng)絡(luò)和服務(wù)器設(shè)備各個(gè)環(huán)節(jié)。近幾年隨著城市建設(shè)的需要，目前各個(gè)城市路面施工比較多，連接各評(píng)卷點(diǎn)的專線隨時(shí)有被挖斷的風(fēng)險(xiǎn)，一旦某一條專線線路中斷，相關(guān)評(píng)卷點(diǎn)的評(píng)卷工作將被迫停滯，而線路的恢復(fù)一般需要兩三個(gè)小時(shí)甚至更長(zhǎng)；中心機(jī)房的核心交換機(jī)和服務(wù)器同樣存在單點(diǎn)故障，任意一臺(tái)設(shè)備故障將造成某個(gè)科目甚至所有科目的評(píng)卷業(yè)務(wù)中斷，設(shè)備修復(fù)、維護(hù)、更換的時(shí)間比較長(zhǎng)。

2.2.2 部署復(fù)雜

每次評(píng)卷前根據(jù)不同考試項(xiàng)目評(píng)卷工作的需要，都要重新準(zhǔn)備服務(wù)器系統(tǒng)，并配置系統(tǒng)參數(shù)，進(jìn)行系統(tǒng)優(yōu)化，從開(kāi)始準(zhǔn)備到進(jìn)行評(píng)卷工作，一般需要一周左右的時(shí)間，這些工作都是簡(jiǎn)單的重復(fù)性工作，不僅浪費(fèi)時(shí)間精力，而且容易出現(xiàn)差錯(cuò)。

2.2.3 服務(wù)器資源利用率低

網(wǎng)上評(píng)卷系統(tǒng)在評(píng)卷高峰期間，系統(tǒng)負(fù)載較高，為確保網(wǎng)上評(píng)卷系統(tǒng)的性能，評(píng)卷使用的硬件服務(wù)器配置一般都比較高，但由于網(wǎng)上評(píng)卷系統(tǒng)所使用的系統(tǒng)都是32位系統(tǒng)，無(wú)法充分利用硬件資源，造成資源利用率低下，整個(gè)系統(tǒng)性能得不到有效提高。

3 網(wǎng)上評(píng)卷系統(tǒng)的高可靠性部署架構(gòu)

隨著計(jì)算機(jī)技術(shù)的發(fā)展，許多新技術(shù)如虛擬化技術(shù)應(yīng)用越來(lái)越廣泛，使得網(wǎng)上評(píng)卷系統(tǒng)的部署架構(gòu)有了進(jìn)一步優(yōu)化的可能。從2011年下半年開(kāi)始，江蘇省在網(wǎng)上評(píng)卷系統(tǒng)的部署中逐步采用虛擬化、負(fù)載均衡、數(shù)據(jù)庫(kù)集群、數(shù)據(jù)庫(kù)審計(jì)等技術(shù)，逐步對(duì)網(wǎng)上評(píng)卷的常用部署架構(gòu)做進(jìn)一步的調(diào)整和優(yōu)化，優(yōu)化的目標(biāo)主要有以下幾個(gè)：一是提高硬件基礎(chǔ)設(shè)施的高可靠性；二是提高評(píng)卷系統(tǒng)部署的效率；三是提高硬件資源的利用率；四是從硬件架構(gòu)和對(duì)數(shù)據(jù)庫(kù)的優(yōu)化提升評(píng)卷系統(tǒng)的性能。優(yōu)化后的網(wǎng)上評(píng)卷系統(tǒng)架構(gòu)圖如圖2所示，應(yīng)用服務(wù)器和文件服務(wù)器以虛擬機(jī)方式部署，不同科目部署各自的應(yīng)用服務(wù)器，而文件服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器則由所有科目共用。

3.1 網(wǎng)絡(luò)架構(gòu)的高可靠性

圖2 優(yōu)化后的網(wǎng)上評(píng)卷系統(tǒng)架構(gòu)圖

優(yōu)化后的網(wǎng)上評(píng)卷系統(tǒng)架構(gòu)網(wǎng)絡(luò)部分采用全冗余架構(gòu)，為了防止專線的物理中斷，中心機(jī)房和多個(gè)評(píng)卷點(diǎn)之間通過(guò)多條不同物理線路的專線組成環(huán)路，采用OSPF動(dòng)態(tài)路由協(xié)議，確保線路中斷時(shí)，網(wǎng)絡(luò)流量無(wú)縫切換；中心機(jī)房評(píng)卷外網(wǎng)核心交換機(jī)和評(píng)卷內(nèi)網(wǎng)交換機(jī)均用網(wǎng)絡(luò)虛擬化方式部署，將多臺(tái)物理交換機(jī)虛擬成一臺(tái)大的邏輯交換機(jī)，實(shí)現(xiàn)跨設(shè)備鏈路聚合，共同分擔(dān)網(wǎng)絡(luò)流量，消除“網(wǎng)絡(luò)環(huán)路”，增強(qiáng)網(wǎng)絡(luò)的可靠性，提高鏈路利用率；系統(tǒng)中還部署了兩臺(tái)負(fù)載均衡設(shè)備，以主備方式運(yùn)行，主備設(shè)備的切換會(huì)造成后端服務(wù)器群的服務(wù)短時(shí)間中斷，為減少由于評(píng)卷外網(wǎng)核心交換機(jī)中任意一臺(tái)設(shè)備故障而造成負(fù)載均衡設(shè)備的主備切換，每臺(tái)負(fù)載均衡都連接了評(píng)卷外網(wǎng)核心交換機(jī)中的成員設(shè)備。

3.2 服務(wù)器系統(tǒng)的高可靠性

服務(wù)器虛擬化技術(shù)的應(yīng)用，給系統(tǒng)的穩(wěn)定運(yùn)行、簡(jiǎn)化部署提供了堅(jiān)實(shí)的保障：一是通過(guò)預(yù)先定制好的模版可快速部署虛擬服務(wù)器，提高了效率；二是提高硬件資源的利用率，原來(lái)一臺(tái)物理服務(wù)器只能提供一個(gè)應(yīng)用，通過(guò)虛擬化后可運(yùn)行多臺(tái)虛擬機(jī)提供多個(gè)應(yīng)用；三是常用架構(gòu)中一臺(tái)物理服務(wù)器出現(xiàn)故障，將會(huì)造成較長(zhǎng)時(shí)間評(píng)卷業(yè)務(wù)的中斷，而通過(guò)虛擬化的高可用性（High Availability），當(dāng)物理機(jī)發(fā)生故障時(shí)提供故障切換，虛擬機(jī)會(huì)在另一臺(tái)物理機(jī)上重新啟動(dòng)，業(yè)務(wù)恢復(fù)的時(shí)間可縮短到幾分鐘以內(nèi)，如果在故障切換過(guò)程中，要求虛擬機(jī)提供連續(xù)可用性，可以采用故障容錯(cuò)（Fault Tolerance）技術(shù)，使虛擬機(jī)無(wú)縫切換到其它物理機(jī)上；四是可隨時(shí)對(duì)物理機(jī)進(jìn)行計(jì)劃內(nèi)停機(jī)維護(hù)，通過(guò)虛擬機(jī)動(dòng)態(tài)遷移（VMotion）技術(shù)，可以在不停機(jī)的情況下將整個(gè)正在運(yùn)行的虛擬機(jī)從一臺(tái)物理服務(wù)器移動(dòng)到另一臺(tái)物理服務(wù)器。

在網(wǎng)上評(píng)卷系統(tǒng)中，應(yīng)用服務(wù)器和文件服務(wù)器采用虛擬機(jī)進(jìn)行管理，數(shù)據(jù)庫(kù)服務(wù)器使用物理機(jī)部署。虛擬機(jī)的HA或FT技術(shù)確保了物理機(jī)出現(xiàn)故障時(shí)能快速地恢復(fù)，數(shù)據(jù)庫(kù)服務(wù)器采用集群技術(shù)避免單點(diǎn)故障。服務(wù)器配置多塊千兆網(wǎng)卡，采用基于IEEE802.3ad標(biāo)準(zhǔn)的LACP協(xié)議（Link Aggregation Control Protocol，鏈路匯聚控制協(xié)議），將雙網(wǎng)卡綁定為一個(gè)邏輯網(wǎng)卡，不僅解決了網(wǎng)卡的單點(diǎn)故障，而且增加了服務(wù)器的網(wǎng)絡(luò)帶寬。

3.3 存儲(chǔ)系統(tǒng)的高可靠性

采用虛擬化技術(shù)后，網(wǎng)上評(píng)卷系統(tǒng)需要用到存儲(chǔ)的地方有考生答題圖像、虛擬機(jī)共享存儲(chǔ)以及數(shù)據(jù)庫(kù)共享存儲(chǔ)。為保障存儲(chǔ)的可靠性，在江蘇省網(wǎng)上評(píng)卷存儲(chǔ)方案中，配置了三臺(tái)NAS存儲(chǔ)和兩臺(tái)FC SAN存儲(chǔ)。在三臺(tái)NAS存儲(chǔ)中，一臺(tái)存放掃描的考生答題原圖，另兩臺(tái)存放切割后的子圖，子圖用于評(píng)卷教師評(píng)卷使用，同時(shí)，這三臺(tái)存儲(chǔ)之間相互備份，確保任意一臺(tái)存儲(chǔ)故障都不會(huì)影響評(píng)卷；在兩臺(tái)FC SAN存儲(chǔ)中，一臺(tái)作為虛擬機(jī)的共享存儲(chǔ)，另一臺(tái)作為數(shù)據(jù)庫(kù)共享存儲(chǔ)，這兩套存儲(chǔ)之間相互備份，為了提高虛擬機(jī)系統(tǒng)和數(shù)據(jù)庫(kù)的性能，每臺(tái)SAN存儲(chǔ)中都配置了SSD固態(tài)硬盤作為緩存。

4 網(wǎng)上評(píng)卷系統(tǒng)的高性能優(yōu)化

網(wǎng)上評(píng)卷系統(tǒng)的性能影響著評(píng)卷的進(jìn)度，評(píng)卷教師希望以流暢的、相對(duì)穩(wěn)定的速度進(jìn)行評(píng)卷。網(wǎng)上評(píng)卷系統(tǒng)的性能受多種因素的影響，包括硬件設(shè)備的部署架構(gòu)、服務(wù)器和網(wǎng)絡(luò)的性能、系統(tǒng)軟件和支撐軟件的優(yōu)化程度、代碼的質(zhì)量和效率等。在網(wǎng)上評(píng)卷系統(tǒng)的優(yōu)化方案中，本文主要側(cè)重于系統(tǒng)架構(gòu)、提高服務(wù)器和網(wǎng)絡(luò)的性能以及對(duì)系統(tǒng)軟件和支撐軟件的配置進(jìn)行優(yōu)化。

在評(píng)卷過(guò)程中，服務(wù)器的負(fù)載基本趨于穩(wěn)定，但對(duì)于小分值、相對(duì)客觀、唯一答案的題目評(píng)卷中會(huì)出現(xiàn)峰值。近幾年來(lái)通過(guò)對(duì)整個(gè)系統(tǒng)架構(gòu)的深入分析，發(fā)現(xiàn)其制約瓶頸主要來(lái)自于服務(wù)器。在網(wǎng)上評(píng)卷系統(tǒng)中，主要針對(duì)應(yīng)用服務(wù)器、文件服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器來(lái)進(jìn)行優(yōu)化。

4.1 服務(wù)器性能優(yōu)化

首先，為了提高服務(wù)器資源的利用率和并發(fā)能力，將應(yīng)用服務(wù)器、文件服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器的操作系統(tǒng)從Windows 2003 32位系統(tǒng)遷移到Linux 64位系統(tǒng)，32位Windows系統(tǒng)單個(gè)線程能使用的最大內(nèi)存不超過(guò)4GB，64位系統(tǒng)則遠(yuǎn)超出這個(gè)限制，Linux系統(tǒng)相比于Windows系統(tǒng)，可通過(guò)最小化安裝減少系統(tǒng)資源占有，也可以避免Windows環(huán)境中病毒和木馬帶來(lái)的困擾，系統(tǒng)運(yùn)行穩(wěn)定可靠。

其次，應(yīng)用服務(wù)器采用的中間件從32位軟件升級(jí)到64位系統(tǒng)，中間件所使用的Java版本也從1.4升級(jí)到1.6，Java1.6相對(duì)于1.4，性能有了大幅度的提升，使得應(yīng)用服務(wù)器的性能也有了極大的提高。在一般的部署方式下，一臺(tái)采用32位系統(tǒng)的應(yīng)用服務(wù)器能支撐的在線評(píng)卷教師數(shù)量不到300位，在相同硬件配置下，采用64位系統(tǒng)后，能支撐的在線評(píng)卷教師數(shù)量能到700多名。

第三，文件服務(wù)器由IIS更改為L(zhǎng)inux下的nginx，nginx是一款輕量級(jí)的高性能Web服務(wù)器，其特點(diǎn)是占有內(nèi)存少，并發(fā)能力強(qiáng)，適合處理靜態(tài)文件，傳輸考生答題圖片。

第四，數(shù)據(jù)庫(kù)服務(wù)器使用多路徑軟件管理服務(wù)器和存儲(chǔ)的連接，一方面保證存儲(chǔ)訪問(wèn)的可靠性，另一方面實(shí)現(xiàn)負(fù)載均衡，提高服務(wù)器訪問(wèn)存儲(chǔ)的性能，此外，在Linux中配置大內(nèi)存頁(yè)(Huge page)，以減輕CPU的負(fù)擔(dān)，減少系統(tǒng)內(nèi)存的消耗，提高數(shù)據(jù)庫(kù)系統(tǒng)的性能。

4.2 采用負(fù)載均衡提高文件服務(wù)器并發(fā)負(fù)載

在整個(gè)評(píng)卷過(guò)程中，傳輸?shù)氖谴罅靠忌娮訄D像，因此文件服務(wù)器的壓力尤為突出。文件服務(wù)器的壓力大小和在線評(píng)卷教師人數(shù)、圖像灰度、圖像切割大小、評(píng)卷速度等因素有關(guān)，在同等條件下，任何一個(gè)因素變化如圖像灰度提高，圖像的顯示就有可能從流暢變?yōu)殚g歇性的出現(xiàn)停頓，而且，不同科目文件服務(wù)器的負(fù)載差異很大，象語(yǔ)文、數(shù)學(xué)、生物、物理等科目的壓力就比較大，而英語(yǔ)、歷史等科目的負(fù)載會(huì)很小。

文件服務(wù)器實(shí)際上提供的是靜態(tài)圖片的HTTP服務(wù)，在WEB服務(wù)優(yōu)化方案中，一般通過(guò)盡量減少HTTP請(qǐng)求、壓縮靜態(tài)文件、在服務(wù)器端和客戶端對(duì)靜態(tài)頁(yè)面使用緩存、減少圖片，圖片延遲加載和預(yù)加載等技術(shù)手段來(lái)提升瀏覽速度和提高并發(fā)連接數(shù)。文件服務(wù)器傳輸?shù)闹挥袌D片，如果評(píng)卷采用四評(píng)機(jī)制，一張圖片會(huì)傳給四位教師評(píng)閱，一般傳給三位或兩位教師，因此緩存無(wú)法起到根本性的作用，再加上圖片壓縮效率很低，常規(guī)的Web優(yōu)化方案不能起到效果。在江蘇省的部署方案中，在文件服務(wù)器前端部署硬件負(fù)載均衡設(shè)備，所有科目的圖片都通過(guò)訪問(wèn)負(fù)載均衡設(shè)備獲取，解決了原有不同科目文件服務(wù)器壓力不均的情況，結(jié)合虛擬化技術(shù)，當(dāng)整個(gè)文件服務(wù)器資源池不能滿足性能需求時(shí)，可以動(dòng)態(tài)快速地增加虛擬機(jī)來(lái)提高文件服務(wù)器群的性能。

4.3 網(wǎng)上評(píng)卷系統(tǒng)的性能監(jiān)控和數(shù)據(jù)安全

加強(qiáng)對(duì)網(wǎng)上評(píng)卷系統(tǒng)的性能監(jiān)控，對(duì)網(wǎng)絡(luò)流量、負(fù)載均衡設(shè)備、服務(wù)器CPU、內(nèi)存及磁盤、虛擬機(jī)性能、中間件、數(shù)據(jù)庫(kù)性能等進(jìn)行實(shí)時(shí)監(jiān)控，及時(shí)發(fā)現(xiàn)問(wèn)題所在，及時(shí)處理。為了保證數(shù)據(jù)的安全性，網(wǎng)上評(píng)卷系統(tǒng)中部署了數(shù)據(jù)庫(kù)審計(jì)系統(tǒng)，所有對(duì)數(shù)據(jù)庫(kù)的操作將被記錄下來(lái)并可以回放。

5 結(jié)束語(yǔ)

網(wǎng)上評(píng)卷時(shí)間緊、任務(wù)重，同時(shí)在線評(píng)卷教師數(shù)量較多，加上傳輸?shù)氖谴罅康膱D片文件，評(píng)卷工作要求圖片顯示不能出現(xiàn)明顯停頓現(xiàn)象，對(duì)整個(gè)評(píng)卷系統(tǒng)的性能和基礎(chǔ)硬件設(shè)備的可靠性要求較高。本文主要從消除設(shè)備單點(diǎn)故障、充分利用硬件資源、提高服務(wù)器的并發(fā)處理能力等角度進(jìn)行研究、分析和實(shí)踐，對(duì)網(wǎng)上評(píng)卷系統(tǒng)體系架構(gòu)進(jìn)行完善和優(yōu)化，建成一個(gè)統(tǒng)一的通用部署架構(gòu)，具有高性能、高可靠性、高可擴(kuò)展性和易維護(hù)性。

[1] 錢建良.基于虛擬化平臺(tái)的網(wǎng)上評(píng)卷系統(tǒng)的研究與設(shè)計(jì)[J].江南大學(xué)學(xué)報(bào)，2013,12(4):419-423.

[2] 康長(zhǎng)安，陳玉紅.基于前端的Web性能優(yōu)化[J].電腦知識(shí)與技術(shù)，2011，7(16)：3811-3813，3838.

[3] 房秉毅，張?jiān)朴拢惽褰?，賈興華.云計(jì)算網(wǎng)絡(luò)虛擬化技術(shù)[J].信息通信技術(shù)，2011(1)：50-53.