袁 超，岳 敏，馬 濤，茍世哲，王永平，張 瑋

(中國科學(xué)院 近代物理研究所，甘肅 蘭州 730000)

隨著蘭州重離子加速器(HIRFL)信息化程度的提高，HIRFL數(shù)據(jù)中心內(nèi)服務(wù)器數(shù)量也在近幾年快速增長。目前HIRFL各類型應(yīng)用程序的運行方法是，將每個應(yīng)用程序都分布到各自專用的服務(wù)器上，在該服務(wù)器上安裝相應(yīng)的操作系統(tǒng)，然后運行1個應(yīng)用程序或1組兼容的應(yīng)用程序[1-3]。這種運行模式的好處在于，因系統(tǒng)升級或配置更改而實行的停機只會影響到少數(shù)應(yīng)用程序。

近年來數(shù)據(jù)中心業(yè)務(wù)量越來越多，該方法的弊端逐漸顯現(xiàn)。1) 目前的服務(wù)器都已使用了3～5年，超出了質(zhì)保的時間，很容易出現(xiàn)硬件故障導(dǎo)致業(yè)務(wù)中斷。為實現(xiàn)業(yè)務(wù)系統(tǒng)的高可用性，必須使用多個服務(wù)器。因此會導(dǎo)致大量的硬件資源和資金浪費。2) 當(dāng)數(shù)據(jù)中心需要新增一項業(yè)務(wù)系統(tǒng)時，需要投入大量的人力和財力來購置軟硬件設(shè)備。網(wǎng)絡(luò)交換機、存儲和服務(wù)器等設(shè)備的不斷擴增，給數(shù)據(jù)中心的制冷系統(tǒng)、電力系統(tǒng)造成了嚴(yán)重的壓力。同時數(shù)據(jù)中心龐大致使硬件上線、升級、業(yè)務(wù)遷移等工作會導(dǎo)致長時間業(yè)務(wù)中斷。3) 目前HIRFL應(yīng)用程序僅使用物理服務(wù)器所能提供的CPU和內(nèi)存資源的一小部分，平均利用率為5%～10%。服務(wù)器利用率低下而支持?jǐn)?shù)據(jù)中心工作負載的服務(wù)器數(shù)量眾多，這使得HIRFL數(shù)據(jù)中心基礎(chǔ)結(jié)構(gòu)缺乏可管理性和靈活性，維護成本居高不下。

根據(jù)以上問題，本文使用Fusion Compute云計算技術(shù)來實現(xiàn)數(shù)據(jù)中心服務(wù)器虛擬化平臺。將數(shù)據(jù)中心的服務(wù)器物理資源抽象成邏輯資源，以便于對CPU、內(nèi)存、磁盤、I/O等資源進行統(tǒng)一調(diào)度和管理。

1 HIRFL虛擬化平臺搭建和數(shù)據(jù)庫遷移

Fusion Compute是華為公司開發(fā)的一款云操作系統(tǒng)軟件，利用開源的Xen虛擬化技術(shù)以及英特爾和AMD的輔助虛擬化技術(shù)，實現(xiàn)對硬件資源的虛擬化。同時可對虛擬資源、業(yè)務(wù)資源、用戶資源進行集中調(diào)度和管理，滿足HIRFL系統(tǒng)關(guān)鍵應(yīng)用高可靠性、高性能和高安全性的需求。

在基礎(chǔ)架構(gòu)層中，F(xiàn)usion Compute采用虛擬計算、虛擬存儲、虛擬網(wǎng)絡(luò)等技術(shù)，完成計算資源、存儲資源和網(wǎng)絡(luò)資源的虛擬化。其包含的模塊主要有計算節(jié)點代理(CNA)和虛擬資源管理(VRM)。CNA部署在需要虛擬化的X86服務(wù)器上，主要用于管理計算節(jié)點上的資源。VRM可作為一個虛擬機進行部署，也可部署在物理服務(wù)器上，管理集群資源，并對外提供彈性計算、存儲、IP等服務(wù)，同時為運維人員提供統(tǒng)一的操作維護管理接口。Fusion Compute在計算虛擬化上利用GPU直通和GPU軟件虛擬化技術(shù)，內(nèi)存氣泡和內(nèi)存交互的復(fù)用策略為用戶提供不斷優(yōu)化的性能體驗。存儲虛擬化上利用連接克隆、精簡配置、存儲遷移技術(shù)，異構(gòu)各種廠商設(shè)備，從而有效降低設(shè)備的采購成本。網(wǎng)絡(luò)虛擬化上利用VMDQ虛擬機設(shè)備隊列技術(shù)和SR-IOV網(wǎng)絡(luò)直通技術(shù)，大幅提升虛擬機的網(wǎng)絡(luò)通信性能。在應(yīng)用程序服務(wù)層，F(xiàn)usion Compute的虛擬機熱遷移、故障遷移(HA)、熱備份、VLAN隔離等技術(shù)，可為HIRFL數(shù)據(jù)庫應(yīng)用提供最大的安全和穩(wěn)定性保障。

圖1 HIRFL虛擬化平臺設(shè)備連接圖Fig.1 HIRFL virtualization platform device connection diagram

圖1為HIRFL虛擬化平臺設(shè)備連接圖，使用2臺HP ProLiant DL380 gen9服務(wù)器作為CNA節(jié)點，CPU為Intel(R) Xeon(R) E5-2620，內(nèi)存32 GB，硬盤600 GB，IP地址分別為10.10.2.116和10.10.2.117。VRM管理節(jié)點采用虛擬機部署方式，IP地址為10.10.2.118。使用HP 3PAR 7200c存儲存放虛擬機所有數(shù)據(jù)文件，容量為20 TB，計算節(jié)點與存儲均劃分在同一個業(yè)務(wù)VLAN，VLAN號為4000，二者之間采用FC-SAN方式連接，傳輸速率為8 GB/s。管理網(wǎng)絡(luò)和業(yè)務(wù)網(wǎng)絡(luò)使用同一網(wǎng)段，均使用H3C的S5120交換機與外部網(wǎng)絡(luò)相連接。

HIRFL數(shù)據(jù)庫使用的是Oracle 11g[4-6]，由于源機器和目的設(shè)備環(huán)境相同，所以本次遷移采用冷備份的方式，遷移步驟如下：

1) 查看源主機上HIRFL數(shù)據(jù)庫控制文件、參數(shù)文件、密碼文件、數(shù)據(jù)文件、聯(lián)機重做日志文件的文件位置，然后拷貝；

2) 在目標(biāo)虛擬機上建1個與源主機同名的數(shù)據(jù)庫hirflDB1，裝完數(shù)據(jù)庫后實例默認為啟動狀態(tài)，使用shutdown immediate命令關(guān)閉；

3) 復(fù)制源主機上備份的文件到目標(biāo)虛擬主機相應(yīng)的目錄，直至此冷備份還原成功，然后啟動監(jiān)聽程序，最后啟動數(shù)據(jù)庫，更改網(wǎng)絡(luò)配置。

2 優(yōu)化方案設(shè)計

HIRFL數(shù)據(jù)庫業(yè)務(wù)遷移到虛擬機后，必須進行相應(yīng)的優(yōu)化才能發(fā)揮虛擬機的最大性能[7-8]。本方案主要從物理主機和虛擬機兩個層面進行性能優(yōu)化[9-10]。

物理主機優(yōu)化主要從CPU和內(nèi)存兩個方面進行。

1) 啟用超線程技術(shù)。Intel超線程技術(shù)能提升處理器核心的指令隊列工作效率，能為虛擬機提供之前2倍的虛擬處理器數(shù)量，為hypervisor提供更多的靈活性，因此能提升虛擬服務(wù)器的工作效率。

2) 啟用CPU VT虛擬化技術(shù)。Intel VT-x技術(shù)能從硬件上極大地改善虛擬機的安全性和性能，降低多個虛擬機操作系統(tǒng)之間的資源爭奪和限制，提高虛擬機的靈活性與穩(wěn)定性。

3) 啟用非統(tǒng)一內(nèi)存訪問(NUMA)。Fusion Compute能使得虛擬機內(nèi)部程序運行時針對NUMA結(jié)構(gòu)進行優(yōu)化，CPU會優(yōu)先使用同一節(jié)點上的內(nèi)存，從而可減小內(nèi)存訪問延時、提高訪問效率，提升Oracle數(shù)據(jù)庫的應(yīng)用性能。

虛擬機優(yōu)化主要從以下4個方面進行。

1) 圖2為虛擬機CPU優(yōu)化界面，本研究為虛擬機分配8個vCPU，避免賓客操作系統(tǒng)在內(nèi)核遷移過程中引起CPU過載，同時啟用NUMA特性，提升CPU對內(nèi)存的訪問效率。關(guān)閉CPU關(guān)聯(lián)和熱插拔，CPU資源控制中為HIRFL數(shù)據(jù)庫預(yù)留CPU資源選擇高份額，不限制數(shù)據(jù)庫虛擬機占用CPU資源的上限，使其在競爭物理CPU時獲取更多的資源，提升Hypervisor對物理主機資源的調(diào)度和分配效率。

2) 為避免各虛擬機之間內(nèi)存爭用，為數(shù)據(jù)庫虛擬機配置32 GB內(nèi)存，同時內(nèi)存預(yù)留資源選擇高份額，開啟內(nèi)存熱插拔，便于在系統(tǒng)不宕機的情況下修改內(nèi)存大小。開啟虛擬機內(nèi)存交互磁盤功能，便于內(nèi)存資源復(fù)用和快速恢復(fù)內(nèi)存數(shù)據(jù)。

圖2 虛擬機CPU優(yōu)化界面Fig.2 Virtual machine CPU optimization interface

3) 關(guān)閉基本塊存儲設(shè)置，開啟多磁盤I/O性能加速設(shè)置，提升虛擬機對磁盤的I/O吞吐性能。

4) 將HIRFL數(shù)據(jù)庫虛擬機網(wǎng)卡類型修改為HW_V_NET類型，通過CPU多核并發(fā)能力為虛擬機提供較高的網(wǎng)絡(luò)帶寬，關(guān)閉填充TCP校驗和，降低網(wǎng)絡(luò)延遲。

3 實驗及結(jié)果對比分析

為驗證本文所提出優(yōu)化方案的有效性，源物理主機和虛擬主機均采用同一硬件，使用Benchmark Factory數(shù)據(jù)庫性能測試工具對HIRFL數(shù)據(jù)庫進行壓力測試。用TPC組織發(fā)布的TPC-C作為OLTP的基準(zhǔn)測試標(biāo)準(zhǔn)。TPC-C主要通過流量指標(biāo)(tpmC)、每秒交易數(shù)(TPS)、平均響應(yīng)時間來衡量數(shù)據(jù)庫性能的好壞。流量指標(biāo)是指數(shù)據(jù)庫系統(tǒng)在執(zhí)行付款、訂單狀態(tài)、發(fā)貨事務(wù)、庫存查詢這4種交易的同時，每分鐘可處理的新訂單交易的數(shù)量。平均響應(yīng)時間是指從SQL語句發(fā)出到接收到系統(tǒng)響應(yīng)所消耗的時間，流量指標(biāo)和每秒處理的交易數(shù)越大，說明數(shù)據(jù)庫管理系統(tǒng)的性能越好。本文分虛擬機優(yōu)化前后2個場景依次對數(shù)據(jù)庫進行測試。

1) 虛擬機優(yōu)化前測試及結(jié)果

新建數(shù)據(jù)庫用戶tpc用于本次測試，并指定默認表空間和無限臨時表空間以避免出現(xiàn)性能問題。為模擬HIRFL數(shù)據(jù)庫實際場景，設(shè)定Benchmark scale參數(shù)為400，在數(shù)據(jù)庫中創(chuàng)建25.57 GB的測試數(shù)據(jù)。用戶負載從100到1 600分16個循環(huán)測試，每次測試持續(xù)30 min，其中前15 min為預(yù)采樣時間，當(dāng)系統(tǒng)達到穩(wěn)定狀態(tài)后，開始收集統(tǒng)計信息。圖3為虛擬機優(yōu)化前數(shù)據(jù)庫TPC-C測試結(jié)果。數(shù)據(jù)庫遷移到虛擬化平臺后，隨著用戶負載的不斷提升，TPS也不斷增長，在用戶負載為1 300之前，二者呈線性增長。當(dāng)負載增加到1 500時，數(shù)據(jù)庫平均響應(yīng)時間開始增加，TPS開始降低，因此虛擬化后的數(shù)據(jù)庫最大用戶負載為1 400，TPS為73.49。

2) 虛擬機優(yōu)化后測試及結(jié)果

圖4為虛擬機優(yōu)化前后流量指標(biāo)和平均響應(yīng)時間對比。用戶負載從100增加到700的過程中，虛擬機優(yōu)化前后的流量指標(biāo)基本持平。當(dāng)用戶負載大于800時，優(yōu)化后的數(shù)據(jù)庫流量指標(biāo)有了明顯的提升，在用戶負載為1 400時達到最大tpmC為2 209.511 ，相比優(yōu)化前提升了9.80%。通過對物理主機和虛擬主機的全面優(yōu)化，HIRFL數(shù)據(jù)庫的平均響應(yīng)時間有了顯著降低。當(dāng)數(shù)據(jù)庫達到最大用戶負載1 400時，系統(tǒng)的平均響應(yīng)時間為0.124 s，優(yōu)化后降為0.034 s，降低了約72.58%。表1為虛擬機優(yōu)化前后TPC-C測試數(shù)據(jù)對比。可看到，數(shù)據(jù)庫的最大每秒交易數(shù)在經(jīng)過優(yōu)化后提升了11.3%，說明本文提出的優(yōu)化方案具有可行性和有效性。

圖3 虛擬機優(yōu)化前數(shù)據(jù)庫TPC-C性能結(jié)果Fig.3 Performance results of database before virtual machine optimization

圖4 虛擬機優(yōu)化前后數(shù)據(jù)庫性能對比Fig.4 Performance comparison of database before and after virtual machine optimization

4 總結(jié)

虛擬化技術(shù)在HIRFL上已得到廣泛的應(yīng)用。作為HIRFL數(shù)據(jù)中心向虛擬化集群模式遷移的一部分，本文以華為Fusion Compute虛擬化平臺為基礎(chǔ)，構(gòu)建了HIRFL數(shù)據(jù)庫業(yè)務(wù)的遷移方案和優(yōu)化方案。實驗表明，本文提出的方案具有有效性和可行性，有利于提升加速器運維人員的工作效率，提高了HIRFL數(shù)據(jù)庫的穩(wěn)定性和安全性。下一步的工作內(nèi)容主要是依托Benchmark Factory的混合測試模塊，進一步優(yōu)化HIRFL數(shù)據(jù)庫內(nèi)部結(jié)構(gòu)，以滿足HIRFL大數(shù)據(jù)量實時存取的需求。

表1 虛擬機優(yōu)化前后TPC-C測試數(shù)據(jù)對比結(jié)果Table 1 Comparison of TPC-C test data before and after virtual machine optimization