張慶祝

1.西安石油大學(xué) 710065 2.延長油田股份有限公司 716000

延長油田存儲虛擬化技術(shù)研究及應(yīng)用

張慶祝

1.西安石油大學(xué) 710065 2.延長油田股份有限公司 716000

本文介紹了基于主機層的虛擬化、基于存儲設(shè)備的虛擬化、基于網(wǎng)絡(luò)的虛擬化三種虛擬化技術(shù)，并根據(jù)延長油田數(shù)據(jù)中心的實際情況，提出了一種基于H3C CAS零存儲云平臺的云計算基礎(chǔ)架構(gòu)技術(shù)方案，為延長油田信息化建設(shè)進一步深化應(yīng)用，提供了理論依據(jù)和實踐經(jīng)驗。

存儲；虛擬化；整合；H3C

一、前言

存儲技術(shù)的應(yīng)用和集成是目前全球發(fā)展最快的工業(yè)技術(shù)之一，存儲技術(shù)產(chǎn)業(yè)已經(jīng)成為IT行業(yè)內(nèi)的第三大產(chǎn)業(yè)。存儲虛擬化技術(shù)，是指把多個存儲介質(zhì)模塊通過虛擬化的手段集中管理起來，所有的存儲模塊在一個存儲池中進行統(tǒng)一管理，實現(xiàn)同構(gòu)或異構(gòu)的多個存儲設(shè)備的統(tǒng)一管理，向用戶提供一個大容量、高數(shù)據(jù)傳輸帶寬的存儲系統(tǒng)。存儲虛擬化技術(shù)可以減少存儲系統(tǒng)的管理復(fù)雜度，使得人們只需去利用虛擬化以后的統(tǒng)一的存儲空間，而不必去考慮物理存儲設(shè)備的細節(jié)，同時可以提高存儲設(shè)備的利用率，節(jié)約存儲設(shè)備的成本。

延長油田數(shù)據(jù)中心機房建成距今近10年，根據(jù)油田公司的業(yè)務(wù)需求，先后購買了多套不同品牌的存儲系統(tǒng)，如EMC、HP、IBM等，存儲著延長油田生產(chǎn)、物資、電力、招標、設(shè)備、勘探開發(fā)動態(tài)庫……等諸多應(yīng)用系統(tǒng)數(shù)據(jù)，一定時期內(nèi)解決了專業(yè)應(yīng)用系統(tǒng)數(shù)據(jù)處理和數(shù)據(jù)存儲與備份的需求。隨著數(shù)據(jù)種類的不斷增加、業(yè)務(wù)處理需求不斷提高，現(xiàn)有存儲設(shè)備架構(gòu)逐漸突顯出問題：存儲系統(tǒng)相互獨立、應(yīng)用不均衡、不同廠商的存儲設(shè)備互相不兼容、資源不能互通和有效利用。與此同時，現(xiàn)有的模式也給維護管理、故障排查、性能優(yōu)化、數(shù)據(jù)遷移、容災(zāi)備份等進一步應(yīng)用帶來極大的不便，致使更大規(guī)模的數(shù)據(jù)存儲和數(shù)據(jù)保護工作難以順利開展。通過云平臺可以有效支持各種業(yè)務(wù)系統(tǒng)對磁盤數(shù)據(jù)文件訪問的需求，提升系統(tǒng)的效率和安全性，為油田的關(guān)鍵業(yè)務(wù)系統(tǒng)的穩(wěn)定運行提供了可靠后臺支持。

本文綜述了存儲虛擬化技術(shù)在延長油田虛擬化整合方案中的研究和應(yīng)用，并探討了未來虛擬化存儲的發(fā)展方向以及存在的問題。

二、存儲虛擬化技術(shù)

虛擬存儲的技術(shù)一般分成三類：基于主機或服務(wù)器的虛擬化、基于磁盤或磁盤子系統(tǒng)的虛擬化和基于網(wǎng)絡(luò)的虛擬化。

（一）基于主機層的虛擬化

主機層的虛擬化通常是在主機上安裝存儲管理軟件，可以將多個存儲系統(tǒng)的存儲空間合并成單一存儲池，并能分配給各不同的主機使用。如果僅僅需要單個主機服務(wù)器（或單個集群）訪問多個磁盤陣列，可以使用基于主機的存儲虛擬化技術(shù)。虛擬化的工作通過特定的軟件在主機服務(wù)器上完成，經(jīng)過虛擬化的存儲空間可以跨越多個異構(gòu)的磁盤陣列。

由于基于主機的虛擬是通過軟件完成，因此會消耗系統(tǒng)CPU，容易造成主機的I/O性能瓶頸。同時，在每個主機上的虛擬化需要為每個主機單獨安裝軟件，從某種意義上講也就降低了系統(tǒng)的可靠性。

（二）基于存儲設(shè)備的虛擬化

當有多個主機服務(wù)器需要訪問同一個磁盤陣列的時候，可以采用基于陣列控制器內(nèi)部的虛擬化技術(shù)。此時虛擬化的工作是在陣列控制器上完成，將一個陣列上的存儲容量劃分多個存儲空間(LUN)，供不同的主機系統(tǒng)訪問。這種意義的虛擬存儲器大多數(shù)專業(yè)存儲廠商都能提供。

基于存儲設(shè)備和存儲子系統(tǒng)的虛擬化對其后臺所使用的具體硬件的兼容性要求很高，需要參數(shù)相互匹配，因此在存儲設(shè)備升級和擴容過程中需要受到某些限制。準確地講，基于同一磁盤陣列的所謂虛擬化技術(shù)并非適合存儲整合需求的虛擬化技術(shù)。因為任何單一磁盤陣列的擴展能力有限，其擴展能力不能滿足其作為存儲池需求。

（三）基于網(wǎng)絡(luò)的虛擬化

基于存儲網(wǎng)絡(luò)的虛擬化解決方案，其核心就是能夠?qū)⒕W(wǎng)絡(luò)中的所有存儲資源分配給網(wǎng)絡(luò)中所有的主機使用。基于網(wǎng)絡(luò)的虛擬化是近來存儲工業(yè)的一個發(fā)展方向。與基于主機和存儲子系統(tǒng)的虛擬化不同，基于網(wǎng)絡(luò)的虛擬化功能是在網(wǎng)絡(luò)內(nèi)部完成的。這個網(wǎng)絡(luò)就是我們常常指的存儲局域網(wǎng)絡(luò)（SAN）。具體的虛擬功能的實現(xiàn)可以在交換機、路由器、存儲服務(wù)器進行，分為帶內(nèi)（inband）和帶外（out-of-band）的兩種虛擬化方式。

1、帶內(nèi)虛擬

帶內(nèi)虛擬，常常也稱作對稱虛擬（Symmetric），是在應(yīng)用服務(wù)器和存儲的數(shù)據(jù)通路內(nèi)部得以實現(xiàn)。在標準的設(shè)置中，在存儲服務(wù)器上運行的虛擬軟件允許控制數(shù)據(jù)（metadata）和需存儲的實際數(shù)據(jù)在相同的數(shù)據(jù)通路內(nèi)傳遞。存儲服務(wù)器接受來自主機的數(shù)據(jù)請求，隨后存儲服務(wù)器會在其后臺的存儲設(shè)備中搜索數(shù)據(jù)（被請求的數(shù)據(jù)可能分布于多個存儲設(shè)備中）。當數(shù)據(jù)被找到后，存儲服務(wù)器將數(shù)據(jù)傳送給主機，完成一次完整地請求響應(yīng)。在用戶看來，帶內(nèi)虛擬存儲服務(wù)器好像是直接附屬在主機上的一個存儲設(shè)備（或子系統(tǒng)）。

2、帶外虛擬

帶外虛擬，又叫做不對稱虛擬（Asymmetric），是在數(shù)據(jù)通路外的存儲服務(wù)器上實現(xiàn)的虛擬功能?？刂茢?shù)據(jù)（metadata）和存儲數(shù)據(jù)在不同的數(shù)據(jù)通路上傳輸。一般情況下，metadata存放在使用單獨通路連接到應(yīng)用服務(wù)器的存儲服務(wù)器上，而存儲數(shù)據(jù)在另外的通路中傳遞。帶外虛擬減少了網(wǎng)絡(luò)中的數(shù)據(jù)流量。但是一般需要在主機端安裝客戶軟件，也容易受到攻擊。

三、vStor零存儲

vStor零存儲是由H3C公司提出的一套云計算基礎(chǔ)架構(gòu)的技術(shù)方案。相比傳統(tǒng)架構(gòu)，這種融合技術(shù)架構(gòu)具備更好的擴展性，能有效提升I/O速度，并降低空間占用和能源消耗，代表了云計算數(shù)據(jù)中心的技術(shù)發(fā)展方向。

H3C CAS零存儲云平臺融合了計算虛擬化和存儲虛擬化，在一個硬件平臺上同時提供計算資源和存儲資源。通過這一平臺可以構(gòu)架無專門共享存儲設(shè)備的IDC，從而極大的降低采購成本。H3C CAS零存儲方案采用了MPP架構(gòu)，該架構(gòu)是目前互聯(lián)網(wǎng)普遍采用的計算、存儲一體化架構(gòu)，具有很強的可擴展性。而且CAS零存儲方案在互聯(lián)網(wǎng)架構(gòu)的基礎(chǔ)上，進一步改進了元數(shù)據(jù)管理方案，采用無中心節(jié)點的分布式元數(shù)據(jù)管理，不僅消除了元數(shù)據(jù)服務(wù)器存在的單點故障，而且實現(xiàn)高度自動化管理，減少了維護復(fù)雜性。CAS零存儲方案采用的存儲虛擬化技術(shù)，如分布式LUN、分布式熱備空間、多副本設(shè)計等，是目前高端存儲普遍采用的技術(shù)，如EMC VMAX，IBM XIV，HP 3PAR等都采用相同或者類似的技術(shù)，這些技術(shù)都是提供存儲高可用性和穩(wěn)定一致的存儲性能的關(guān)鍵技術(shù)。

H3C CAS零存儲充分利用了提供計算虛擬化的服務(wù)器的磁盤驅(qū)動器資源，從而虛擬出一個共享存儲供虛擬機使用。這個虛擬的共享存儲在功能上與獨立共享存儲完全一致；同時由于虛擬SAN與計算完全融合在一個平臺上，用戶無需像以往那樣購買連接計算服務(wù)器和存儲設(shè)備的SAN網(wǎng)絡(luò)設(shè)備。

四、延長油田存儲虛擬化方案設(shè)計與實現(xiàn)

（一）分布式LUN設(shè)計

在H3C CAS零存儲云平臺中，每臺服務(wù)器同時也是一個存儲節(jié)點。除了安裝平臺軟件的系統(tǒng)盤外，每個節(jié)點上的其他所有磁盤空間都被劃分為大小相等的存儲塊，這些存儲塊稱為“chunk”。CAS會使整個LUN的chunk盡量均勻分布在所管理的全部節(jié)點和物理磁盤上，這樣的設(shè)計使得對LUN的IO操作能利用整個系統(tǒng)中全部節(jié)點和磁盤的性能，也就是說用戶創(chuàng)建的LUN將橫跨全部服務(wù)器節(jié)點。

當用戶創(chuàng)建一個LUN時，CAS并不會馬上為該LUN分配實際的物理存儲空間，而是采用精簡模式，在有數(shù)據(jù)寫入的時候以chunk為單位分配存儲空間。

（二）高可用性設(shè)計

用戶可以根據(jù)業(yè)務(wù)需要為數(shù)據(jù)設(shè)置副本數(shù)量。CAS支持用戶為每個LUN設(shè)置2－5個副本，并且使得不同的副本分布在不同的服務(wù)器和物理磁盤上，從而提供最大的容錯性。當一個服務(wù)器故障，甚至多臺服務(wù)器故障時，系統(tǒng)仍能正常工作，而且數(shù)據(jù)不丟失。CAS允許數(shù)據(jù)副本按照機柜分布，即同一數(shù)據(jù)的不同副本會存放在不同的機柜中。

當出現(xiàn)大面積的同時故障導(dǎo)致某些用戶數(shù)據(jù)所有副本都丟失的時候（比如存有同一數(shù)據(jù)不同副本的硬件恰好同時全部故障），受影響的只是這些丟失的數(shù)據(jù)，其他數(shù)據(jù)和共享存儲服務(wù)仍然正常運行。

（三）高性能設(shè)計

1.7 設(shè)計方法：處理和對照均為綏農(nóng)26號大豆品種，公頃用48%開磷復(fù)合肥200kg，加入50%硫酸鉀50kg，均為5月11日播種，公頃用大豆種子為55kg。播種后第三天，即5月14日，用99%乙草胺1800mg/公頃+75%噻吩磺隆30g/公頃，兌水500kg/公頃，封閉滅草。田間管理均為趟兩遍地，苗后莖葉處理用25%氟磺胺草醚2000ml/公頃+12%烯草酮1200ml/公頃兌水320kg均勻噴霧，秋后拿一遍大草。田間防治病蟲害時用藥劑及時防治，大豆食心蟲防治時間為8月7日，通過秋季測產(chǎn)及收獲看，食心蟲防效甚好，蟲食率較低。

CAS零存儲云平臺提供的虛擬SAN本質(zhì)上是一種分布式架構(gòu)（單一集群最大能管理256個服務(wù)器節(jié)點），其存儲容量和性能隨著服務(wù)器節(jié)點的增加而線性增加。由于每個LUN都橫跨全部服務(wù)器節(jié)點和物理磁盤，所以每個LUN都可以利用全部服務(wù)器和物理磁盤的性能，從而提供比傳統(tǒng)存儲更高的性能。

此外，不同于傳統(tǒng)RAID以專用空閑磁盤作為熱備，CAS零存儲云平臺自動提供熱備空間，并且將熱備空間均勻分布在全部服務(wù)節(jié)點上。這樣當數(shù)據(jù)重構(gòu)啟動后，全部服務(wù)器及物理磁盤都可以參與重構(gòu)從而實現(xiàn)最佳的重構(gòu)效率。

可以在每個服務(wù)器節(jié)點上配置RAID卡緩存來增強IO性能，根據(jù)存儲容量的不同可以配置512MB-2GB不等的RAID卡緩存。在追求更高性能的時候，還可以在每臺服務(wù)器上配置2塊SSD固態(tài)硬盤作為緩存。

（四）自動化管理設(shè)計

CAS零存儲系統(tǒng)采用無中心架構(gòu)，每個服務(wù)器節(jié)點的角色完全一樣，這樣用戶無需像傳統(tǒng)分布式存儲系統(tǒng)那樣管理元數(shù)據(jù)服務(wù)器。而且整個虛擬存儲系統(tǒng)的元數(shù)據(jù)采用分布式設(shè)計，由系統(tǒng)自動管理，無需人工干預(yù)。

當系統(tǒng)擴容時，用戶只需幾條簡單命令將物理部件加入集群，系統(tǒng)上原有的數(shù)據(jù)將自動重新均衡，原有LUN將自動擴展到新的物理設(shè)備上。

五、延長油田零存儲云數(shù)據(jù)中心方案部署

利用H3C公司的云業(yè)務(wù)單元，可以搭建架構(gòu)簡潔、性能穩(wěn)定的云計算數(shù)據(jù)中心。H3C云業(yè)務(wù)單元是集成了計算虛擬化和存儲虛擬化特性的軟硬件集成平臺，能同時提供虛擬計算和虛擬存儲資源。多個云業(yè)務(wù)單元通過以太網(wǎng)絡(luò)連接在一起，構(gòu)成功能完善、性能優(yōu)越的云計算中心。

下圖是由三個業(yè)務(wù)單元組成的云計算數(shù)據(jù)中心組網(wǎng)圖，用戶根據(jù)業(yè)務(wù)對計算資源和存儲資源的需求，選配不同型號的云業(yè)務(wù)單元，配置容量和性能最適合的物理硬盤。集群數(shù)據(jù)交換網(wǎng)絡(luò)用于云業(yè)務(wù)單元之間的數(shù)據(jù)交換，建議采用10G以太網(wǎng)交換機。集群管理網(wǎng)絡(luò)用于云業(yè)務(wù)單元內(nèi)部管理，可采用千兆以太網(wǎng)交換機。對外業(yè)務(wù)網(wǎng)絡(luò)用于數(shù)據(jù)中心對外提供業(yè)務(wù)。

圖4 云計算數(shù)據(jù)中心組網(wǎng)圖

六、結(jié)束語

2011年后，延長油田數(shù)據(jù)中心核心網(wǎng)絡(luò)和服務(wù)器等設(shè)備陸續(xù)進駐，機房建設(shè)得到不斷延伸和擴展。按照公司下一步信息化建設(shè)規(guī)劃，未來對于存儲能力將是一個十分龐大的需求。延長油田信息化建設(shè)正探索有效的方法解決數(shù)據(jù)中心面臨的問題，最大化信息化建設(shè)效能，是深化數(shù)據(jù)中心信息化建設(shè)的重要組成部分。

存儲虛擬化技術(shù)能夠改善機房的運行環(huán)境，減少存儲系統(tǒng)數(shù)量、優(yōu)化資源配置并簡化管理，是延長油田深化建設(shè)，最大化的發(fā)揮資源作用，促進信息化主動為集團服務(wù)的一種重要手段。

根據(jù)延長油田數(shù)據(jù)中心的實際情況，本文提出了一種基于H3C CAS零存儲云平臺的云計算基礎(chǔ)架構(gòu)技術(shù)方案。它融合了計算虛擬化和存儲虛擬化，在一個硬件平臺上同時提供計算資源和存儲資源。通過這一平臺構(gòu)架無專門共享存儲設(shè)備的IDC，從而極大的降低采購成本。方案實施后，可有效地支持了各種業(yè)務(wù)系統(tǒng)對不同存儲磁盤需求，提升系統(tǒng)的管理效率和關(guān)鍵應(yīng)用系統(tǒng)數(shù)據(jù)的安全性，為油田的關(guān)鍵業(yè)務(wù)系統(tǒng)的穩(wěn)定運行提供了可靠后臺支持，減少了系統(tǒng)運行風(fēng)險和運維成本。將來，系統(tǒng)進一步擴展可以實現(xiàn)對異構(gòu)存儲環(huán)境的整合，以便適應(yīng)集中的數(shù)據(jù)存儲和未來的異地容災(zāi)的需要。

[1]張光．存儲虛擬化技術(shù)的研究[D]．北京交通大學(xué),2013．

[2]覃志武,方凱彬,劉北卓．存儲虛擬化技術(shù)研究與比較分析[J]．信息與電腦(理論版),2016(08)．

[2]李云英．存儲虛擬化技術(shù)在企業(yè)數(shù)據(jù)中心的應(yīng)用[J]．電腦知識與技術(shù),2014(18)．

張慶祝，男，西安石油大學(xué)碩士研究生，延長油田股份有限公司職工。