程志銳， 王 茜， 張慧琳， 常曉磊

(清華大學計算機與信息管理中心，北京100084)

0 引 言

云計算概念的推廣促使數(shù)據(jù)中心逐步向高伸縮、高可用和高度資源共享的方向發(fā)展，將單個的分散的硬件設施進行整合、優(yōu)化，從而形成集成的、按需分配的共享資源池已成為一種趨勢。面對新的形勢，建立用于評價數(shù)據(jù)中心建設成效并指導未來工作的數(shù)據(jù)中心指標體系越來越重要，已成為一個新的研究課題?；萜展居诮晏岢隽恕斑m應性基礎設施成熟度模型(AIMM)”。AIMM旨在幫助企業(yè)評估其數(shù)據(jù)中心現(xiàn)狀，并根據(jù)企業(yè)的業(yè)務優(yōu)先級，就企業(yè)如何達到理想的“未來狀態(tài)”制定一個可驗證的實施規(guī)劃。該模型根據(jù)行業(yè)準則的標準指標和大量的企業(yè)實踐，從運行效率、成本、服務質量和變更響應時間等方面來進行評估和衡量，將數(shù)據(jù)中心的基礎設施分為5個成熟階段，即獨立分隔的基礎設施、標準化的基礎設施、優(yōu)化的基礎設施、面向服務的基礎設施和適應性、共享的基礎設施。但該模型將數(shù)據(jù)中心的技術和體系架構作為一個整體進行評估，對作為數(shù)據(jù)中心核心基礎設施的統(tǒng)一存儲環(huán)境的建設和運行情況卻缺乏相應的評估和指導。

NetAPP公司提供一種在NAS服務器上集成了FC、ISCSI等協(xié)議的統(tǒng)一存儲設備來構建統(tǒng)一存儲環(huán)境，以期通過一套集中存儲來完成多種應用的支撐，EMC、HDS、華賽等廠商通過在FC陣列的基礎上增加NAS控制器來構建統(tǒng)一存儲環(huán)境。這兩種架構都有大量的應用案例，都為統(tǒng)一存儲環(huán)境的建設積累了寶貴的運行經(jīng)驗。

此外，非營利組織SPEC和SPC分別為NAS和FC陣列提供了性能基準測試。SPEC的基準測試為NAS提供了OPS(每秒操作數(shù))-操作時延曲線，期望以這兩個參數(shù)及其對應關系描述設備的性能情況。相應地SPC為FC陣列提供了IOPS(每秒I/O數(shù))-I/O時延曲線。還有一些機構為存儲設備提供了排名，這些嘗試都在為建立存儲的評估指標提供參考。

在此背景下，本文從統(tǒng)一存儲環(huán)境的建設實踐著手，分析了當前遇到的主要問題，從設備的高可用、高可靠和高性能等方面進行總結，并給予SPC和SPEC的基準測試提出了改進的性能指標，力圖為統(tǒng)一存儲環(huán)境的建設建立一套有指導意義的指標集，同時也為了推動數(shù)據(jù)中心評估指標體系的研究和建設工作。

1 統(tǒng)一存儲環(huán)境建設中的問題

本文將以清華數(shù)據(jù)中心為例，闡述存儲系統(tǒng)中存在的一些比較突出的問題。清華自2004年引入了統(tǒng)一存儲設備來構建統(tǒng)一存儲環(huán)境，以滿足 FC、NFS、CIFS、ISCSI、FTP 等應用并存的需求，為多變的開發(fā)運行環(huán)境提供服務保障和快速的響應時間，極大地方便了存儲系統(tǒng)的管理和維護。但多年的運行也暴露了該環(huán)境在高可用性、磁盤系統(tǒng)可靠性等方面的問題，同時應用的新需求及新技術的出現(xiàn)也對現(xiàn)有的存儲環(huán)境提出了挑戰(zhàn)。

1.1 存儲架構不能保證高可用

統(tǒng)一存儲采用控制器、磁盤系統(tǒng)雙冗余架構，每控制器除了可驅動自身的磁盤系統(tǒng)外，還可通過FC-LOOP鏈路接管另一控制器的磁盤系統(tǒng)。其結構如圖1所示。

圖1 雙控冗余的統(tǒng)一存儲架構

該結構的優(yōu)點在于控制器和磁盤系統(tǒng)都是獨立的兩套，既可以互不干擾地獨立工作，也可以實現(xiàn)冗余備份功能。

問題在于控制器發(fā)生故障時，NAS系統(tǒng)的切換時間較長，導致另一控制器接管時間長達60～180s，對于NFS應用這樣的延遲還可以恢復運行，但對于I/O響應時間敏感的Oracle數(shù)據(jù)庫等應用，會因誤判存儲發(fā)生故障而做出事故響應，導致服務中斷。

1.2 性能方面存在的問題

統(tǒng)一存儲采用FC和NAS混用模式，在應用過程中發(fā)生過數(shù)據(jù)庫因I/O不響應宕機的問題。經(jīng)分析排查，原因有兩點。一是因為統(tǒng)一存儲設備因將FC與NFS集成在一套設備中，當NFS或FC應用有大量寫操作時，會導致控制器CPU和緩存占用過高，從而影響其他應用。數(shù)據(jù)庫宕機是由于其對I/O響應時間敏感，因I/O響應緩慢而誤判存儲發(fā)生故障，從而中斷了服務。NFS應用因對操作時延的容忍度較高而表現(xiàn)稍好，往往在系統(tǒng)掛起一段時間后自動恢復，也出現(xiàn)過系統(tǒng)因NFS文件系統(tǒng)掛起而不能恢復工作的狀況。二是因為控制器的CPU及緩存配置較低，出現(xiàn)“小馬拉大車”現(xiàn)象，導致控制器過載響應緩慢，使得磁盤系統(tǒng)在遠沒有達到滿負荷的情況下控制器因過載而成為性能瓶頸。

1.3 磁盤系統(tǒng)的潛在威脅

存儲設備的磁盤大都以磁盤箱為單位，通過FC-LOOP鏈路與控制器相連，目前常見的保護措施有Raid技術、全局熱備技術以及雙FC-LOOP鏈路，可以涵蓋絕大部分磁盤系統(tǒng)的故障。但是磁盤箱發(fā)生故障時這些措施都將失效。磁盤箱的故障不一定會影響到磁盤的運行，清華數(shù)據(jù)中心發(fā)生的磁盤箱故障就屬于這類。但磁盤箱往往附帶各種監(jiān)控設備，其故障將導致控制器無法獲取磁盤的狀態(tài)信息。為恢復磁盤箱，目前只能安排停機更換，對業(yè)務連續(xù)性影響較大。如果故障導致存儲系統(tǒng)崩潰，則不得不采用備用存儲或災備存儲。

1.4 不能滿足自動分級的需求

早期數(shù)據(jù)中心存儲的重點在于數(shù)據(jù)集中，但經(jīng)過多年的積累，數(shù)據(jù)容量激增的問題日益突出，存儲成本越來越高，尤其是歷史數(shù)據(jù)，雖然通過二級存儲可以降低維護成本，但帶來了管理和數(shù)據(jù)訪問的不方便，同時也增加了設備的維護量和能耗。而且新的應用趨勢表明，應用的數(shù)據(jù)本身也存在不同的訪問級別，完全可以分級處理。應用的發(fā)展需要更細粒度的分級處理技術支持。

2 統(tǒng)一存儲環(huán)境關鍵指標設計

統(tǒng)一存儲環(huán)境建設的目的是為了提高存儲系統(tǒng)可用性、性能和資源共享能力，能根據(jù)需要快速響應應用需求，能方便地管理和擴充，具有更大的彈性(伸縮性)，而云計算對存儲基礎環(huán)境的要求也恰恰體現(xiàn)了這些特征。為此，本文將重點從以下4方面考慮建立相應的指標，為設備選型和架構設計提供依據(jù)。

2.1 高可用指標

(1)控制器高可用指標

首先是存儲架構，不管是NAS還是FC陣列，要實現(xiàn)高可用目前主要有3種架構，除圖1之外，還有2種架構，這2種架構均采用共享磁盤系統(tǒng)，區(qū)別在于控制器是分離的還是集成在一個背板之中。架構如圖2所示。

圖2 共享磁盤的雙控冗余存儲架構

從架構上考慮，磁盤及控制器雙冗余的架構可靠性最高，關鍵數(shù)據(jù)可以實現(xiàn)鏡像。共享背板的雙控冗余架構風險最高，磁盤及背板都存在單點故障風險，而且背板硬件需特制，提高了成本，優(yōu)點是結構緊湊，節(jié)省了空間。性價比最高的是磁盤共享雙控冗余的架構。架構的選擇要根據(jù)實際情況而定，3種結構各有所長。對于在FC陣列基礎上增加NAS控制器構建統(tǒng)一存儲環(huán)境的情況，要重點考察其FC陣列的架構。

另一個控制器的關鍵指標是控制器發(fā)生故障時的接管時間。由于NAS系統(tǒng)控制器切換時需接管文件系統(tǒng)和服務IP，切換時間較長。如有Oracle數(shù)據(jù)庫等對I/O敏感的FC應用，應避免選用統(tǒng)一存儲設備，或者將數(shù)據(jù)庫等高I/O敏感的FC應用單獨采用FC陣列提供服務。以OracleRAC為例，其對I/O響應時間要求較高，一般設置在30s左右，根據(jù)對主流FC陣列的調研，切換時間基本都控制在10s以內，切換時間指標可設定不超過20s。NAS控制器的切換時間可適當延長，根據(jù)主流廠商的調研可設置為不超過120s。

(2)鏈路高可用指標

存儲設備的鏈路涉及前端鏈路與后端鏈路。主流的存儲后端采用FC-LOOP實現(xiàn)磁盤與控制器的連接，為保證磁盤鏈路的可靠性和磁盤箱替換的問題，一般要求雙LOOP連接。前端鏈路FC陣列與NAS略有不同。FC陣列要求提供MultiPath FC鏈路冗余功能，而NAS的指標是IP鏈路的聚合或容錯。

(3)磁盤系統(tǒng)高可用指標

根據(jù)1.3節(jié)的描述，磁盤系統(tǒng)的典型指標有Raid技術、熱備技術和雙FC-LOOP鏈路。但針對磁盤箱的可靠性，應該要考慮兩種情況下的指標。一種是不影響存儲運行的情況，另一種是導致存儲系統(tǒng)崩潰的情況。針對第一種情況，要求提供可在線替換磁盤箱的技術指標，滿足該指標的技術有在線數(shù)據(jù)遷移技術，可以在不中斷服務的情況下將故障磁盤箱內磁盤上的數(shù)據(jù)遷移至其他磁盤，然后在線替換該磁盤箱。第二種情況將肯定有數(shù)據(jù)損失，為保證數(shù)據(jù)可恢復，要求提供備份或災備設備，其關鍵是RTO(服務恢復時間)和RPO指標(可恢復數(shù)據(jù)的時間點)。這兩個指標越小越好，但相應的成本也越高，實際操作中要根據(jù)數(shù)據(jù)的重要性、行業(yè)標準或國標以及可投資的預算來設定。

2.2 性能指標

SPEC和SPC組織提供主流設備的OPS和IOPS的指標，該組織鼓勵廠商提供的測試硬件能發(fā)揮出其設備的性能最大值。兩個組織的網(wǎng)站上公開的測試報告也可以看出，各廠商送測設備的配置有較大的差別，測試結果不能反映實際應用情況，只能作為性能的參考指標。為此，必須從多個角度綜合考慮，找到一套相對適用的性能指標。

1.2 節(jié)中描述了控制器的性能瓶頸問題，反映了控制器的兩個主要性能指標，即CPU頻率和緩存大小。根據(jù)這兩個指標將廠商新型號與現(xiàn)有型號進行對比，以及與其他廠商同檔次設備進行比較，可以大致判斷控制器的檔次和處理能力。

控制器配置不足會導致性能瓶頸，反過來磁盤配置不足也會導致性能瓶頸。磁盤有I/O訪問次數(shù)的物理上限，所以磁盤數(shù)量對I/O性能有顯著的影響。所以存儲設備能驅動的最大磁盤數(shù)量也是一個重要性能指標。但各廠商的最大磁盤數(shù)量不具有可比性，為保證該數(shù)據(jù)的可信度，本文在SPC和SPEC性能評測基礎上建立一個輔助指標，即I/O性能增益。該指標利用OPS/IOPS-時延曲線的數(shù)據(jù)，計算100%負荷下其IOPS/OPS實測值與理論預估值的比率。該參數(shù)可根據(jù)式(1)計算

按照SPEC和SPC組織的建議，要最大化地發(fā)揮送測設備的性能表現(xiàn)?？梢约俣?00%負荷下存儲設備的IOPS達到其磁盤極限。即單盤 IOPS理論值。雖然磁盤本身的緩存對IOPS理論值有一定影響，但在同樣轉速的情況下基本可以忽略其影響。因此，相比于OPS和IOPS因為測試條件不同導致的不可比性，采用I/O性能增值比率可基本實現(xiàn)不同設備的性能比較。此參數(shù)越大，則性能表現(xiàn)越好。

決定磁盤IOPS理論值的參數(shù)有磁盤旋轉時延、平均尋道時間以及命令的傳輸及執(zhí)行時間，其中旋轉時延取磁盤旋轉一圈的平均值，以15000 RPM(每分鐘15000轉)的磁盤為例，其旋轉時延可根據(jù)式(2)獲得

平均尋道時間、命令的傳輸及執(zhí)行時間均與廠商密切相關，可以從廠商得到其數(shù)值。一般這3個參數(shù)也可以歸并到平均尋道時間中。典型情況下，SAS盤與FC盤的內部機械結構相同，15000轉的磁盤為4ms左右，10000轉的磁盤為6ms左右，7200轉的SATA盤則在8.3ms左右。這樣單盤的IOPS理論值可根據(jù)式(3)計算

另一個不容忽視的問題是應用間的干擾問題，如1.2節(jié)中的FC和NFS應用互相干擾導致的數(shù)據(jù)庫宕機。該問題主要存在于采用集成FC和NFS等協(xié)議的設備環(huán)境中，如NetAPP的統(tǒng)一存儲設備或EMC在FC陣列上增加NAS控制器構建的統(tǒng)一存儲環(huán)境。針對以上類似應用場景，服務質量控制機制(QoS)是必須具備的指標，以便為高級別的應用提供預留的資源，避免資源競爭而導致服務質量下降或服務失效。

2.3 分級存儲指標

隨著歷史數(shù)據(jù)的處理要求和應用數(shù)據(jù)本身分級處理的要求不斷增加，支持數(shù)據(jù)按照使用頻率自動分級已成為當前存儲環(huán)境建設的一大重要指標。自動分級存儲已成為當前存儲虛擬化領域發(fā)展最迅速的技術之一。自動分級存儲將大量不經(jīng)?；顒拥臄?shù)據(jù)遷移至低速、低成本的磁盤系統(tǒng)上，將直接降低存儲的采購成本和能耗。

分級存儲的發(fā)展經(jīng)過了3個階段。第一代產(chǎn)品是提供二級甚至多級存儲，將不經(jīng)常使用的數(shù)據(jù)遷移至低檔次的存儲設備上，但此方案以來手工操作，增加了設備采購和維護工作量。第二代產(chǎn)品采用了lun級虛擬化，數(shù)據(jù)可在位于高速磁盤區(qū)的lun和低速磁盤區(qū)的lun之間流動，實現(xiàn)了在一套存儲系統(tǒng)內提供自動分級存儲的能力，減少了設備采購和維護工作量。但是該方案的不足之處是lun的粒度太粗。第三代產(chǎn)品采用塊級虛擬化技術，可以在數(shù)據(jù)塊級提供自動分級存儲，將不同級別的磁盤組成磁盤池，根據(jù)數(shù)據(jù)本身的使用頻率決定其是處于高速磁盤區(qū)還是低速磁盤區(qū)。數(shù)據(jù)塊級自動分級存儲已經(jīng)得到大量成熟應用，可作為分級存儲指標。

2.4 高伸縮性指標

存儲的伸縮性主要體現(xiàn)在性能、功能和容量的擴展3方面。性能可通過控制器數(shù)量和緩存數(shù)量擴展。FC陣列的性能擴展指標是可擴展的控制器數(shù)和緩存數(shù)。NAS控制器因需要與CPU處理能力匹配，一般緩存是固定的，其擴展指標是可擴展控制器數(shù)量。功能擴展指標包括軟件和對未來新硬件的支持能力，即存儲是否留有擴展板卡的余地。比如一些老存儲設備無法支持今天的SSD盤，影響了功能和性能的提升。容量擴展的主要指標是最大可擴展數(shù)量。對于FC陣列，很多中低端設備最多只能做到雙控制器驅動，限制了其擴展能力，從長遠來講，這可能是統(tǒng)一存儲環(huán)境建設的一個技術瓶頸。

2.5 兼容性指標

存儲設備的兼容性主要是主機與存儲間的 FC接口和MultiPath軟件的兼容。兼容性問題來自于產(chǎn)品軟硬件設計缺陷或測試不全面所致，目前各廠商提供其產(chǎn)品的兼容性列表，但用戶方還沒有一個規(guī)范性的兼容性列表要求，導致選型時工作量極大，甚至在設備安裝后遇到難以解決的兼容性問題，將兼容性列表作為指標需要了解不同行業(yè)的系統(tǒng)環(huán)境，有較大的難度。目前的解決方案是針對行業(yè)區(qū)別對待。

3 實驗與結果分析

根據(jù)SPC評測數(shù)據(jù)計算各廠商FC陣列的I/O性能增益，找到數(shù)值比較接近的產(chǎn)品，同時根據(jù)本文中的性能相關存儲指標，進一步判斷廠商所提供的產(chǎn)品是否處于同一檔次。根據(jù)SPC評測數(shù)據(jù)得到的結果見表1。

表1 性能指標接近的中端FC陣列

3PAR的F400在國內比較少見，但根據(jù)該表很容易地判斷其所處檔次，從而為設備選型提供參考。

4 結束語

統(tǒng)一存儲環(huán)境的建設已有不短的時間，但統(tǒng)一存儲環(huán)境的建設指標卻是一個新課題。本文從清華大學數(shù)據(jù)中心運行維護工作中遇到的問題出發(fā)，對統(tǒng)一存儲環(huán)境建設過程中出現(xiàn)的各類問題進行分析匯總，從存儲架構的高可用性、性能需求、分級存儲需求、伸縮性和兼容性等方面加以闡述論證，提出了存儲架構高可用指標、鏈路高可用指標、磁盤系統(tǒng)高可用指標、性能指標、分級存儲指標、伸縮性指標和兼容性指標，力圖為統(tǒng)一存儲環(huán)境建設建立一套適用的參考指標體系。但限于作者的經(jīng)驗及考察的范圍和應用案例，這項工作仍有很大的改進余地，在架構設計、性能評估、高伸縮性、應用集成等方面還有許多工作值得研究。對該課題的持續(xù)研究不僅對存儲技術的發(fā)展有促進作用，也為數(shù)據(jù)中心的建設模式和思路提供了參考，有助于促進對新一代數(shù)據(jù)中心建設具有指導意義的指標體系的研究。

[1]朱偉雄.新一代數(shù)據(jù)中心建設理論與實踐[M].北京:人民郵電出版社,2009:188-194.

[2]Assessing storage efficiency within NetApp's data centers[EB/OL].http://media.netapp.com/documents/storage-efficiency-casestudy.pdf,2009:1-10.

[3]王紀奎.存儲從入門到精通[M].北京:清華大學出版社,2009:80-85.

[4]曾雷杰,張延園,李戰(zhàn)懷,等.一種SAN上的數(shù)據(jù)遷移算法設計與實現(xiàn)[J].計算機工程,2009,35(4):53-55.

[5]李樹全,吳躍,陳志飛.SAN存儲虛擬化研究[J].微電子學與計算機,2009,20(1):39-41.

[6]SPECsfs2008 User's Guide[EB/OL].http://www.spec.org/sfs2008/docs/usersguide.pdf,2008.

[7]SPC benchmark 1TM(SPC-1)official specifcation[EB/OL].http://www.storageperformance.org/specs/SPC-1_SPC-1E_v1.12.pdf,2009:53-62.

[8]SPC benchmark-2TM(SPC-2)official specifcation[EB/OL].http://www.storageperformance.org/specs/spc2_v1.3.pdf,2009:41-59.