宮魯沙 孫紅偉 于艷/大連船舶重工集團有限公司

3．存儲虛擬網(wǎng)的設(shè)計

目前網(wǎng)絡(luò)存儲技術(shù)主要有兩種，第一種是網(wǎng)絡(luò)附加存儲，簡稱NAS，它擁有自己的磁盤和文件系統(tǒng)，實際上就是一個網(wǎng)絡(luò)文件系統(tǒng)，利用NFS、CIFS等文件協(xié)議進行訪問。隨著海量數(shù)據(jù)的增長出現(xiàn)了存儲區(qū)域網(wǎng)，簡稱SAN，它實際上是一個存儲的網(wǎng)絡(luò)，而不是某種設(shè)備，這個網(wǎng)絡(luò)中涵蓋了一切后端相關(guān)存儲元素。Pro-CIMS服務(wù)平臺以數(shù)據(jù)為中心，如何有效的存儲和管理日益增長的數(shù)據(jù)是我們面臨的挑戰(zhàn)。

SAN由物理服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲設(shè)備和相應(yīng)的存儲管理軟件構(gòu)成，利用FC等互連協(xié)議連接起來的，可以在服務(wù)器與存儲設(shè)備之間以及存儲設(shè)備之間直接傳送數(shù)據(jù)的網(wǎng)絡(luò)。SAN采用纖維通道技術(shù)，因而性能優(yōu)異，但在其應(yīng)用中需要FC交換機連接服務(wù)器和存儲設(shè)備，用于數(shù)據(jù)太集中的環(huán)境。存儲區(qū)域網(wǎng)的典型結(jié)構(gòu)如圖1所示。

圖1 存儲區(qū)域網(wǎng)結(jié)構(gòu)

3.1 SAN的結(jié)構(gòu)

在SAN中，F(xiàn)C作為一種高速骨干網(wǎng)絡(luò)互連技術(shù)應(yīng)用在各主流存儲設(shè)備中。FC全稱為Fibre Channel，也就是 “纖維通道”的意思，也可稱為“網(wǎng)狀通道”。傳輸介質(zhì)以光纖（單模或多模光纖）為主，可支持1Gb/s傳輸速率，單模光纖長達(dá)10km。FC協(xié)議棧有5個標(biāo)準(zhǔn)層，如圖2所示。

（1）SAN的層次結(jié)構(gòu)

①FC-0：第一層是物理層。

②FC-1：第二層是編碼子層。用于定義在網(wǎng)絡(luò)上發(fā)送數(shù)據(jù)時使用的編碼方案、以及定時信號錯誤檢測機制。

③FC-2：第三層是鏈路層。用于定義了傳輸機制、包括幀定位，幀頭內(nèi)容、使用規(guī)則以及流量控制等。

④FC-3：第四層為公共服務(wù)層。用于定義一些公共服務(wù)，即端口間的結(jié)構(gòu)協(xié)議和流動控制。

⑤FC-4：第四層為傳輸層，定義了適配上層協(xié)議的接口。FC-4定義了四種服務(wù)類型：Class1、Class2、Class3和 Class4。

（2）SAN的技術(shù)優(yōu)勢

① 采用高速鏈路，適用于大塊順序的IO密集環(huán)境，具備很高的速度；

② 完善存儲網(wǎng)絡(luò)管理，將存儲設(shè)備實現(xiàn)集中管理和檢測，更新和配置更加簡單。

③ 很高的容錯性能和平滑擴容能力。

④ 數(shù)據(jù)備份、恢復(fù)、遷移通過存儲局域網(wǎng)本身完成，無須借助服務(wù)器和現(xiàn)有的LAN/WAN，提高了現(xiàn)有服務(wù)器和網(wǎng)絡(luò)的吞吐能力。

⑤ 使用SCSI協(xié)議，兼容舊存儲設(shè)備。

（3）SAN的拓?fù)浣Y(jié)構(gòu)

①點對點：最簡單一種互聯(lián)方式，通過光纖將兩個節(jié)點直接連接，適合簡單的最少的節(jié)點環(huán)境模式，當(dāng)隨著節(jié)點的增加這種方式就不合適了；

② 仲裁環(huán)結(jié)構(gòu)FC-AL：類似于以太網(wǎng)共享總線拓?fù)?，可連接的節(jié)點數(shù)達(dá)到127個，其結(jié)構(gòu)類似令牌環(huán)和FDDI環(huán)的結(jié)構(gòu)，數(shù)據(jù)幀傳輸方向是單向的，任何時候只能是一跳一跳往下游傳輸。圖3為AL環(huán)路數(shù)據(jù)幀傳輸機制示意圖。

③ Fabic，意思為“網(wǎng)狀構(gòu)造”，表明這種拓?fù)淦鋵嵤且粋€網(wǎng)狀交換矩陣，交換矩陣的架構(gòu)相對于仲裁環(huán)來說，提供更寬的帶寬，提高了轉(zhuǎn)發(fā)效率，其總帶寬為所有端口帶寬之和。接入交換矩陣的所有節(jié)點都可以實現(xiàn)點對點的通訊，每個節(jié)點帶寬恒定不變，不會隨著節(jié)點數(shù)的增加而產(chǎn)生變化，即共享的環(huán)路帶寬。

通過拓?fù)浞绞降难芯康弥?，以FC交換機為互聯(lián)核心的SAN才是我們應(yīng)用重點。物理主機、存儲設(shè)備、備份設(shè)備都是通過FC交換機完成數(shù)據(jù)交換。EMC DS6505交換機采用第五代纖維通道，支持2、4、8或16Gbps的速度。24端口總共可提供384Gbps的全雙工交換能力，可以應(yīng)對不斷增長的SAN工作負(fù)載?；贓xchange的動態(tài)路徑選擇可以優(yōu)化Fabric架構(gòu)范圍性能，實現(xiàn)負(fù)載均衡的優(yōu)化。在虛擬化環(huán)境下應(yīng)用EMC DS6505提供高可用性；提高數(shù)據(jù)的可靠性和安全性；易擴展性和兼容性；集中管理、共享存儲；提高數(shù)據(jù)訪問速度。

圖2 纖維協(xié)議的層次結(jié)構(gòu)

圖3 AL環(huán)路數(shù)據(jù)傳輸機制示意圖

3.2 RAID技術(shù)

RAID技術(shù)在高性能存儲系統(tǒng)中被廣泛應(yīng)用。RAID（廉價磁盤冗余陣列）。通過硬件將多塊物理驅(qū)動器組成一塊邏輯驅(qū)動器來存儲管理數(shù)據(jù)的系統(tǒng)。RAID技術(shù)使用可提高數(shù)據(jù)讀取速度，實現(xiàn)自動備份和容錯等功能。為了在不同工作環(huán)境下使用，RAID技術(shù)主要包含了RAID 0- RAID 50等數(shù)個規(guī)范。每種規(guī)范都各自有其自身優(yōu)點與缺點。目前，在人們可接受空間和成本中廣泛應(yīng)用該技術(shù)實現(xiàn)存儲區(qū)域網(wǎng)絡(luò)高性能和可靠性，有證據(jù)表明磁盤發(fā)生故障可能性隨著存儲系統(tǒng)規(guī)模的增加而變大。這里我們重點研究下 RAID6、RAID1+0和 RAID0+1，合理選擇 RAID 級別，提高磁盤陣列的安全性能、縮短磁盤發(fā)生故障后的重建時間，確保數(shù)據(jù)安全可靠。

RAID 6：具備兩種獨立分布式奇偶校驗碼的獨立磁盤結(jié)構(gòu)。一個典型的RAID6存儲系統(tǒng)其結(jié)構(gòu)為使用水平碼的K+2塊磁盤，其中K塊盤用于存放原數(shù)據(jù)，剩余2塊盤作為校驗盤來使用。兩個奇偶校驗系統(tǒng)使用獨立算法生成兩個不同校驗碼，連同條帶化數(shù)據(jù)一起被分布寫入到所有磁盤中，這樣能在兩塊硬盤同時損壞的情況下保證數(shù)據(jù)的安全，其可靠性非常高，數(shù)據(jù)恢復(fù)能力很強。不過在增加一位校驗位后，就需要一個比較復(fù)雜的控制器來進行控制，同時也使磁盤的寫能力降低，并且還需占用一定的磁盤空間。每次寫操作中的“寫損失”遠(yuǎn)大于其他RAID模式，尤其是當(dāng)出現(xiàn)在順序IO中隨機IO情況時，寫性能會非常差。

RAID 0+1：由RAID0和RAID1組合形成的產(chǎn)物。RAID0實現(xiàn)了數(shù)據(jù)條帶化，數(shù)據(jù)塊分別保存在不同磁盤驅(qū)動器中。當(dāng)讀取數(shù)據(jù)時，并行讀、寫于多塊磁盤。RAID1實現(xiàn)了磁盤鏡像形成數(shù)據(jù)冗余，數(shù)據(jù)安全性高。由于可以同時讀取多塊磁盤數(shù)據(jù)，所以讀性能不錯。RAID 0+1同時擁有RAID0高速傳輸和RAID1的鏡像冗余的特點，數(shù)據(jù)吞吐率高，負(fù)載也較均衡，不需要校驗碼即可實現(xiàn)數(shù)據(jù)恢復(fù)功能。其結(jié)構(gòu)如下圖4所示：兩塊以上（含兩塊）硬盤先做條帶（RAID0），組成相同的兩組一級邏輯盤。再將兩組邏輯盤做鏡像（RAID1）。

圖4 RAID 0+1結(jié)構(gòu)圖

圖5 RAID1+0結(jié)構(gòu)圖

在RAID 0+1中，磁盤的利用率為1/2；從冗余性來看，只要有一塊盤出錯，它所在的RAID0就會整體離線，系統(tǒng)出現(xiàn)故障的可能性是N/(2N-1)，這時只能靠最外層的RAID1的冗余來支撐。實際上，只能允許一塊盤出錯，一旦一個硬盤壞了，一半的硬盤無法工作，如果每個條帶上各壞1個硬盤，整個RAID組徹底癱瘓。I/O讀寫效率均可以實現(xiàn)N/2（N為硬盤總數(shù)）的理論帶寬。

RAID 1+0：是將RAID1的鏡像功能和RAID0的數(shù)據(jù)分割功能混合了起來，因此需要至少4塊硬盤驅(qū)動器（2塊互為鏡像盤，2塊作為數(shù)據(jù)盤）來運行。其結(jié)構(gòu)如圖5所示。所有磁盤先兩兩做數(shù)據(jù)鏡像，然后數(shù)據(jù)條帶化到每組鏡像驅(qū)動器組中。當(dāng)發(fā)生數(shù)據(jù)重建時，只需拷貝鏡像組的驅(qū)動器數(shù)據(jù)，不需通過奇偶校驗運算就可獲得丟失數(shù)據(jù)，其可靠性更高。

在RAID1+0中，磁盤的利用率為1/2；從冗余性來看，只要有一塊盤出錯，它所在的RAID1中不會有問題，所以每組RAID1中都允許有一塊盤離線，系統(tǒng)出現(xiàn)故障可能性是1/(2N-1)。而安全性上來看，損壞兩塊盤崩潰的機會只有2/(N-1)，但如果同一個鏡像組的2個驅(qū)動器都壞掉的話所有數(shù)據(jù)都會丟失；I/O讀寫效率均可以實現(xiàn)N/2（N為硬盤總數(shù)）的理論帶寬。

4．總結(jié)

Pro-CIMS服務(wù)平臺是船舶設(shè)計、生產(chǎn)、物資等主要業(yè)務(wù)的管理平臺，通過平臺的應(yīng)用，將實現(xiàn)部門間的數(shù)據(jù)積累、整合和信息共享，促進部門的協(xié)調(diào)與溝通，優(yōu)化業(yè)務(wù)流程、進行產(chǎn)品數(shù)據(jù)的有效積累與持續(xù)優(yōu)化，實現(xiàn)信息的及時有效分析，最終建立以生產(chǎn)計劃體系為核心的設(shè)計、生產(chǎn)、物資管理為一體的網(wǎng)絡(luò)管理系統(tǒng)。通過對該系統(tǒng)應(yīng)用環(huán)境的分析，采用SAN技術(shù)實現(xiàn)Pro-CIMS服務(wù)器和存儲設(shè)備之間直接進行高速數(shù)據(jù)傳輸，數(shù)據(jù)訪問和平滑簡單的擴容是最為合理和可靠。

（1）SAN技術(shù)對性能提升的體現(xiàn)

① 優(yōu)秀的集中管理：傳統(tǒng)模式需要重啟或關(guān)閉服務(wù)器才能完成新存儲配置，而SAN 技術(shù)的優(yōu)秀可擴展性使得服務(wù)器不停機或重啟就可對存儲進行擴容，集中管理數(shù)據(jù)使得成本大大降低。

② 服務(wù)器集群的實現(xiàn)：由于虛擬化服務(wù)器集群是Pro-CIMS的主要服務(wù)器資源供給方式，SAN結(jié)構(gòu)采用全共享方式提供存儲資源，這與集群將數(shù)據(jù)當(dāng)作是一個單一的系統(tǒng)映像是相同的。

③ 數(shù)據(jù)移動方便：在傳統(tǒng)WANLAN中，數(shù)據(jù)的移動或復(fù)制是通過服務(wù)器來完成。用戶發(fā)出移動請求，服務(wù)器響應(yīng)后負(fù)責(zé)從源設(shè)備中讀取，傳輸和寫入目標(biāo)設(shè)備。這種方式數(shù)據(jù)慢、耗用大量WAN/LAN的網(wǎng)絡(luò)資源。而SAN技術(shù)的LAN-Free，將磁帶庫和磁盤陣列各自作為獨立的光纖節(jié)點。數(shù)據(jù)備份時，數(shù)據(jù)流直接從磁盤陣列傳輸?shù)酱艓欤鵁o需占用LAN網(wǎng)絡(luò)帶寬。

（2）IOPS的衡量

磁盤性能主要體現(xiàn)在兩個方面：IOPS和每秒IO吞吐量。完成一次IO所用的時間=尋道時間+數(shù)據(jù)傳輸時間。IOPS=IO并發(fā)系數(shù)/（尋道時間+數(shù)據(jù)傳輸時間）。由于尋道時間遠(yuǎn)遠(yuǎn)大于傳輸時間，所以影響IOPS關(guān)鍵因素就是降低尋道時間。

每個磁盤系統(tǒng)的IOPS是有上限的，如果設(shè)計的存儲系統(tǒng)，實際的IOPS超過了磁盤組的上限，則系統(tǒng)反應(yīng)會變慢，影響系統(tǒng)的性能。Pro-CIMS服務(wù)平臺涉及到大量數(shù)據(jù)的積累和共享，數(shù)據(jù)的檢索傳輸需要高性能磁盤來支持。按照計劃的40TB空間部署，為了保證性能配置5塊300GB15000轉(zhuǎn)SAS硬盤，5塊 200GB SSD，65塊 600GB 15Krpm的SAS硬盤，理論上可以支撐的最大流量為65×13MB/s=910MB/s（15Krpm 最大流量為 13MB/s），采用16Gb的FCHBA卡（16Gb光纖卡所支持最大流量為16Gb/8= 2000M/s）。在同樣的壓力和磁盤，I/O的每個操作，RAID6中實際發(fā)生4個I/O，而RAID1+0只發(fā)生2個I/O，后者性能是前者1.5倍。數(shù)據(jù)庫將采用RAID1+0模式，而其他非數(shù)據(jù)庫的應(yīng)用采用RAID6模式。

（3）最終設(shè)計

鑒于以上相關(guān)技術(shù)研究，我們對所構(gòu)建的存儲網(wǎng)絡(luò)進行了設(shè)計，選用2臺24端口的DS6505光纖交換機，24口激活，拓?fù)浞绞綖镕abic網(wǎng)絡(luò)交換矩陣形式，主機與EMC VNX5400盤陣控制器前端接口與后端接口都采用FC端口，存儲控制器配置一級緩存共44GB。經(jīng)過以上對虛擬化技術(shù)和SAN技術(shù)的介紹，服務(wù)器硬件配置和性能、虛擬化平臺應(yīng)用業(yè)務(wù)需求等進行分析和計算，得出Pro-CIMS服務(wù)平臺虛擬化環(huán)境如下：三臺HP DL580 Gen9服務(wù)器作為ESXi主機，一臺虛擬化主機來作為vSphere套件中的vCenter服務(wù)器，配置EMC VNX5400光纖存儲和磁盤擴展柜，兩臺CISCO WS-C3560X-48T-L三層交換機用于以太網(wǎng)接入。通過將資源、存儲、網(wǎng)絡(luò)和安全性等進行抽象化、組件化和池化，可以快速建立起一個完整的數(shù)據(jù)中心并實現(xiàn)管理，有效穩(wěn)定地保障了平臺的正常運行?！?/p>