都業(yè)濤

摘要：信息化的發(fā)展推動了高校數(shù)據(jù)中心建設，數(shù)據(jù)中心建設現(xiàn)已成為高校信息化發(fā)展的重點，從最初的多個獨立的物理服務器分別承載各自的應用系統(tǒng)，逐步向以軟件定義，多個物理服務器組成的一個或多個集群來承載所有的應用系統(tǒng)的虛擬化平臺架構方向發(fā)展。首先了解超融合的技術及優(yōu)點。其次以某高校數(shù)據(jù)中心為例，運用超融合技術架構對高校數(shù)據(jù)中心進行改造。實施結果證實，超融合虛擬化平臺具有性能提升、降低成本、操作簡便、方便擴容等優(yōu)點。超融合虛擬化平臺可以完善高校數(shù)據(jù)中心架構，滿足高校各業(yè)務系統(tǒng)運維需求，為今后高校建設、改造數(shù)據(jù)中心積累經(jīng)驗。

關鍵詞：超融合；高校數(shù)據(jù)中心；虛擬化

一、前言

近年，依據(jù)我國“十三五”，特別是“十四五”信息化發(fā)展規(guī)劃，全國各高校建設數(shù)字智慧校園已經(jīng)到了深度融合期。為落實上級部門針對高校內部全面實現(xiàn)教學服務的“一網(wǎng)、一門、一戶”的原則，提高為教學服務意識，構建方便快捷、優(yōu)質高效的服務體系。數(shù)據(jù)中心已成為高校建設數(shù)字智慧校園不可或缺的組成部分，其使為高校教學及科研，師生人員管理及生活的服務的各類相關信息系統(tǒng)集中管理和運維，使各類信息系統(tǒng)不再淪為信息孤島。

傳統(tǒng)的數(shù)據(jù)中心主要以物理服務器，交換機，路由器，網(wǎng)絡安全等設備組成。幾乎每個單位或部門都有一套獨立的網(wǎng)絡架構。各信息系統(tǒng)為了實現(xiàn)其所需的功能，以黑龍江科技大學財務系統(tǒng)為例，配備2個主服務器，1個數(shù)據(jù)存儲服務器，1個本地容災服務器（分別是兩家不同的服務器供應商），3個專用交換機，2個專用邊界防護設備，占用了兩個半的2.2米機柜空間。隨著信息化的發(fā)展，業(yè)務及數(shù)據(jù)量激增，后期系統(tǒng)的擴容和升級可能導致還需更多的使用空間。系統(tǒng)的定期維護也需要相應設備的廠家工程師相互配合來完成。單從這方面來看，傳統(tǒng)的架構方式物力及人工成本較高，且時效性較低。以目前的超融合技術發(fā)展來看，高校數(shù)據(jù)中心基本架構的改革可能成為一種必然的趨勢。

二、超融合技術特點

超融合的架構是指使用多臺物理服務器和交換機組成一個集群或多個集群，形成一套單元設備，并具備計算、網(wǎng)絡、存儲和服務器虛擬化功能，將運算和存儲單元合二為一。超融合架構是通過虛擬化平臺軟件來合理硬件資源的，運算資源和儲存資源都是通過虛擬機來合理調配使用，是一種以虛擬機為核心的虛擬化應用。減少傳統(tǒng)數(shù)據(jù)中心的硬件設備，有效節(jié)省投資成本，縮短應用上線時間。

（一）多副本技術

多副本，是指將數(shù)據(jù)保存多份的一種冗余技術，超融合平臺的副本復制模塊來保證副本的一致性和副本之間的同步。底層管理的副本對上層服務是透明的，上層不感知副本的存在。副本所存放的位置必須滿足主機互斥原則，即不可能出現(xiàn)兩個副本同時存在同一臺主機上的現(xiàn)象。以兩副本為例，若寫入一段數(shù)據(jù)，該數(shù)據(jù)依次經(jīng)過條帶化和分片之后，會再經(jīng)過副本復制模塊，分別寫入到不同的主機中。在無故障的情況下，為保證副本數(shù)據(jù)的一致性，兩個數(shù)據(jù)副本必須都寫入完成后，這段數(shù)據(jù)才算寫入成功。若讀取一段數(shù)據(jù)，會選擇其中任意一個副本進行讀取。在沒有網(wǎng)絡中斷，硬盤損壞掉線等異常狀態(tài)下，文件的副本數(shù)據(jù)是始終保持一致的。

（二）分布式存儲

分布式存儲[1]是一種數(shù)據(jù)存儲技術，一般使用常規(guī)x86服務器，通過軟件技術將常規(guī)x86服務器的存儲單元構成一個虛擬的存儲單元，利用可擴展的架構，一方面可以分擔數(shù)據(jù)存取的讀寫壓力，提高性能，另一方面利用軟件的定位信息，可以提供橫向擴展的“scale-out”的擴容能力。

（三）數(shù)據(jù)多副本保護

當硬件層面發(fā)生故障時（硬盤損壞，存儲交換機/存儲網(wǎng)卡故障等），導致該故障主機上的數(shù)據(jù)丟失或者不能被訪問，影響業(yè)務運行；超融合平臺提供數(shù)據(jù)多副本保護機制，確保業(yè)務數(shù)據(jù)在存儲池中存有多份，并且互斥地分布在不同的物理主機的不同磁盤上；因此，此時用戶數(shù)據(jù)在其他主機上依然有完好的副本，可以保證數(shù)據(jù)不會發(fā)生丟失，業(yè)務可以正常運行。

（四）高可靠性

當外部環(huán)境故障（比如主機網(wǎng)線斷了，所在存儲不能訪問等）導致業(yè)務中斷時，超融合平臺提供了成熟的HA機制（HA是Highly Available縮寫，是雙機集群系統(tǒng)簡稱）[2]，將發(fā)生的故障主機的業(yè)務在資源充沛的非故障主機上自動重啟，即可實現(xiàn)業(yè)務的連續(xù)運行或短暫中斷。在超融合平臺集群中，對啟用了HA功能的虛擬機所在節(jié)點進行心跳檢測，每隔幾秒鐘檢測一次虛擬機狀態(tài)，一旦發(fā)現(xiàn)虛擬機出現(xiàn)故障，并且故障持續(xù)時間達到用戶預設的時長時，將把該虛擬機上的所有進程轉移到其他虛擬機節(jié)點上運行，從而為客戶提供不間斷的服務。一旦虛擬機宕機， HA能夠將宕機時間縮短至幾秒鐘。而且能夠將系統(tǒng)恢復到宕機以前的狀態(tài)，從而保證虛擬機機的穩(wěn)定運行。在HA的保護下，各個信息系統(tǒng)再也不用因為硬件故障或日常性的維護而中斷運行。

超融合平臺網(wǎng)絡層采用管理面、控制面、數(shù)據(jù)轉發(fā)面相互獨立的架構，各層面通過標準化和解耦的接口進行通信。若某個子模塊發(fā)生故障，只影響這個模塊內部，不會導致整個網(wǎng)絡平臺出現(xiàn)故障。

管理面采用集中式控制方案，通過集群模塊選舉出管理面主控節(jié)點，使用集群文件系統(tǒng)將數(shù)據(jù)分布式地存儲在每個網(wǎng)絡節(jié)點中，若控制節(jié)點發(fā)生故障，超融合平臺會自動選出新的主控節(jié)點，新的主控節(jié)點通過集群文件系統(tǒng)獲取集群網(wǎng)絡配置數(shù)據(jù)，保障管理面的高可靠。

控制面與管理面一樣采用集中式控制方案，復用集群模塊推選主控，主控節(jié)點會拉起中央控制器；通過各個計算和網(wǎng)絡節(jié)點的網(wǎng)絡代理模塊主動上報機制，中央控制器恢復對當前每個計算和網(wǎng)絡節(jié)點的實時狀態(tài)掌握，保障控制面的高可靠。

數(shù)據(jù)轉發(fā)面運行在應用層，可保證轉發(fā)面出現(xiàn)異常時，不會導致內核宕機，并通過重啟服務方式快速恢復轉發(fā)面，大大減少轉發(fā)面對平臺本身可靠性的影響;數(shù)據(jù)轉發(fā)面支持單主機內主備切換，備進程包含數(shù)據(jù)轉發(fā)面的所有配置信息，可以在主進程異常退出后，備進程立刻成為主進程，接管所有的網(wǎng)絡轉發(fā)業(yè)務，用戶業(yè)務不會中斷，保障數(shù)據(jù)轉發(fā)面單主機高可靠。

網(wǎng)絡層中虛擬路由器為集中式路由器，進行三層轉發(fā)的流量需要通過路由器進行轉發(fā)，當路由器所在節(jié)點出現(xiàn)故障或者路由器連接的業(yè)務網(wǎng)口無法通信時，會影響連接到該路由器的設備之間的通信。

超融合平臺網(wǎng)絡層提供路由器HA功能保障三層轉發(fā)網(wǎng)絡可靠性，通過網(wǎng)絡控制器實時監(jiān)控集群中主機運行狀態(tài)和業(yè)務網(wǎng)口狀態(tài)，當發(fā)現(xiàn)主機故障或者業(yè)務網(wǎng)口無法通信時，中央控制器會計算受到影響的虛擬路由器，自動將這些路由器切換到其他正常工作的主機上，保證經(jīng)過該路由器的流量可以正常轉發(fā)。

三、超融合架構技術在高校數(shù)據(jù)中心建設中的應用案例

（一）硬件設備

傳統(tǒng)存儲中主要為NAS[3]和SAN存儲[4]，分別有各自的應用場景。比如，NAS 有自己的文件系統(tǒng)，因此存儲設備端負載相對較重，一般 NAS 適合I/O請求次數(shù)較少，但是文件存取能力較高的場景。而SAN存儲，不管采用 iSCSI還是FC協(xié)議進行連接，在掛載 SAN存儲前，需要系統(tǒng)對其進行格式化安裝文件系統(tǒng)，即在SAN存儲端沒有文件系統(tǒng)，存儲設備的負載比較輕，相比而言，SAN存儲更加適合I/0請求次數(shù)較多、數(shù)據(jù)訪問小而頻繁的場景，數(shù)據(jù)庫場景為典型應用場景，傳統(tǒng)業(yè)務部署模式選擇服務器+外置FC存儲部署就是基于此原因。對于超融合分布式存儲而言，需滿足更多的場景需求，因為超融合所有的應用數(shù)據(jù)都是放于同一個存儲介質上，不論隨機I/0、順序I/0，或讀密集型、寫密集型應用。這種情況下，首先應該考慮選擇什么樣的存儲介質可以有效提高性價比。

機械硬盤（HDD，Hard Disk Drive）是計算機上使用堅硬的旋轉盤片為基礎的非易失性存儲器，它在平整的磁性表面存儲和檢索數(shù)字數(shù)據(jù)[5]。機械硬盤以價格低、容量大而著稱，但其性能卻比較低，尤其是隨機讀寫的性能通常只有幾百 IOPS。

固態(tài)硬盤（SSD，Soild State Disks）是一種主要以閃存（NAND Flash）作為永久性存儲器的計算機存儲設備，具有優(yōu)異的 IOPS 和吞能力。雖然 SSD 性能高，但其價格高、容量小的問題也是當前階段其大規(guī)模推廣的主要障礙。雖然SSD價格近幾年下降很多，但是大容量的SSD價格仍然昂貴，相比HDD的10T的容量，每單位容量價格貴了10倍有余。使用全閃存存儲最大的問題就是成本過高。

因此為了實現(xiàn)存儲系統(tǒng)在性能、容量、成本三者之間達到最佳均衡，鑒于以上原則，超融合架構出于對當前階段的絕大部分場景如何達到最優(yōu)性價比和性能的考慮，黑龍江科技大學數(shù)據(jù)中心的做法是使用混合硬盤配置方式，即使用固態(tài)硬盤SSD 作為I/0讀寫提速的緩存層，用于存放用戶業(yè)務經(jīng)常被訪問的數(shù)據(jù)，而機械硬盤HDD則作為數(shù)據(jù)最終存放的位置。

（二）磁盤組

在混合硬盤配置前提下，基于性能最佳實踐，超融合分布式存儲會將緩存盤和數(shù)據(jù)盤以磁盤組的關系進行配對，磁盤組由1個SSD 帶 n個HDD組成 （n≤7）。單一主機內可以有多個磁盤組，每個磁盤組相互邏輯隔離，即每個磁盤組的 SSD僅為其磁盤組下的HDD提供緩存加速的能力。

磁盤組所帶來的好處之一是減少了 SSD 故障所影響的范圍。當某塊SSD發(fā)生故障后，故障影響的范圍會限制在該 SSD 所在的磁盤組內的磁盤，在進行數(shù)據(jù)修復時，也僅需修復其磁盤組內的HDD上的數(shù)據(jù)，無需整機進行修復。

黑龍江科技大學數(shù)據(jù)中心超融合平臺總體硬件設備主要分為服務器和交換機。服務器采用6臺Lenovo SR850，其中每臺服務器配置4塊600GB的SSD硬盤及10塊1.8TB的HDD硬盤。交換機采用2臺萬兆以太網(wǎng)交換機作為存儲交換機；2臺萬兆以太網(wǎng)交換機作為業(yè)務及數(shù)據(jù)通信交換機；2臺千兆以太網(wǎng)交換機作為管理交換機。以上是黑龍江科技大學數(shù)據(jù)中心超融合總體的硬件配置，分為超融合架構建設工程和擴容一期工程。擴容一期內容是分別為每個主機Node節(jié)點增加了6塊HDD硬盤，從采購到擴容完成歷時2個工作日。

（三）超融合網(wǎng)絡架構

超融合的網(wǎng)絡架構由管理網(wǎng)、業(yè)務網(wǎng)、數(shù)據(jù)通信網(wǎng)、存儲網(wǎng)四個網(wǎng)絡平面組成，每個網(wǎng)絡平面獨立部署。

管理網(wǎng)是指管理員接入管理網(wǎng)對超融合集群進行管理。管理網(wǎng)通過雙交換機聚合實現(xiàn)鏈路冗余，單個交換機或單條鏈路發(fā)生故障不會影響超融合管理模塊的穩(wěn)定性。

業(yè)務網(wǎng)是指某個信息系統(tǒng)用于進行正常的業(yè)務訪問。業(yè)務網(wǎng)也可通過雙交換機端口聚合實現(xiàn)鏈路冗余，對業(yè)務出入口配置靜態(tài)綁定，并且可以配置多個業(yè)務出口供虛擬網(wǎng)絡中虛擬機選擇，保障業(yè)務網(wǎng)冗余高可靠。

數(shù)據(jù)通信網(wǎng)是指虛擬機之間的東西向流量，可實現(xiàn)業(yè)務之間的通信，組建私網(wǎng)保障數(shù)據(jù)安全。同管理網(wǎng)和業(yè)務網(wǎng)一樣，兩臺或以上數(shù)量的物理交換機通過端口聚合實現(xiàn)鏈路冗余。超融合虛擬交換機采用分布式部署方式，即集群所有主機上都設置一個虛擬交換機，若其中一臺主機掉線時，通過虛擬路由和虛擬機HA技術，其他主機會接管原本經(jīng)過這臺掉線主機上虛擬交換機的流量。

存儲網(wǎng)是指執(zhí)行需要經(jīng)過網(wǎng)絡的IO動作，實現(xiàn)數(shù)據(jù)存儲功能。組建私網(wǎng)保障數(shù)據(jù)安全無需靜態(tài)綁定和交換機上鏈路聚合，超融合平臺從軟件層面實現(xiàn)了鏈路聚合功能，按照TCP連接實現(xiàn)私網(wǎng)鏈路的負載均衡，主機之間不同的TCP連接可以使用不同的物理鏈路。

綜上所述，超融合網(wǎng)絡架構實現(xiàn)了網(wǎng)絡鏈路的全冗余，任何一個網(wǎng)絡平面的故障都不會影響其余的網(wǎng)絡平面。

（四）超融合架構應用情況

超融合系統(tǒng)架構用于黑龍江科技大學數(shù)據(jù)中心建設完成后，超融合平臺位于校園網(wǎng)中，支持對外提供87.5TB硬盤及6*512GB內存容量，提供100多個虛擬機（均至少2副本保護）。如今，已平穩(wěn)運行3年有余，為學校財務處、教務處、保衛(wèi)處、學生處等單位提供優(yōu)質服務。

四、結語

黑龍江科技大學利用了有限的資金初步完成了對數(shù)據(jù)中心架構的部分改造，雖然校內還有一些信息系統(tǒng)沒有納入超融合平臺，但是從已在超融合平臺的信息系統(tǒng)使用情況來看，已經(jīng)取得了良好的效果，獲得各級使用單位及師生的一致肯定。自從使用了超融合架構，明顯節(jié)省了數(shù)據(jù)中心的寶貴空間，釋放機房維護人員的精力。相對于傳統(tǒng)的系統(tǒng)架構，超融合平臺架構在系統(tǒng)的擴展性，維護性，空間及硬件的利用率等方面有許多明顯的優(yōu)勢。為了確保高校數(shù)據(jù)中心的穩(wěn)定性、易用性、持續(xù)性、安全性，并降低維護成本，使用超融合架構技術是一個很不錯的選擇。為建設數(shù)字智慧校園，全面實現(xiàn)校園信息化，建設專業(yè)特色鮮明的高水平應用型大學提供有力保障。H

參考文獻

[1]張翅.高校實驗室云桌面數(shù)據(jù)存儲方案的探索與實踐[J].信息記錄材料 2022，23（07），177-179.

[2]趙烽帆.基于VMware ESX軟件的高可用性虛擬化服務器系統(tǒng)建設應用[J].震災防御技術，2014，9（03），540-549.

[3]付長冬.網(wǎng)絡存儲體系結構的發(fā)展和研究[J].小型微型計算機系統(tǒng) 2004，（04），485-489.

[4]付長冬.基于自主運算的自適應存儲區(qū)域網(wǎng)絡系統(tǒng)[J].軟件學報 2004，（07），1056-1063.

[5]孫瑞.固態(tài)硬盤與機械硬盤綜合比較探究[J].科技尚品，2016（01）：172-173.