冼學(xué)輝 熊偉

摘? ?要：高校智慧校園迎來大數(shù)據(jù)時(shí)代，數(shù)據(jù)中心更是智慧校園建設(shè)的核心支撐。如何在關(guān)鍵服務(wù)上做到穩(wěn)定、健壯，在服務(wù)部署上做到靈活、高效，在運(yùn)維上做到綠色、經(jīng)濟(jì)，始終是數(shù)據(jù)中心建設(shè)面臨的關(guān)鍵問題。文章結(jié)合超融合技術(shù)研究，深入分析網(wǎng)絡(luò)架構(gòu)、服務(wù)部署及安全策略特性，設(shè)計(jì)基于超融合的高校數(shù)據(jù)中心建設(shè)方案并實(shí)施，在實(shí)踐中收到良好效果。

關(guān)鍵詞：數(shù)據(jù)中心;超融合;私有云;x86;分布式存儲(chǔ)

中圖分類號(hào)：TP308 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1673-8454（2020）15-0080-03

一、引言

《教育信息化2.0行動(dòng)計(jì)劃》提出：沒有信息化就沒有現(xiàn)代化，教育信息化是教育現(xiàn)代化的基本內(nèi)涵和顯著特征，是“教育現(xiàn)代化2035”的重點(diǎn)內(nèi)容和重要標(biāo)志。高校作為教育信息化建設(shè)骨干力量，無論是在高水平大學(xué)建設(shè)有效支撐方面，還是在國(guó)家信息化技術(shù)研究應(yīng)用及引領(lǐng)方面，都發(fā)揮著重要作用。作為“雙一流”建設(shè)高校，華北電力大學(xué)通過完善信息化建設(shè)，構(gòu)建綠色、開放、共享的數(shù)據(jù)中心，不斷提升學(xué)校的教學(xué)質(zhì)量、服務(wù)水平和管理效能，進(jìn)而增強(qiáng)師生信息化獲得感。超融合技術(shù)的快速發(fā)展，帶來的技術(shù)變革也為高校數(shù)據(jù)中心的變革帶來了新的契機(jī)。[1]以往傳統(tǒng)的數(shù)據(jù)中心建設(shè)，通常是針對(duì)網(wǎng)絡(luò)、存儲(chǔ)設(shè)備構(gòu)建框架，服務(wù)器設(shè)備隨新業(yè)務(wù)購(gòu)置，分批上線集成，這樣就容易造成孤島現(xiàn)象、災(zāi)難保護(hù)不足以及IT管理成本增加等問題。[2]而超融合技術(shù)將計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和安全功能深度融合，實(shí)現(xiàn)統(tǒng)一精細(xì)化的IT資源分配與調(diào)度。

華北電力大學(xué)保定校區(qū)原有數(shù)據(jù)中心建設(shè)時(shí)間較早，采用的是傳統(tǒng)分散式架構(gòu)，即業(yè)務(wù)系統(tǒng)和服務(wù)器硬件資源采用一對(duì)一的傳統(tǒng)架構(gòu)部署模式。而且各個(gè)學(xué)院、部門陸續(xù)托管了多臺(tái)服務(wù)器等硬件設(shè)備在數(shù)據(jù)中心，品牌與性能參差不齊。隨著信息化建設(shè)的規(guī)模日益增大，舊有架構(gòu)暴露了不少問題：

（1）服務(wù)器使用年限久。原先購(gòu)置的設(shè)備，在性能上已無法滿足學(xué)校每年的新業(yè)務(wù)上線的需求。

（2）單機(jī)單應(yīng)用造成資源利用率低。學(xué)校各院系部在進(jìn)行信息化建設(shè)時(shí)一般單獨(dú)采購(gòu)硬件設(shè)備，單機(jī)負(fù)荷低。各個(gè)系統(tǒng)之間無法共享，很多資源平時(shí)用不上，高峰期又不夠用且難擴(kuò)展，導(dǎo)致了大量資源的冗余和浪費(fèi)。[3]

（3）系統(tǒng)可靠性低。早期業(yè)務(wù)系統(tǒng)建設(shè)時(shí)，由于考慮建設(shè)成本，沒有進(jìn)行高可用或者備機(jī)的建設(shè)。一旦服務(wù)器出現(xiàn)故障，業(yè)務(wù)系統(tǒng)無法在短時(shí)間內(nèi)恢復(fù)，嚴(yán)重影響學(xué)校相關(guān)工作的進(jìn)行。

（4）大量服務(wù)器、存儲(chǔ)、交換機(jī)、安全等硬件設(shè)備，來自不同廠商，導(dǎo)致IT運(yùn)維管理負(fù)荷重。

在數(shù)據(jù)中心升級(jí)改造過程中，充分發(fā)揮專業(yè)人員長(zhǎng)期的運(yùn)維經(jīng)驗(yàn)和技術(shù)優(yōu)勢(shì)，深入分析傳統(tǒng)集中存儲(chǔ)的特點(diǎn)與不足、服務(wù)器虛擬化和分布式存儲(chǔ)技術(shù)應(yīng)用需求，結(jié)合高校信息化技術(shù)先進(jìn)性特點(diǎn)，構(gòu)造基于超融合私有云平臺(tái)的數(shù)據(jù)中心。

二、超融合技術(shù)

1.超融合技術(shù)簡(jiǎn)介

超融合基礎(chǔ)架構(gòu)（Hyper Converged Infrastructure， HCI）是一種新型的網(wǎng)絡(luò)共享存儲(chǔ)架構(gòu)，基于標(biāo)準(zhǔn)通用的硬件平臺(tái)，通過軟件定義實(shí)現(xiàn)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)融合。[4]超融合基礎(chǔ)架構(gòu)具備以下三個(gè)技術(shù)特點(diǎn)：

（1）計(jì)算虛擬化。計(jì)算資源虛擬化技術(shù)將通用的x86服務(wù)器經(jīng)過KVM、XEN等技術(shù)，向最終用戶呈現(xiàn)標(biāo)準(zhǔn)的虛擬機(jī)，這些虛擬機(jī)具備系列化的硬件配置。

（2）存儲(chǔ)虛擬化。用虛擬化技術(shù)“池化”集群存儲(chǔ)卷內(nèi)通用x86服務(wù)器中的本地硬盤，實(shí)現(xiàn)服務(wù)器存儲(chǔ)資源統(tǒng)一整合、管理及調(diào)度。

（3）網(wǎng)絡(luò)虛擬化。這里特指的是軟件定義網(wǎng)絡(luò)（Software Defined Network， SDN），通過OpenFlow、Overlay等技術(shù)將網(wǎng)絡(luò)設(shè)備的控制面與數(shù)據(jù)面分離，從而實(shí)現(xiàn)網(wǎng)絡(luò)流量的靈活控制，使超融合架構(gòu)中各類網(wǎng)絡(luò)功能資源按需分配和靈活調(diào)度，實(shí)現(xiàn)網(wǎng)絡(luò)虛擬化。[5]

2.超融合對(duì)比傳統(tǒng)虛擬化的優(yōu)勢(shì)

（1）架構(gòu)更簡(jiǎn)單、穩(wěn)健。超融合架構(gòu)將傳統(tǒng)架構(gòu)虛擬化、存儲(chǔ)、網(wǎng)絡(luò)三層集成到一個(gè)x86服務(wù)器上，只需使用以太網(wǎng)交換機(jī)將計(jì)算節(jié)點(diǎn)進(jìn)行鏈接，便能快速搭建業(yè)務(wù)所需要的一切IT資源。而多個(gè)計(jì)算節(jié)點(diǎn)構(gòu)成的集群，消除了單點(diǎn)故障隱患，具有更好的穩(wěn)定性和更強(qiáng)的可靠性。[6]

（2）采用分布式存儲(chǔ)系統(tǒng)。通過部署分布式存儲(chǔ)的方式，對(duì)本地存儲(chǔ)資源進(jìn)行虛擬化，再經(jīng)集群整合成資源池，為數(shù)據(jù)中心提供存儲(chǔ)服務(wù)。而分布式存儲(chǔ)多副本技術(shù)的特性，使數(shù)據(jù)更安全、業(yè)務(wù)更可靠。[7]

（3）更低的建設(shè)與維護(hù)成本。超融合架構(gòu)更簡(jiǎn)單，理論上兩個(gè)計(jì)算節(jié)點(diǎn)便可以構(gòu)成一個(gè)集群，這樣使初期建設(shè)可以按需采購(gòu)，降低一次性投資建設(shè)的壓力。而后期需要擴(kuò)展時(shí)，可在不中斷業(yè)務(wù)的情況下新增和刪除節(jié)點(diǎn)，實(shí)現(xiàn)線性方式水平擴(kuò)展，使部署更快捷、管理更方便。[8]

（4）運(yùn)維更簡(jiǎn)單。[2]超融合架構(gòu)將傳統(tǒng)架構(gòu)的服務(wù)器管理、存儲(chǔ)管理、網(wǎng)絡(luò)管理甚至安全管理集成到一個(gè)統(tǒng)一的用戶界面上，用戶可以在一個(gè)界面上，實(shí)現(xiàn)計(jì)算和存儲(chǔ)資源的池化，CPU、內(nèi)存、存儲(chǔ)等資源的分配，虛擬機(jī)的創(chuàng)建和啟動(dòng)，無疑會(huì)為運(yùn)維帶來極大的便利性。

三、超融合技術(shù)在高校數(shù)據(jù)中心的應(yīng)用實(shí)踐

目前學(xué)校數(shù)據(jù)中心由兩部分組成：一是由傳統(tǒng)存儲(chǔ)服務(wù)器組成的數(shù)據(jù)庫(kù)服務(wù)，保護(hù)現(xiàn)有投資，實(shí)現(xiàn)單一應(yīng)用;二是由超融合組成的私有云服務(wù)，實(shí)現(xiàn)應(yīng)用服務(wù)及系統(tǒng)靈活調(diào)度、安全可靠。

1.數(shù)據(jù)庫(kù)服務(wù)

數(shù)據(jù)庫(kù)服務(wù)作為高校數(shù)據(jù)中心的核心業(yè)務(wù)，承載的是學(xué)校重要的數(shù)據(jù)財(cái)產(chǎn)，要求數(shù)據(jù)庫(kù)服務(wù)能穩(wěn)定、安全、高效地運(yùn)行。在數(shù)據(jù)庫(kù)服務(wù)的硬件選型上，我們采用比較成熟的方案：x86服務(wù)器+光纖存儲(chǔ)。相比起小型機(jī)硬件配件單一、采購(gòu)成本及維護(hù)成本高的劣勢(shì)，[9]x86服務(wù)器的前期投入成本和后期維護(hù)費(fèi)用遠(yuǎn)低于小型機(jī)。而對(duì)內(nèi)存和CPU要求都較高的數(shù)據(jù)庫(kù)、商業(yè)應(yīng)用和虛擬化來說，x86服務(wù)器的可靠性可以媲美小型機(jī)，而且更加容易維護(hù)與更新，更加有利于關(guān)鍵性業(yè)務(wù)的可持續(xù)發(fā)展。[10]

從服務(wù)器、光交換到存儲(chǔ)服務(wù)器都采用了雙節(jié)點(diǎn)高可用的架構(gòu)，如圖1所示。特別是光纖存儲(chǔ)，采用2臺(tái)存儲(chǔ)服務(wù)器構(gòu)建存儲(chǔ)系統(tǒng)，每臺(tái)均配備2個(gè)控制器，實(shí)現(xiàn)了對(duì)稱雙活系統(tǒng)。對(duì)稱雙活系統(tǒng)在1個(gè)控制器離線的情況下不影響業(yè)務(wù)，在3個(gè)控制器離線的極端情況下依然能保證業(yè)務(wù)不下線。每臺(tái)存儲(chǔ)服務(wù)器配置128GB緩存，為學(xué)校數(shù)據(jù)中心的數(shù)據(jù)庫(kù)服務(wù)提供了強(qiáng)大的性能保障，以滿足數(shù)據(jù)庫(kù)服務(wù)穩(wěn)定及安全的苛刻需求。

2.私有云服務(wù)

筆者學(xué)校以“超融合技術(shù)+云計(jì)算管理軟件”為基礎(chǔ)，建設(shè)了架構(gòu)靈活的云化基礎(chǔ)設(shè)施，實(shí)現(xiàn)了計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、安全的統(tǒng)一資源池。

（1）計(jì)算及存儲(chǔ)配置

私有云平臺(tái)包含20個(gè)節(jié)點(diǎn)，集群規(guī)模達(dá)40C，每個(gè)節(jié)點(diǎn)的配置如下：2顆Intel Xeon Silver 4114處理器，128GB 內(nèi)存。平臺(tái)主控機(jī)在故障時(shí)可自動(dòng)轉(zhuǎn)移，在運(yùn)行資源需求沒有溢出資源池總量的前提下，允許多個(gè)節(jié)點(diǎn)離線。平臺(tái)支持集群資源調(diào)度，能在特定的場(chǎng)景下，將虛擬機(jī)從 CPU 或者內(nèi)存利用率比較高的主機(jī)遷移到利用率比較低的主機(jī)上，將負(fù)載過高的主機(jī)的利用率降到閾值以下。

私有云平臺(tái)采用分布式存儲(chǔ)技術(shù)，實(shí)行二副本的策略，每個(gè)超融合節(jié)點(diǎn)配置了2塊300GB SAS用于安裝HCI底層操作系統(tǒng)，2塊480GB SSD作為分布式存儲(chǔ)的緩存盤，4塊1TB SATA作為分布式存儲(chǔ)的數(shù)據(jù)盤。其初始化后實(shí)際可用存儲(chǔ)容量為32.88TB，最大讀速度為431.7MB/s，最大寫速度為301.7MB/s，其性能已經(jīng)能滿足學(xué)校絕大部分的應(yīng)用場(chǎng)景。后期存儲(chǔ)容量不足，可在線直接添加SATA盤擴(kuò)充容量。

（2）網(wǎng)絡(luò)配置

超融合將多個(gè)x86單元設(shè)備通過以太網(wǎng)技術(shù)聚合起來，實(shí)現(xiàn)模塊化的無縫橫向擴(kuò)展，形成統(tǒng)一的資源池。對(duì)集群進(jìn)行構(gòu)建時(shí)，需要構(gòu)建4張網(wǎng)絡(luò)，如圖1所示：

①業(yè)務(wù)網(wǎng)絡(luò)，用于承載虛擬機(jī)的南北向通信。采用支持堆疊技術(shù)的兩臺(tái)千兆接入交換機(jī)，下行端口速率GE接入服務(wù)器，上行端口速率10GE，兩條10GE鏈路聚合方式接入核心交換機(jī)，構(gòu)建冗余的業(yè)務(wù)網(wǎng)絡(luò)。

②存儲(chǔ)網(wǎng)絡(luò)，二層通信，用于實(shí)現(xiàn)分布式存儲(chǔ)，負(fù)責(zé)超融合節(jié)點(diǎn)間存儲(chǔ)數(shù)據(jù)通信，采用支持堆疊技術(shù)的兩臺(tái)全萬兆接入交換機(jī)，實(shí)現(xiàn)雙交換機(jī)鏈路聚合，在保證性能的同時(shí)提高整個(gè)網(wǎng)絡(luò)架構(gòu)的健壯性。

③VXLAN（Virtual eXtensible Local Area Network）網(wǎng)絡(luò)，二層通信，采用兩臺(tái)千兆介入交換機(jī)進(jìn)行堆疊，用于承載虛擬機(jī)的東西向流量。

④管理網(wǎng)絡(luò)，采用兩臺(tái)千兆介入交換機(jī)進(jìn)行堆疊，用于物理服務(wù)器IPMI （Intelligent Platform Management Interface）等遠(yuǎn)程管理，為終端用戶提供虛擬操作界面。

其中，在業(yè)務(wù)網(wǎng)絡(luò)的設(shè)計(jì)上實(shí)現(xiàn)軟件定義網(wǎng)絡(luò)（Software Defined Network，SDN），將網(wǎng)絡(luò)功能與專有硬件設(shè)備分離，將網(wǎng)絡(luò)功能使用軟件的方式實(shí)現(xiàn)。如圖2所示，根據(jù)學(xué)校業(yè)務(wù)類型，劃分3個(gè)業(yè)務(wù)子網(wǎng)——互聯(lián)網(wǎng)業(yè)務(wù)區(qū)、內(nèi)網(wǎng)業(yè)務(wù)區(qū)和教學(xué)科研區(qū)。每個(gè)區(qū)域下，可以給每個(gè)業(yè)務(wù)群?jiǎn)为?dú)分配一臺(tái)虛擬機(jī)交換機(jī)，實(shí)現(xiàn)對(duì)業(yè)務(wù)群進(jìn)行精細(xì)化的網(wǎng)絡(luò)配置管理和網(wǎng)絡(luò)監(jiān)控。這樣，無論是組建業(yè)務(wù)網(wǎng)絡(luò)，還是對(duì)網(wǎng)絡(luò)進(jìn)行改造，再也不必進(jìn)行現(xiàn)場(chǎng)的布線施工，只需通過管理平臺(tái)便能實(shí)現(xiàn)網(wǎng)絡(luò)的搭建。

（3）災(zāi)備及安全

云平臺(tái)提供兩種方式。一種是虛擬機(jī)整機(jī)備份，可以根據(jù)業(yè)務(wù)重要性，配置多個(gè)備份容災(zāi)模版——每日備份、每周備份和每月備份等。另外一種是CDP （Continuous Data Protection）備份，對(duì)于運(yùn)行著核心業(yè)務(wù)或者核心數(shù)據(jù)庫(kù)的虛擬機(jī)，可以通過CDP，對(duì)虛擬機(jī)寫入數(shù)據(jù)進(jìn)行I/O級(jí)的備份，從而實(shí)現(xiàn)關(guān)鍵數(shù)據(jù)的保護(hù)。

在私有云安全防護(hù)上，我們利用超融合私有云平臺(tái)的分布式防火墻，對(duì)每個(gè)業(yè)務(wù)VLAN內(nèi)的虛擬機(jī)在業(yè)務(wù)網(wǎng)絡(luò)之間實(shí)現(xiàn)了橫向隔離，當(dāng)單臺(tái)虛擬機(jī)中病毒以后避免出現(xiàn)橫向蔓延。而南北向的流量則設(shè)置了兩層防護(hù)，數(shù)據(jù)中心核心交換機(jī)的前置硬件防火墻（見圖1）及私有平臺(tái)云提供的云WAF（Web Application Firewall），滿足了不同類型業(yè)務(wù)安全需求。這樣無論是從南北向還是東西向都構(gòu)建了完備的安全防護(hù)體系，有效地保障了私有云上的業(yè)務(wù)安全。

四、結(jié)語

高校“雙一流”建設(shè)，離不開信息化的有效支撐，高校師生在教學(xué)、科研、管理和生活服務(wù)上，對(duì)信息化產(chǎn)生了多樣化的需求。綠色、高效、靈活、安全的數(shù)據(jù)中心建設(shè)是信息化建設(shè)的核心。要在關(guān)鍵服務(wù)上做到架構(gòu)穩(wěn)定、健壯，在應(yīng)用服務(wù)的部署上要做到靈活、便捷，在建設(shè)與維護(hù)成本上做到經(jīng)濟(jì)，這就要求高校IT人要摸清自己學(xué)校信息化現(xiàn)狀需求，深入了解私有云、虛擬化、分布式處理、超融合等關(guān)鍵技術(shù)，制定科學(xué)的規(guī)劃，然后量體裁衣地設(shè)計(jì)、打磨數(shù)據(jù)中心的實(shí)現(xiàn)方案?；诔诤系臄?shù)據(jù)中心上線以來，明顯提升了學(xué)校教學(xué)、科研應(yīng)用的運(yùn)行效率，縮短新業(yè)務(wù)上線周期，提升師生信息化服務(wù)滿意度，為學(xué)校未來大數(shù)據(jù)業(yè)務(wù)提供平臺(tái)與資源的核心支撐，有力促進(jìn)了學(xué)校“雙一流”建設(shè)與發(fā)展。

參考文獻(xiàn)：

[1]方昕.超融合架構(gòu)技術(shù)在高校數(shù)據(jù)中心中的應(yīng)用[J].電子技術(shù)與軟件工程，2017（14）.

[2]牛永正，肖辰，馬永新.超融合架構(gòu)在高校數(shù)據(jù)中心中的應(yīng)用——以天津商業(yè)大學(xué)數(shù)據(jù)中心建設(shè)為例[J].信息系統(tǒng)工程，2018（9）.

[3]翟永剛，丁增鑫，王青峰.基于云計(jì)算的高校數(shù)據(jù)中心設(shè)計(jì)與實(shí)現(xiàn)[J].中國(guó)教育信息化， 2015（17）：61-63.

[4]郝冠南，劉星宏，程麗彥.人民日?qǐng)?bào)社新聞業(yè)務(wù)高性能的超融合存儲(chǔ)架構(gòu)全面部署[A].中國(guó)新聞技術(shù)工作者聯(lián)合會(huì).2019年學(xué)術(shù)年會(huì)論文集[C].2019.6.

[5]Stanford University.Clean slate program[EB/OL].2006.http：//cleanslate.stanford.edu/.

[6]劉家樂，陳貽品.基于超融合技術(shù)的高職院校數(shù)據(jù)中心建設(shè)研究[J].信息技術(shù)與信息化， 2019（8）：106-107.

[7]王盈.超融合讓云計(jì)算回歸本質(zhì)[J].軟件和集成電路，2016（7）：46-49.

[8]解培.超融合基礎(chǔ)架構(gòu)在商業(yè)銀行私有云中的應(yīng)用[J].金融電子化，2015（12）：75-77.

[9]黃海峰.遼寧移動(dòng)探索“小機(jī)x86化”成星星之火 點(diǎn)亮運(yùn)營(yíng)商數(shù)據(jù)庫(kù)轉(zhuǎn)型之路[J].通信世界，2015（24）：40.

[10]姜姝.是時(shí)候去小機(jī)了 國(guó)產(chǎn)x86已雄起[N].中國(guó)信息化周報(bào)，2014-09-29（026）.

（編輯：王天鵬）