王志強，李廣福，張學燕

1.山東工藝美術(shù)學院，山東濟南，250300；2.山東青年政治學院，山東濟南，250103

0 引言

隨著國家數(shù)字中國建設的持續(xù)推進，高等教育與信息技術(shù)高度融合，教育信息化為高等院校教學、科研、管理及服務提供了良好的支撐環(huán)境，為高等教育高質(zhì)量發(fā)展提供有力保障。教育部等六部門在2021年發(fā)布的《關(guān)于推進教育新型基礎設施建設構(gòu)建高質(zhì)量教育支撐體系的指導意見》中指出：“構(gòu)建新型數(shù)據(jù)中心，為本地區(qū)教育機構(gòu)提供便捷可靠的計算存儲和災備服務。[1]”2021年教育部印發(fā)《高等學校數(shù)字校園建設規(guī)范（試行）》，其中明確指出：“建設安全、高效、節(jié)能的數(shù)據(jù)中心基礎設施，構(gòu)建安全、穩(wěn)定、高效的網(wǎng)絡、計算（服務器）系統(tǒng)、存儲系統(tǒng)、基礎軟件系統(tǒng)、備份容災系統(tǒng)等，為信息化應用提供良好的支撐環(huán)境”[2]。從以上文件可知，構(gòu)建安全、穩(wěn)定、高效、節(jié)能的現(xiàn)代化數(shù)據(jù)中心，為計算、存儲及備份容災系統(tǒng)等提供良好穩(wěn)定的運行環(huán)境，是教育信息化的基礎，是教育信息化的支撐和保障。

本文以山東工藝美術(shù)學院數(shù)據(jù)中心機房建設為例，主要介紹新一代數(shù)據(jù)中心機房建設中供配電系統(tǒng)、模塊化布線系統(tǒng)、新網(wǎng)絡技術(shù)架構(gòu)及數(shù)據(jù)交換網(wǎng)絡四個方面的實踐與經(jīng)驗，及它們與傳統(tǒng)數(shù)據(jù)中心機房相比所具有的優(yōu)勢。

1 增程式節(jié)能高效配電模式，為數(shù)據(jù)中心機房電力保駕護航

供配電系統(tǒng)是保證數(shù)據(jù)中心機房中計算、網(wǎng)絡、存儲及輔助設備等可靠運行的基本條件，現(xiàn)代數(shù)據(jù)中心機房電力系統(tǒng)以節(jié)能環(huán)保、穩(wěn)定可靠為基本原則，建設一個安全、穩(wěn)定、節(jié)能、環(huán)保的供配電系統(tǒng)對數(shù)據(jù)中心機房顯得尤為重要。山東工藝美術(shù)學院在數(shù)據(jù)中心機房建設時，對不間斷電源配電模式進行了更加穩(wěn)定與節(jié)能的新模式探索，除常規(guī)的市電接入之外，采用了柴油發(fā)電機和UPS延時相結(jié)合的新方式，它的工作原理是：當市電停電時，機房配電系統(tǒng)自動切換至UPS供電，并確保UPS供電啟用2分鐘之內(nèi)自動啟動應急發(fā)電機供電。這種新模式與傳統(tǒng)的供電模式相比，具有許多優(yōu)勢。

1.1 持續(xù)動力輸出，不再為供電時長擔憂

傳統(tǒng)的鉛酸蓄電池單位內(nèi)聚能量偏低，不能為數(shù)據(jù)中心設備提供長時間的電能。蓄電池只能短時間內(nèi)為機房提供電力輸出，若遇到市電較長時間停止供電，這種情況下鉛酸蓄電池很難為機房提供長時間供電。而使用柴油發(fā)電機和UPS延時配合為數(shù)據(jù)中心機房進行電力輸出，不用再擔心供電時長的問題，只要確保發(fā)電機有足夠的柴油，就可以持續(xù)為機房提供電能。

1.2 投資回報率高，機房空間占比小

傳統(tǒng)的不間斷電源供電模式大多采用UPS主機配備大量鉛酸蓄電池的方式，若想增加供電時長，需要串聯(lián)大量的蓄電池，供電時長是與電池的數(shù)量成正比的，電池數(shù)量越多供電時間就會越長。目前鉛酸蓄電池的價格偏高，大量的電池采購會增加機房的建設成本，并且電池的循環(huán)使用壽命是有限的，每隔幾年需要更換一次電池，這無疑也增加了成本。由于電池的能量密度低，大量的電池會占用機房很大的一部分空間。新供電模式只需一臺柴油發(fā)電機，從目前的市場行情看，發(fā)電機的價格不是太高，并且使用期間定期對發(fā)電機進行保養(yǎng)，可以使用十幾甚至幾十年，一般不用為使用壽命問題而擔憂。這種模式的選擇，降低了機房建設的投資成本。

1.3 節(jié)能高效，供電性能不再受限

鉛酸蓄電池電解液含有大量的硫酸及硫酸鉛，大量的廢棄電池需要專業(yè)部門才能夠處理，每年需要回收處理的廢電池消耗了一定的能源，不利于國家倡導的節(jié)能減排。如果對電池處理不當致使廢液進入環(huán)境，大量的重金屬廢水會對環(huán)境造成污染。并且UPS供配電系統(tǒng)只能為計算機設備、網(wǎng)絡設備及存儲設備等供電，不能為機房內(nèi)精密空調(diào)提供電力。當市電停電時間過久，由于機房內(nèi)的設備會產(chǎn)生大量的熱量無法排出，致使室內(nèi)溫度急劇升高，持續(xù)高溫的環(huán)境容易使設備發(fā)生宕機。柴油發(fā)電機和UPS延時的新模式，只需配備少量的鉛酸蓄電池，用于保障市電停電后、發(fā)電機啟動之前的幾分鐘的供電時間。這樣減少了大量被替換下來的電池的處理成本，也減少了廢棄電池污染物對環(huán)境的排放，符合國家節(jié)能減排的政策。發(fā)電機不僅能夠給計算機、網(wǎng)絡及存儲等設備供電，同時也可以給機房內(nèi)精密空調(diào)供電。

2 模塊化高性能光纖配線系統(tǒng)，拓寬5G時代信息高速公路

學校在進行數(shù)據(jù)中心綜合布線系統(tǒng)建設時，充分考慮到云計算、大數(shù)據(jù)、虛擬化和物聯(lián)網(wǎng)等業(yè)務對網(wǎng)絡傳輸基礎設施的高標準要求，它需要具備傳輸帶寬高、傳輸速度快、吞吐量大和低延時等特點，同時滿足學校線上教育教學、網(wǎng)絡視頻業(yè)務爆發(fā)式增長及智慧校園系統(tǒng)等業(yè)務需求，以及考慮到后期維護成本，采用了基于MPO連接器的高密度光纖配線系統(tǒng)，它與傳統(tǒng)的布線系統(tǒng)相比優(yōu)勢比較明顯。

2.1 可擴展性強，系統(tǒng)部署靈活

基于模塊化光纖配線系統(tǒng)，可以根據(jù)業(yè)務需求量進行動態(tài)配置，1U高度的高密度光纖箱滿配可安裝12個MPO預端接盒，每個預端接盒可配備12個LC適配器，這樣一個1U高度的光纖箱滿額可管理144芯光纖。根據(jù)業(yè)務的需求量，只需配備當前數(shù)量的MPO預端接盒即可，若后期隨著需求量的增加，隨時可以增加MPO預端接盒的數(shù)量，既可以做到按需配備，又可以緩解因資金緊張而帶來的問題。MTP連接器的特點是即插即用，當有新的模塊盒需要接入配線箱時，只需將安裝有MTP連接器（母端）的MPO-MPO集束光纖跳線插入MTP連接器（公端）即可，從而實現(xiàn)了系統(tǒng)部件的快捷連接。而傳統(tǒng)的布線系統(tǒng)就很難做到快速、便捷連接，部署的靈活性及可擴展性都要比高密度模塊化MPO光纖配線系統(tǒng)弱。

2.2 高密度配線管理，節(jié)約機柜空間

高密度模塊化的MPO預端接盒設計，具有大容量、低空間占用量的特點，節(jié)約了機柜的占用空間，從而大大提高了機柜的利用率。譬如，1U高度的高密度MPO光纖配線架可端接光纖芯數(shù)達144芯，而普通ODF光纖配線箱若端接144芯光纖，則需要12個熔接盤，箱體高度大約為35厘米，標準機柜1U的高度約為4.445厘米，35厘米高度大約是8U的高度。也就是說，同樣是144芯的光纖端接，普通ODF光纖配線架占用的空間是高密度MPO光纖配線架的8倍。

2.3 數(shù)據(jù)傳輸速度快，數(shù)據(jù)傳輸性能好

隨著網(wǎng)絡帶寬的提升及數(shù)據(jù)交換量的劇增，萬兆傳輸已成為數(shù)據(jù)中心布線的主流趨勢，MPO連接器支持100G/s數(shù)據(jù)傳輸速率，避免了數(shù)據(jù)交換、傳輸瓶頸的問題，并且配備多芯帶狀或束狀光纜，鏈接穩(wěn)定可靠，保證了數(shù)據(jù)在傳輸過程中的穩(wěn)定性。由于光纖布線系統(tǒng)具有高帶寬、高速率、抗干擾能力強等優(yōu)點，現(xiàn)代數(shù)據(jù)中心機房設備大多配備光纖接口，傳統(tǒng)的雙絞線接口已很少使用，因為傳統(tǒng)的雙絞線布線系統(tǒng)已經(jīng)很難滿足現(xiàn)代數(shù)據(jù)中心高密度設備接入和對傳輸介質(zhì)高性能的要求。

3 基于網(wǎng)絡新技術(shù)架構(gòu)，助力數(shù)據(jù)中心飛速發(fā)展

學校在新數(shù)據(jù)中心機房建設時，采用分布式VxLAN和EVPN技術(shù)方案，基于Spine-Leaf物理網(wǎng)絡拓撲架構(gòu)，實現(xiàn)校園網(wǎng)的扁平化，滿足數(shù)據(jù)中心對網(wǎng)絡的性能可靠、數(shù)據(jù)轉(zhuǎn)發(fā)高效、可擴展性強等需求，很好地解決了傳統(tǒng)三層網(wǎng)絡模式存在的虛擬化部署、資源調(diào)整等業(yè)務不靈活等問題，減少了資源浪費，提高了信息的傳播效率。

3.1 業(yè)務部署靈活，可擴展性強

隨著服務器、虛擬機數(shù)量不斷增加，網(wǎng)絡規(guī)模越來越大，數(shù)據(jù)中心數(shù)據(jù)流量成倍增長，傳統(tǒng)的網(wǎng)絡架構(gòu)已無法滿足云計算、大數(shù)據(jù)等新業(yè)務對網(wǎng)絡承載的需求，基于路由協(xié)議的傳統(tǒng)三層網(wǎng)絡架構(gòu)VLAN無法突破物理二層的限制，不能滿足大規(guī)模虛擬化部署，虛擬機遷移受物理網(wǎng)絡架構(gòu)限制，新業(yè)務上線網(wǎng)絡配置煩瑣、擴展性差?；谝陨蠁栴}，采用分布式VxLAN+EVPN技術(shù)方案構(gòu)建邏輯大二層扁平化網(wǎng)絡，以解決資源整合、業(yè)務備份、負載均衡等需要，以及虛擬機部署遷移的需要[3]。

3.2 數(shù)據(jù)傳輸速率高，網(wǎng)絡可靠性高

傳統(tǒng)的網(wǎng)絡架構(gòu)業(yè)務與網(wǎng)絡耦合性高，如果網(wǎng)絡出現(xiàn)問題對業(yè)務影響大，并且傳統(tǒng)網(wǎng)絡VLAN中存在廣播數(shù)據(jù)包容易在整網(wǎng)中泛洪占用網(wǎng)絡資源等問題。針對數(shù)據(jù)中心數(shù)據(jù)大流量、無阻塞傳輸，學校在新數(shù)據(jù)中心建設時，配備了支持VSU虛擬化技術(shù)的高性能交換機，上聯(lián)端口線速交換能力可達100G?；赩xLAN+EVPN技術(shù)部署的網(wǎng)絡架構(gòu)，將VxLAN二層、三層網(wǎng)關(guān)部署在Leaf交換機上，Spine交換機只負責IP的高速轉(zhuǎn)發(fā)，Spine-Leaf物理組網(wǎng)架構(gòu)是一種新型的邏輯二層網(wǎng)絡架構(gòu)，實現(xiàn)了業(yè)務與網(wǎng)絡的解耦，能夠很好地應對網(wǎng)絡中激增的數(shù)據(jù)流量，提高網(wǎng)絡傳輸效率，降低對網(wǎng)絡資源的占用率，并且有效阻止了廣播風暴的產(chǎn)生[4]。VSU虛擬化技術(shù)能夠?qū)⒍嗯_物理設備虛擬為一臺邏輯設備，進行統(tǒng)一的運行管理，從而實現(xiàn)了網(wǎng)絡的可靠性。借助交換機自帶的虛擬化特性，在Leaf交換機與服務器鏈路上做跨設備鏈路聚合，將多設備進行跨設備鏈路聚合，通過VSU虛擬化技術(shù)將多臺Spine交換機邏輯上虛擬成一臺設備，同時將串接在核心鏈路中的安全設備旁掛在按“東西”向流量和“南北”向流量的Leaf交換機下，提高了網(wǎng)絡鏈路及網(wǎng)絡出口的可靠性。

3.3 網(wǎng)絡配置自動化程度高，網(wǎng)絡運維更加智能化

新的網(wǎng)絡技術(shù)架構(gòu)中的網(wǎng)絡設備會根據(jù)網(wǎng)絡全局配置、交換機模板配置自動生成設備配置，實現(xiàn)了設備即插即用，設備配置自動生成等網(wǎng)絡自動化構(gòu)建與配置，做到了網(wǎng)絡業(yè)務調(diào)整按需下發(fā)、自動化部署等。例如，當網(wǎng)絡中交換機出現(xiàn)硬件故障后，使用相同型號的交換機進行替換后，新入網(wǎng)交換機的配置會根據(jù)自身業(yè)務需要自動下發(fā)，從而使既有業(yè)務不受設備的調(diào)整影響。傳統(tǒng)的網(wǎng)絡技術(shù)架構(gòu)則很難實現(xiàn)新入網(wǎng)設備自動化部署等功能，在進行網(wǎng)絡業(yè)務調(diào)整時需要對設備進行流程比較煩瑣的配置。

4 EoR+MPO數(shù)據(jù)交換網(wǎng)絡搭建，實現(xiàn)低投入、高效率

現(xiàn)代數(shù)據(jù)中心機房建設過程中，考慮到數(shù)據(jù)業(yè)務的可變性、云計算和虛擬化大量部署對數(shù)據(jù)交換的高效性、以脊葉網(wǎng)絡拓撲架構(gòu)為代表的大二層網(wǎng)絡結(jié)構(gòu)的新趨勢，數(shù)據(jù)交換網(wǎng)絡搭建需要充分考慮以上各種業(yè)務的需求。

4.1 EoR與ToR數(shù)據(jù)交換網(wǎng)絡架構(gòu)對照

EoR布線架構(gòu)是傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡布線架構(gòu)，是在每排機柜邊端配置網(wǎng)絡機柜，俗稱網(wǎng)絡列頭柜，數(shù)據(jù)交換機放置在網(wǎng)絡列頭柜內(nèi)提供網(wǎng)絡統(tǒng)一接入點，每個IT機柜里的服務器等設備通過光纖等最終跳接的網(wǎng)絡列頭柜與交換機連接。ToR布線架構(gòu)是在每個IT機柜頂部配置一臺或兩臺數(shù)據(jù)交換機，機柜內(nèi)的服務器等設備通過跳線直連到機柜內(nèi)的交換機上面，每個機柜內(nèi)的交換機通過上聯(lián)口最終連接到匯聚交換機。

4.2 EoR+MPO技術(shù)組合與ToR相比性價比更高

EoR+MPO技術(shù)組合是將傳統(tǒng)的EoR布線構(gòu)架與高密度MPO光纖配線架相結(jié)合的方式，在每個IT機柜頂端安裝一臺MPO光纖配線架用于本機柜內(nèi)服務器等設備的連接，MPO光纖配線架通過光纖與列頭機柜里的數(shù)據(jù)交換機連接，這種技術(shù)方案避免了EoR布線架構(gòu)后期線纜可擴展性不強、管理較復雜的現(xiàn)象，又具備了ToR布線架構(gòu)的分布式網(wǎng)絡接入、可擴展性強、高速率等優(yōu)點，并且與ToR架構(gòu)每個機柜內(nèi)配置數(shù)據(jù)交換機相比，在機房建設時資金投入低很多。

5 結(jié)語

數(shù)據(jù)中心機房建設是一項復雜的系統(tǒng)工程，是計算、存儲及通信的重要基礎設施，是教育信息化的重要支撐和保障。本文重點從數(shù)據(jù)中心機房建設的供配電方案、模塊化配線系統(tǒng)、新的網(wǎng)絡技術(shù)架構(gòu)及數(shù)據(jù)交換網(wǎng)絡四個方面，以及與傳統(tǒng)的數(shù)據(jù)中心機房優(yōu)劣對比，分享了學校在數(shù)據(jù)中心機房建設方面的實際經(jīng)驗。