于智勇

(中國農(nóng)業(yè)銀行總行，北京 100069)

0 項目概述

中國農(nóng)業(yè)銀行北方數(shù)據(jù)中心園區(qū)位于北京市海淀區(qū)中關(guān)村創(chuàng)新園中心地帶，地處蘇家坨鎮(zhèn)稻香湖風景區(qū)。園區(qū)由南、北兩地塊組成，南地塊用于軟件開發(fā)，北地塊定位為農(nóng)行“兩地三中心”戰(zhàn)略部署中的異地災備中心。園區(qū)總建筑面積 249 000m2，其中，三棟機房樓總建筑面積86 500m2，機房總面積近20 000m2，共分成32個600m2左右的高性能標準模塊機房，機房分兩期進行建設(shè)，每期16個模塊，目前完成的是一期。

農(nóng)業(yè)銀行災備中心按照國標GB 50174-2008《電子信息系統(tǒng)機房設(shè)計規(guī)范》(以下簡稱“GB 50174標準”)中A級機房標準設(shè)計建造，核心機電系統(tǒng)滿足Uptime機構(gòu)所規(guī)定的最高等級Tier IV要求，網(wǎng)絡(luò)布線系統(tǒng)參照了TIA 942-A的Tier4等級要求。數(shù)據(jù)中心建成后能滿足農(nóng)業(yè)銀行長遠的戰(zhàn)略部署，并可適應銀行業(yè)務擴展及未來網(wǎng)絡(luò)技術(shù)的發(fā)展，建設(shè)目標成為國內(nèi)一流的數(shù)據(jù)中心。

由于北方數(shù)據(jù)中心園區(qū)占地較大(園區(qū)包括了15棟建筑物)，本文僅就災備中心的綜合布線系統(tǒng)的規(guī)劃、設(shè)計做簡單介紹。數(shù)據(jù)中心園區(qū)其網(wǎng)絡(luò)架構(gòu)和布線另有特點，并有一定代表性，作者將另文介紹。

1 本中心的特點及對設(shè)計的要求

本中心的特點及對設(shè)計的要求主要有：(1)作為銀行數(shù)據(jù)中心，各系統(tǒng)設(shè)計高可用性是第一位的，綜合布線系統(tǒng)設(shè)計更是如此；(2)不同于互聯(lián)網(wǎng)或以出租為目的建設(shè)的數(shù)據(jù)中心，本中心32片機房必須作為一個整體考慮，網(wǎng)絡(luò)需要統(tǒng)一出口，核心網(wǎng)絡(luò)機房需要連接所有服務器及存儲機房；(3)應用和設(shè)備種類多，有主機系統(tǒng)、小型機及存儲系統(tǒng)、X86架構(gòu)的開放平臺系統(tǒng)等，這些應用和系統(tǒng)布線各有其特點，必須兼顧；(4)中心的基礎(chǔ)設(shè)施架構(gòu)需要保持較長時間的穩(wěn)定，特別是布線系統(tǒng)，由于其物理升級工程量巨大，對數(shù)據(jù)中心的影響也極大，因此期望其至少在10～15年內(nèi)保持基本穩(wěn)定，20年內(nèi)基本可用，這需要跨越2～3個甚至4個網(wǎng)絡(luò)系統(tǒng)設(shè)備生命周期，要求布線系統(tǒng)設(shè)計之初就要適度超前，并考慮平滑升級條件。

布線系統(tǒng)設(shè)計原則：遵照標準，滿足需求，確?？捎?，兼顧未來。

2 綜合布線系統(tǒng)設(shè)計概要

農(nóng)業(yè)銀行災備中心的綜合布線系統(tǒng)設(shè)計遵循GB 50174標準要求，還特別參照了TIA 942-A標準的拓撲架構(gòu)，充分考慮了農(nóng)行數(shù)據(jù)中心的應用及設(shè)備特點以及數(shù)據(jù)中心對高安全性、高可用性、高靈活性和高可擴展性的要求。網(wǎng)絡(luò)與存儲系統(tǒng)采用相同的布線結(jié)構(gòu)，分為核心、匯聚、接入三層，規(guī)劃可支持40G和100G網(wǎng)絡(luò)。

數(shù)據(jù)中心區(qū)域設(shè)有兩個MDA互為備份，每個機房的IDA都通過主干布線連接到兩個MDA。數(shù)據(jù)中心進線規(guī)劃成全程雙路由進線，通過4個運營商機房由不同的路由連接到MDA處。此外，從網(wǎng)絡(luò)核心機房通過7個匯聚節(jié)點輻射到各辦公區(qū)域，實現(xiàn)園區(qū)各辦公樓的網(wǎng)絡(luò)匯聚。

為了落實數(shù)據(jù)中心32個機房模塊之間的互聯(lián)互通，綜合布線參照TIA 942-A標準引入了中間配線區(qū)(IDA)，如圖1所示，這樣實施的優(yōu)勢在于：(1)有利于機房模塊分期分步實施、啟用；(2)模塊內(nèi)部的服務器、存儲互聯(lián)可以在IDA進行，減輕了MDA的互聯(lián)壓力；(3)在IDA內(nèi)集中部署光交換設(shè)備作為模塊內(nèi)SAN網(wǎng)絡(luò)集中交換區(qū)；(4)對于上聯(lián)到主配線區(qū)(MDA)的線纜進行收斂，減輕了主干布線的壓力，并大大提高布線的可靠性和可管理性。

圖1 本中心TIA-942-A架構(gòu)布線結(jié)構(gòu)圖

機房模塊內(nèi)綜合布線的水平配線區(qū)(HDA)采用柜間布線(MoR)的結(jié)構(gòu)進行設(shè)計，每一列設(shè)備柜設(shè)置有3個布線HDA機柜，中間的機柜匯聚銅纜布線，兩邊的機柜匯聚光纖布線。每個設(shè)備柜的光纜分別連接到HAD內(nèi)左、右兩個光纖匯聚柜中?？紤]到設(shè)備柜配線的靈活性，在每個設(shè)備柜頂部的橋架上通過安裝頂部安裝機架的方式設(shè)置EDA區(qū)域，可根據(jù)每個設(shè)備柜裝機密度和服務器選型的不同在ToR和MoR之間進行靈活切換。

LAN網(wǎng)絡(luò)架構(gòu)的上聯(lián)方式為：EDA-HDA-IDA-MDA。SAN網(wǎng)絡(luò)架構(gòu)的上聯(lián)方式為：EDA -IDA-MDA。

針對主機與小型機等非標設(shè)備，本項目專門在模塊內(nèi)設(shè)定了主機區(qū)和小型機區(qū)，并定義了ZDA來支持非標連接，此部分的設(shè)備與IDA的上聯(lián)采用了直連的方式。

針對綜合布線系統(tǒng)光纜和銅纜的選型，本項目充分考慮了網(wǎng)絡(luò)未來的發(fā)展趨勢，銅纜采用6A類屏蔽解決方案，光纜根據(jù)布線場景和連接距離分別選用多模OM4和單模OS2，且所有光纖主干均采用MPO的接口，以實現(xiàn)40G/100G的升級。

3 項目實施特點

本項目綜合布線系統(tǒng)在設(shè)計和實施過程中體現(xiàn)了高安全性、高可用性、高靈活性和高可擴展性的特點。

(1)安全性與可用性

安全性和可用性是銀行數(shù)據(jù)中心建設(shè)的重中之重。為了確保信息傳輸?shù)陌踩裕椖恐秀~纜采用了全屏蔽結(jié)構(gòu)，從根本上去除了信號泄露的風險。整個布線系統(tǒng)遵循了TIA 942-A T4和Uptime最高等級Tier IV 的設(shè)計原則，從電信進線直到EDA均保有備份路由，大大加強了設(shè)備的可用性，避免了單點故障的風險。

(2)靈活性與可擴展性

項目中創(chuàng)新性地采用了綜合吊掛系統(tǒng)，將機房內(nèi)復雜的頂部吊掛進行了全面整合，并結(jié)合實際情況在每個設(shè)備柜上方采用了橋架懸掛式頂部安裝機架，提供了額外的4U安裝空間，該安裝機架的施工獨立于機柜的安裝擺放，安裝實景圖見圖2。頂部安裝機架的使用為機房的靈活擴展提供了可行性，模塊內(nèi)的布線可以先行部署，機柜的擴容不會影響現(xiàn)有業(yè)務的運行。

圖2 靈活部署的4U頂部安裝機架

以太網(wǎng)光纖布線速率的發(fā)展直到10G一直是采用單一介質(zhì)、單一連接器類型就可滿足升級需求，自40G、100G網(wǎng)絡(luò)推出后，IEEE標準開始提供多種介質(zhì)和連接器類型的不同選項，表1羅列了IEEE標準中現(xiàn)有規(guī)范對光纖介質(zhì)、連接器類型和支持的傳輸距離。

光纖介質(zhì)和傳輸距離- IEEE標準 表1

從表1中可知，綜合布線系統(tǒng)選用光纖介質(zhì)需充分考慮未來的發(fā)展。在項目規(guī)劃過程中，為了滿足40G/100G網(wǎng)絡(luò)的升級的影響，從初期布線安裝成本、收發(fā)器成本、維護升級成本、鏈路長度這幾個因素進行了綜合考量，見表2。

項目造價由初期成本與升級維護成本組成，合理的架構(gòu)設(shè)計應該兼顧項目初期造價以及運維成本。本項目經(jīng)成本分析后最終決定采用高等級的多模OM4光纖,連接器類型選用12芯MPO，以實現(xiàn)對未來網(wǎng)絡(luò)的支撐。

網(wǎng)絡(luò)傳輸介質(zhì)成本分析 表2

傳統(tǒng)平衡雙絞線由于標準與傳輸距離限制，不適合作為網(wǎng)絡(luò)主干連接，因此，主干介質(zhì)的選取過程中僅以O(shè)M3多模、OM4多模、單模光纜作比較。從表2可知初期布線成本差別不大，多模和單模成本基本可認為一致，但是單模收發(fā)器的成本遠高于多模收發(fā)器，故初期網(wǎng)絡(luò)整體成本多模優(yōu)于單模，而OM3在支持40G和100G網(wǎng)絡(luò)的距離上限制在100m，項目實際情況中計算得出主干長度有部分超長，故最終決定主干采用高等級的多模OM4光纖。若進一步考量核心區(qū)域未來超越100G需求的升級模型，單模預計將比多模更經(jīng)濟，因此在IDA-MDA互連區(qū)域以及核心區(qū)域也同時敷設(shè)了單模光纖，以應對未來更高網(wǎng)絡(luò)速率。

在選取接口時，并行MPO接口在升級與支持100G網(wǎng)絡(luò)的性能上遠比LC接口靈活，即可滿足現(xiàn)有網(wǎng)絡(luò)需求，又可以滿足帶寬升級的需求，且MPO接口為工廠預端接形式，可以保證項目質(zhì)量交付的穩(wěn)定性并兼顧項目交付期要求。

由于設(shè)計時做了前瞻性的考慮，本中心竣工時各項指標，包括上述線纜和連接器選擇等，均滿足最新版GB 50174-2017《數(shù)據(jù)中心設(shè)計規(guī)范》的要求。

除了IEEE標準以外，本項目中所部署的單模和多模光纜還能支持表3中行業(yè)標準。

同時，因為LAN網(wǎng)絡(luò)和SAN網(wǎng)絡(luò)都選用了同一套布線系統(tǒng)，故該布線系統(tǒng)還可以支持表4中SAN網(wǎng)絡(luò)的標準。

通過高等級多模OM4 MPO預端接光纜和單模MPO預端接光纜的應用，可實現(xiàn)40G到100G的平滑過渡。MPO連接頭采用了并行光纖的技術(shù)，可以通過MPO-LC轉(zhuǎn)接模塊實現(xiàn)MPO連接器和LC連接器的轉(zhuǎn)換，在網(wǎng)絡(luò)從40G升級到100G時，僅需將LC接口轉(zhuǎn)換成MPO接口即可實現(xiàn)連接，避免了二次布線的麻煩，從另一方面提升了數(shù)據(jù)中心的可用性。本項目中考慮到模塊到機房之間的距離較長，故在IDA到MDA區(qū)域的互連均采用單模MPO作為主要傳輸介質(zhì)，可根據(jù)實際情況，選取LC接口或MPO接口作為連接，主干預留的布線冗余量完全滿足將來的傳輸需求。

光纖介質(zhì)和傳輸距離-行業(yè)標準 表3

光纖介質(zhì)和傳輸距離-存儲標準 表4

項目中充分考慮了網(wǎng)絡(luò)的升級和冗余路由，通過敷設(shè)24芯及以上的光纖光纜作為水平和主干連接，故在HDA/IDA/MDA處匯聚了較多的光纖光纜，若采用傳統(tǒng)72芯光纖配線架將占用大量機柜空間。本項目設(shè)計時對多套產(chǎn)品方案進行了比較，最終選用了超高密度(UHD)的光纖配線架來節(jié)省機柜空間。超高密度光纖配線架在1U空間內(nèi)可安裝12個12芯MPO-LC模塊，實現(xiàn)144芯的LC接口安裝密度，是傳統(tǒng)72芯光纖配線架密度的兩倍，若接口改成MPO時，則可以實現(xiàn)最高864芯光纖對接。

在EDA實施時，頂部安裝機架提供了4U安裝空間，UHD光纖配線架僅占用頂部安裝機架1U空間，留有2U空間做銅纜的端接，還預留了1U空間。

4 結(jié)束語

本項目在設(shè)計規(guī)劃和實施過程中，依據(jù)、參照了國內(nèi)外最高等級的標準，并總結(jié)了以往項目的寶貴經(jīng)驗，才得以確保項目的順利實施。在設(shè)計和實施的過程中，總結(jié)可取的經(jīng)驗如下，以供同仁參考。

(1)標準是布線設(shè)計的根本，遵循標準設(shè)計，充分考慮冗余，才能保障數(shù)據(jù)中心的整體可用性。

(2)采用靈活的結(jié)構(gòu)化布線架構(gòu)和高等級的布線系統(tǒng)可充分利用寶貴的機房空間。

(3)設(shè)計布線等級選型時應充分考慮網(wǎng)絡(luò)的發(fā)展，為未來網(wǎng)絡(luò)升級做好準備，實現(xiàn)對投資的保護。