張曉艷 高星辰

中國移動通信集團江蘇有限公司南京分公司

0 引言

伴隨著移動互聯(lián)網(wǎng)發(fā)展的熱潮，超大型數(shù)據(jù)中心日益增多，如何趁勢而上，領(lǐng)航新基建，做最智慧的數(shù)據(jù)中心值得我們不斷探索。筆者以規(guī)模大于等于10000 個標準機架的數(shù)據(jù)中心（標準機架為換算單位，以功率2.5千瓦為一個標準機架），也就是《國務(wù)院關(guān)于加快培育和發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)的決定》中超大型數(shù)據(jù)中心的智能化系統(tǒng)為例。總結(jié)智能化系統(tǒng)在維護優(yōu)化過程中的經(jīng)驗，探討智能化系統(tǒng)圍繞“自動、可靠、節(jié)能、智慧”的運維目標，在規(guī)劃、建設(shè)及運維等環(huán)節(jié)需要關(guān)注的要點。

1 數(shù)據(jù)中心智能化系統(tǒng)架構(gòu)

1.1 系統(tǒng)架構(gòu)

超大型數(shù)據(jù)中心的智能化系統(tǒng)一般是由基礎(chǔ)設(shè)施管理系統(tǒng)（DCIM 系統(tǒng)）及多個監(jiān)控子系統(tǒng)組成，各監(jiān)控子系統(tǒng)獨立運行。監(jiān)控子系統(tǒng)通?？煞譃閯迎h(huán)監(jiān)控系統(tǒng)、空調(diào)群控系統(tǒng)、智能配電系統(tǒng)、安防系統(tǒng)、視頻系統(tǒng)、消防系統(tǒng)等。

DCIM 系統(tǒng)因數(shù)據(jù)中心大型化、規(guī)?；?、智能化發(fā)展需求及客戶管理需求，逐漸成為超大型數(shù)據(jù)中心的標準配置。DCIM 系統(tǒng)數(shù)據(jù)來源與各監(jiān)控子系統(tǒng)。各類客戶自有監(jiān)控平臺提出的基礎(chǔ)設(shè)施對接需求，也會通過DCIM 系統(tǒng)統(tǒng)一對接，減少各監(jiān)控子系統(tǒng)接口對接工作量。如圖1 所示。

圖1 超大型數(shù)據(jù)中心智能化系統(tǒng)框架

1.2 系統(tǒng)接口

各監(jiān)控子系統(tǒng)與管理系統(tǒng)間接口多樣，具體如圖2 所示。

圖2 超大型數(shù)據(jù)中心系統(tǒng)間接口

一種方案是按照數(shù)據(jù)庫對接的方式，采用C/S 體系結(jié)構(gòu)，在監(jiān)控服務(wù)器上提供一個套接字接口，運營商常用此種方案。第二種方案是采用SNMP 協(xié)議，統(tǒng)一的報文結(jié)構(gòu)和字段發(fā)送數(shù)據(jù)，互聯(lián)網(wǎng)公司常用此種方案。

數(shù)據(jù)庫對接是將數(shù)據(jù)匯集后統(tǒng)一傳送；而SNMP 則是分散傳送、分散接收，且支持主動報送，所以snmp 更適合數(shù)據(jù)量大且實時性要求高的場景，在實測中數(shù)據(jù)庫對接告警延時在10-20 秒左右，SNMP 對接告警延時3 秒以內(nèi)。

1.3 組網(wǎng)結(jié)構(gòu)

超大型數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)，按照架構(gòu)分層清晰、故障處理方便、單點故障不影響整體運行的原則進行統(tǒng)一規(guī)劃及建設(shè)。樓層弱電間放置的上百臺盒式交換機應(yīng)盡可能減少路由配置，端口隔離可通過二層VLAN 隔離。

在保證安全的前提下，考慮數(shù)據(jù)中心智能化系統(tǒng)的遠程訪問及維護，需要將安全控制系統(tǒng)同步規(guī)劃及建設(shè)。若需實現(xiàn)CMNET 網(wǎng)絡(luò)訪問及操作內(nèi)網(wǎng)設(shè)備功能，需規(guī)劃建設(shè)4A 平臺或堡壘機，做到操作留痕。若僅訪問頁面數(shù)據(jù)，可規(guī)劃建設(shè)WAF 應(yīng)用防火墻及入侵檢測系統(tǒng)。如圖3 所示。

日本精工株式會社（NSK）成立于1916年，是日本國內(nèi)第一家設(shè)計生產(chǎn)軸承的廠商。目前NSK在全球26個國家和地區(qū)建立了銷售網(wǎng)絡(luò)，并擁有近70家工廠，行業(yè)排名位居世界前列。恩斯克投資有限公司是NSK的中國總部，全權(quán)負責(zé)中國大陸及中國香港的生產(chǎn)、技術(shù)研發(fā)與銷售營運。目前NSK在中國設(shè)立的生產(chǎn)、研發(fā)、銷售公司及子公司已達20多家，遍及中國各地。

圖3 園區(qū)網(wǎng)絡(luò)結(jié)構(gòu)

2 智能化系統(tǒng)運維優(yōu)化探討

2.1 安防系統(tǒng)

超大型數(shù)據(jù)中心因占地面積大，室外蓄冷罐、油庫等設(shè)備數(shù)量多，蓄冷罐登高安全及油庫防火安全成為園區(qū)重點安防對象，在具備傳統(tǒng)的門禁和視頻功能外，還需考慮在室外及公共區(qū)域增加入侵報警、電子巡更、停車管理等，從而建立多功能、全方位、立體化、有保障的安防管理體系。

超大型數(shù)據(jù)中心在分批建設(shè)的時候，門禁卡要保持識別方式的統(tǒng)一，避免多張門禁導(dǎo)致的維護不便。相較非接觸射頻ID 卡及IC 卡，統(tǒng)一使用具備加密功能的IC 卡更優(yōu)。隨著卡片復(fù)制技術(shù)的發(fā)展，出于安全考慮，建議合并使用生物識別技術(shù)。所以超大型數(shù)據(jù)中心建議采用“卡片+生物識別”的模式可提升管理安全性。為了實現(xiàn)園區(qū)內(nèi)集中授權(quán)及管理，建議門禁設(shè)備支持TCP/IP 通信協(xié)議。如表1 所示。

表1 識別方式對比

2.2 視頻監(jiān)控系統(tǒng)

視頻監(jiān)控系統(tǒng)一般公共區(qū)域會歸于安防，機房內(nèi)會歸于動環(huán)監(jiān)控。針對不同場景及安保等級，視頻監(jiān)控存儲目前主要有以下三種模式

圖4 本地NVR 存儲模式

圖5 管理服務(wù)器+存儲設(shè)備模式

圖6 視頻云存儲模式

超大型數(shù)據(jù)中心攝像頭數(shù)量多、存儲需求大。對于輪巡及回放要求不高的數(shù)據(jù)機房及電力室，可考慮NVR 本地存儲；而對于公共區(qū)域及機房出入口等重點安保場所，需724時值班監(jiān)控的區(qū)域，可考慮管理服務(wù)器。

2.3 動環(huán)監(jiān)控系統(tǒng)

圖7 區(qū)域監(jiān)控中心（LSC）雙機冗余架構(gòu)

2.4 配電監(jiān)控系統(tǒng)

傳統(tǒng)的配電監(jiān)控系統(tǒng)一般用于監(jiān)控高低壓配電設(shè)備、變壓器及電容器等運行狀態(tài)，允許通過遠程的方式遙控開關(guān)、變壓器檔位，對保護故障進行復(fù)歸。因?qū)Π踩?、響?yīng)及保密要求更高，配電監(jiān)控系統(tǒng)使用專用協(xié)議，配置單獨的管理型工業(yè)以太網(wǎng)交換機，網(wǎng)絡(luò)也需要物理隔離。

超大型數(shù)據(jù)中心的配電監(jiān)控可在負荷搬運、一鍵處理等自動化方面進行拓展。具備負載投退通過調(diào)整開關(guān)動作次序減少負載對電源側(cè)的沖擊；外市電停電時根據(jù)業(yè)務(wù)負載功率啟動與之匹配的柴油發(fā)電機組數(shù)量，縮短故障應(yīng)急時間；針對不同事件場景，通過預(yù)先設(shè)計的程序，實現(xiàn)一鍵處理等功能。

2.5 空調(diào)群控系統(tǒng)

空調(diào)群控系統(tǒng)（BA 系統(tǒng)）以BACnet、modbus 等協(xié)議采樣設(shè)備信息。系統(tǒng)不僅能實現(xiàn)告警監(jiān)控，還能實現(xiàn)設(shè)備的自動化最優(yōu)配置，達到精確供冷及節(jié)能的目標。具備根據(jù)濕球溫度自動選擇自然冷源或機械制冷；根據(jù)溫差自動控制冷凍泵、冷卻塔風(fēng)扇頻率；根據(jù)出水溫度選擇與負載匹配的風(fēng)扇、水泵及冷機開啟數(shù)量等功能。

由于冷源集中化，任何一套制冷單元異常，都會影響園區(qū)內(nèi)多個機房甚至多個樓宇供冷。需確保PLC 設(shè)備的質(zhì)量、自保持功能、就地操作控制箱等措施提升安全性。

另外建議控制器電源輸入配置STS（靜態(tài)轉(zhuǎn)換開關(guān)），避免單電源引起的故障；采用環(huán)網(wǎng)網(wǎng)絡(luò)架構(gòu)，避免單點故障。

2.6 消防系統(tǒng)

超大型數(shù)據(jù)中心每棟樓宇消防系統(tǒng)（消防告警、消防滅火、災(zāi)后通風(fēng)）等隨土建一次性完成，而機房工程分批建設(shè)。所以在后續(xù)建設(shè)過程中，經(jīng)常會忽略機房門禁、微模塊天窗及列間空調(diào)與消防系統(tǒng)之間的聯(lián)動，存在安全隱患。

建議消防系統(tǒng)按照防火分區(qū)預(yù)留強切輸出口，接線端子布放到對應(yīng)消防分區(qū)內(nèi)，后續(xù)機房工程被切設(shè)備再從接線端子接線。

2.7 DCIM 管理系統(tǒng)

數(shù)據(jù)中心基礎(chǔ)設(shè)施管理系統(tǒng)（DCIM 系統(tǒng)）通過采集動環(huán)監(jiān)控、智能配電、空調(diào)群控、安防、視頻、消防等監(jiān)控子系統(tǒng)的數(shù)據(jù)進行大數(shù)據(jù)分析處理，實現(xiàn)對數(shù)據(jù)中心的智能運維管理。主要功能模塊有容量管理、能耗管理、上下架管理、告警分級及收斂、智能巡檢、設(shè)備健康度管理等。

對于電力和制冷容量管理來說，在設(shè)計階段就要考慮未來管理的顆粒度，智能設(shè)備越多，監(jiān)控點位越多，系統(tǒng)就越復(fù)雜。為了準確測量機柜的功耗，需要通過智能PDU 或者具備分路電流采集的列頭柜采集該機柜的輸入電流和輸入電壓；為了準確計算PUE，則需要采集市電輸入總電能和IT 用電功耗；為了合理控制容量風(fēng)險指導(dǎo)設(shè)備上下架，需具備需量計算功能，呈現(xiàn)實時值、平均值及峰值，還需要機柜級、列頭柜（或者微模塊）級各層級的容量數(shù)據(jù)協(xié)同管理。為了準確計算冷水機組的COP，則需要測量冷凍水流量、供回水溫度和機組功耗。所以，容量管理是一個沒有“標準答案”的模塊，需要建設(shè)和維護團隊根據(jù)數(shù)據(jù)中心的定位，做好規(guī)劃，良好的硬件及數(shù)據(jù)采集的支持才能實現(xiàn)各類功能。

超大型數(shù)據(jù)中心告警收斂功能尤為重要。告警收斂是在停電或開關(guān)跳閘的大量告警中，根據(jù)上下級設(shè)備邏輯管理，參考各類事件測試告警清單，通過算法篩選過濾無關(guān)數(shù)據(jù)，提示維護人員處理源頭問題的功能。

3 優(yōu)化應(yīng)用實例

筆者對超大型數(shù)據(jù)中心智能化系統(tǒng)及組網(wǎng)進行了優(yōu)化改造，通過優(yōu)化安防系統(tǒng)、動環(huán)監(jiān)控系統(tǒng)、智能配電系統(tǒng)、空調(diào)群控系統(tǒng)以及各系統(tǒng)之間的組網(wǎng)，提升了維護的便利性及安全性。部分系統(tǒng)優(yōu)化改造前后對比情況如表2 所示。

表2 改造實例

4 結(jié)束語

通過對超大型數(shù)據(jù)中心智能化系統(tǒng)及組網(wǎng)的運維優(yōu)化，提升了智能化系統(tǒng)使用的便利性及安全性，挖潛智能化系統(tǒng)的潛能。通過運維優(yōu)化探討，從運維前置的角度，幫助數(shù)據(jù)中心建設(shè)隊伍更好地把握智能化系統(tǒng)建設(shè)要點。功能豐富、高可靠性的智能化系統(tǒng)，必將成為超大型數(shù)據(jù)中心運維人員重要的助手，發(fā)揮重要的作用。