李 興

一、數(shù)據(jù)中心授時需求

目前，數(shù)據(jù)中心云平臺分布式計算，為使系統(tǒng)間協(xié)同處理復(fù)雜事件，以及增量備份，設(shè)計上均標配時鐘服務(wù)器。但在數(shù)據(jù)中心暖通、電氣、消防、智能化等基礎(chǔ)設(shè)施層面，不同專業(yè)大量的各類設(shè)備，授時的統(tǒng)一規(guī)劃幾乎空白，常常是以手工修改各類設(shè)備的時間，既存在工作量大，也根本無法保證精確性，為數(shù)據(jù)中心故障判定，日志查詢造成了很大困惑。

（一）社會發(fā)展與時鐘的關(guān)系

時間的準確程度一定程度上代表了社會效率，從日出而作日落而息，到日晷、沙漏、手表等人類對時間的計量方法，再到網(wǎng)絡(luò)對時，時間與人的關(guān)系也逐漸由人與自然，逐步發(fā)展到人與機器、機器與機器協(xié)作等各種復(fù)雜的關(guān)系，精準性越發(fā)重要。在數(shù)據(jù)中心，隨著計算倍增，分布式計算服務(wù)對時間的要求也越來越高。

（二）IEC 61850規(guī)范

隨著分布式能源、儲能系統(tǒng)和無人電力系統(tǒng)蓬勃發(fā)展，電網(wǎng)變得更加復(fù)雜，實時管理電力調(diào)度越來越困難，由此電力系統(tǒng)的IEC 61850規(guī)范應(yīng)運而生[1]，它將時間性能劃分為T1到T5五個等級?，F(xiàn)階段，數(shù)據(jù)中心在基礎(chǔ)設(shè)施設(shè)計、建設(shè)、運維等各個階段均對授時未涉及，從業(yè)者對統(tǒng)一授時的認識嚴重不足，在此引薦IEC 61580規(guī)范供數(shù)據(jù)中心研究應(yīng)用。

二、NTP授時原理

時間同步也稱為“授時”，是衛(wèi)星導(dǎo)航系統(tǒng)的兩大免費功能之一（另一個是導(dǎo)航定位），導(dǎo)航衛(wèi)星上一般裝有2—3座原子鐘，提供精度較高的基準時間，精度約為20納秒。授時常有短波、長波、網(wǎng)絡(luò)、電話、衛(wèi)星授時等多種分類[2]。

網(wǎng)絡(luò)授時分為廣域網(wǎng)授時和局域網(wǎng)授時。廣域網(wǎng)授時精度受限于路由路徑選擇時延，局域網(wǎng)授時精度可達亞毫秒。

（一）NTP授時原理

NTP由RFC 1305定義，在分布式時間服務(wù)器和客戶端進行時間同步的協(xié)議，默認UDP協(xié)議123端口。

網(wǎng)絡(luò)時間按照NTP服務(wù)器等級進行傳播，根據(jù)離基準時間的遠近將不同服務(wù)器歸納到不同的層中（Stratum），單個Stratum層的總數(shù)限制在15。0層表示高精度設(shè)備，例如原子鐘、GPS時鐘等；1層設(shè)備和0層設(shè)備相連，誤差僅為微秒，2層設(shè)備和1層設(shè)備通過網(wǎng)絡(luò)相連，依此類推……

（二）NTP工作模式

NTP可分為客戶端/服務(wù)器、對等體、廣播、組播等多種模式。當可以確定NTP服務(wù)器或?qū)Φ润wIP地址時，一般采用客戶端/服務(wù)器模式和對等體模式，設(shè)備從指定服務(wù)器或?qū)Φ润w獲得時鐘，增加了時鐘的可靠性。

（三）時間的平滑同步與跳變

NTP命令是平滑同步，在與時間服務(wù)器同步過程中，會把BIOS計時器的晶振頻率偏差記錄下來，即使失去網(wǎng)絡(luò)同步源，計算機仍然能維持一個精確的走時。而Ntpdate是立即同步，調(diào)整方式是跳變，這會使時間變快或變慢，從而導(dǎo)致依賴時序的程序出錯，可能會出現(xiàn)兩個相同時刻，對以線性時間為前提的操作和程序是致命的，生產(chǎn)環(huán)境中要慎用[3]。

三、園區(qū)授時資源和協(xié)議

北斗云公共服務(wù)區(qū)配置一臺BTS200時鐘服務(wù)器，標配NTP以太接口、RS485、IRIG-B、TTL脈沖等接口。另一臺電力監(jiān)控時鐘服務(wù)器，支持 61850/104規(guī)約，通過國網(wǎng)電科院實驗驗證中心和國電公司自動化設(shè)備電磁兼容實驗室檢測。

電氣設(shè)備接口有RS485和Eth兩種，暖通設(shè)備則以RS485接口居多，能否實現(xiàn)時鐘同步，一要看協(xié)議對接開發(fā)，二要看技術(shù)協(xié)議中是否有明確要求。消防系統(tǒng)現(xiàn)階段各設(shè)備均為手動校時，如有時鐘同步需要，另須規(guī)劃專用時鐘同步方案。

四、系統(tǒng)設(shè)置

數(shù)據(jù)中心服務(wù)器操作系統(tǒng)Linux，受RedHat戰(zhàn)略調(diào)整和國產(chǎn)化意識的不斷增強，Linux操作系統(tǒng)以銀河麒麟等國產(chǎn)操作系統(tǒng)應(yīng)用逐漸成為主流。

（一）Windows客戶端

ntp.org組織推薦使用的Meinberg，其NTP Deamon的運行狀態(tài)有INIT、LOCL、DFC、PPS幾種類型。INIT表示未成功連接NTP服務(wù)器，LOCL表示成功連接本地時鐘，DCF表示成功連接DCF時鐘設(shè)備，PPS表示成功連接PPS時鐘設(shè)備。

（二）Linux系統(tǒng)

國產(chǎn)操作系統(tǒng)銀河麒麟是以 Ubuntu操作系統(tǒng)作為母版進行二次開發(fā)，timedatectl/timesyncd從Ubuntu16.04開始使用，而不是常用的ntpdate/ntp。

Chrony由chronyd和chronyc組成。chronyd用于調(diào)整系統(tǒng)時鐘和時鐘服務(wù)器同步。chronyc用于監(jiān)控性能。NTP 通過UDP123端口進行網(wǎng)絡(luò)時鐘同步，而chrony服務(wù)監(jiān)聽UDP的323端口。主配置文件為/etc/chrony.conf，客戶端為/usr/bin/chronyc，服務(wù)端為/usr/sbin/chronyd。

ntpdate和timedatectl都是命令行工具，允許查看或者修改系統(tǒng)的時間和日期，timedatectl用于替代date命令，在查閱文檔資料或?qū)嶋H操作時注意加以區(qū)分。

1.服務(wù)端設(shè)置

（三）冗余配置

Windows系統(tǒng)和一些設(shè)備和錄像機只支持單一地址指向，路由器交換機等則支持多地址指向。

1.Windows系統(tǒng)

設(shè)置多同步時間源，一種是在注冊表中修改，繁瑣不推薦，另一種方法是用ntp軟件，實現(xiàn)多個時間源之間的配置，簡單實用。

2.Linux系統(tǒng)

把一個授時服務(wù)器多個物理端口的多個IP地址或多臺授時服務(wù)器，采用DNS，Keepalived,Lvs等技術(shù)方法做成集群，使客戶端便捷使用冗余授時，但受限在云平臺側(cè)部署。

（四）交換機配置

時間同步子網(wǎng)由主時間、二級時間服務(wù)器，PC客戶端等組成。主時間服務(wù)器同步到衛(wèi)星定位時鐘，二級時間服務(wù)器通過網(wǎng)絡(luò)中的主時間服務(wù)器取得同步；層數(shù)（stratum），是對時鐘同步情況的分級標準，取值范圍1～16，值越小精確越高[4-5]。

1.主時鐘交換機

核心交換機的本地時鐘作為NTP主時鐘，接入和匯聚交換機和核心交換機之間采用單播NTP服務(wù)器/客戶端模式。

2.客戶端交換機

配置Switch之間路由可達，查看接入、匯聚交換機的NTP狀態(tài)，可以看到時鐘狀態(tài)為“synchronized”說明已經(jīng)完成同步，層數(shù)為3，比服務(wù)器核心交換機低1級。

五、授時方案

二期智能化系統(tǒng)，在云平臺公共區(qū)部署DCIM、存儲、環(huán)境監(jiān)控電力監(jiān)控服務(wù)器。BA、安防服務(wù)器均為實體服務(wù)器。燃油自控、柴發(fā)并機、蓄電池監(jiān)控等子系統(tǒng)和變壓器、UPS、配電柜、直流屏、ATS等電力采集單元通過智能化網(wǎng)數(shù)據(jù)接入電力監(jiān)控系統(tǒng)；空調(diào)、AHU、漏水、加濕器、溫濕度等環(huán)境采集單元通過智能化網(wǎng)數(shù)據(jù)接入環(huán)境監(jiān)控系統(tǒng)；視頻監(jiān)控、門禁系統(tǒng)、入侵報警、冷機群控、暖通自控等子系統(tǒng)通過智能化網(wǎng)數(shù)據(jù)接入DCIM系統(tǒng)平臺。

（一）授時原則

智能化不僅要接入暖通、電力、消防等各專業(yè)子系統(tǒng)，也要接入各類型前端采集器，要充分調(diào)研被授時設(shè)備的接口類型、協(xié)議，在授時規(guī)劃上要評估重要程度，既要突出重點也要保留子系統(tǒng)的系統(tǒng)性，還需從時鐘服務(wù)器的資源承載量等各方面統(tǒng)籌規(guī)劃，分出層級，切忌貪全求大，導(dǎo)致費用增加，協(xié)調(diào)難度加大。

（二）授時劃分

1.監(jiān)控服務(wù)器

環(huán)境監(jiān)控、DCIM與云平臺公共服務(wù)區(qū)BTS200授時服務(wù)器時鐘同步，電力監(jiān)控服務(wù)器與ATS1000時鐘同步。

環(huán)境監(jiān)控系統(tǒng)，前端采集器AU及接入的子系統(tǒng)均與環(huán)境監(jiān)控服務(wù)器時鐘同步。二期智能化網(wǎng)內(nèi)門禁一體機、門禁控制器、安防系統(tǒng)攝像頭、入侵報警器，DDC、BA服務(wù)器、安防系統(tǒng)等服務(wù)器與DCIM系統(tǒng)時鐘服務(wù)器同步。

2.電力監(jiān)控系統(tǒng)

電力監(jiān)控系統(tǒng)數(shù)據(jù)接入燃油自控、柴發(fā)并機、蓄電池監(jiān)控等子系統(tǒng)和變壓器、UPS、配電柜、直流屏、ATS等電力采集單元。

基于電力監(jiān)控在數(shù)據(jù)中心的重要性、保持延續(xù)性，一期已部署的ATS1000時鐘服務(wù)器為電力監(jiān)控系統(tǒng)專用授時。園區(qū)一、二期電力監(jiān)控系統(tǒng)歸屬的子系統(tǒng)和電力采集單元，含前端采集器如AU與電力監(jiān)控服務(wù)器時鐘同步；高壓綜保儀表通過RS485接口ModbusRTU協(xié)議接入電力監(jiān)控系統(tǒng)AU采集器，監(jiān)控系統(tǒng)需根據(jù)高壓綜保ModbusRTU協(xié)議定制開發(fā)，實現(xiàn)AU采集器對高壓綜保儀表的授時；部署在云平臺的2臺電力監(jiān)控服務(wù)器與ATS1000時鐘同步。

3.智能化網(wǎng)

智能化網(wǎng)核心交換機為主時鐘服務(wù)器（2級），同步云平臺公共服務(wù)區(qū)BTS200授時服務(wù)器，BTS200的2個IP地址區(qū)分優(yōu)先級，智能化網(wǎng)中匯聚交換機、接入交換機（3級）。

辦公網(wǎng)配置同智能化網(wǎng)，網(wǎng)內(nèi)AP、AC等與辦公網(wǎng)核心交換機時鐘同步。

結(jié)語

數(shù)據(jù)中心建設(shè)在東數(shù)西算的大背景下，建設(shè)上得到了巨大發(fā)展，但如授時的規(guī)劃等方面，無論是設(shè)計還是總包單位，均未能引起重視，給數(shù)據(jù)中心運營造成了一定的影響。數(shù)據(jù)中心的建設(shè)工程師們，要善于從數(shù)據(jù)中心運營角度出發(fā)，充分吸收其他行業(yè)建設(shè)成果，在工作中注重探索總結(jié)，促進技術(shù)的創(chuàng)新應(yīng)用，推動數(shù)據(jù)中心標準化規(guī)范化建設(shè)。