龔光華,李鴻明

(清華大學 工程物理系,粒子技術(shù)與輻射成像教育部重點實驗室,北京 100084)

基于光纖以太網(wǎng)的高精度分布式授時技術(shù)

龔光華,李鴻明

(清華大學 工程物理系,粒子技術(shù)與輻射成像教育部重點實驗室,北京 100084)

White Rabbit(WR)時鐘同步技術(shù)是綜合了同步以太網(wǎng)、精密定時協(xié)議(IEEE1588 v2)和數(shù)字相位測量技術(shù)而發(fā)展的分布式同步授時技術(shù),能夠?qū)崿F(xiàn)數(shù)千米范圍內(nèi)多節(jié)點亞納秒精度的時鐘分發(fā)。該技術(shù)兼容標準以太網(wǎng)協(xié)議,不占用額外網(wǎng)絡帶寬,與數(shù)據(jù)鏈路直接集成,結(jié)構(gòu)簡單成本低。介紹了White Rabbit技術(shù)的基本技術(shù)原理及初步應用方法,并給出了各種拓撲結(jié)構(gòu)下的測試結(jié)果。采用White Rabbit能很好地解決各種長距離多節(jié)點高精度授時需求,能夠作為地基增強導航系統(tǒng)的關鍵支撐技術(shù)。

分布式同步;分布式授時;同步以太網(wǎng);White Rabbit

0 引言

時間統(tǒng)一[1]和分布式授時系統(tǒng)[2]在電信、電力系統(tǒng)、交通運輸、金融等國防建設和國民經(jīng)濟相關領域有著廣泛需求,已經(jīng)發(fā)展出了基于衛(wèi)星導航系統(tǒng)、路基無線電系統(tǒng)及有線授時等多種手段[3]。

在科學研究領域也面臨著在多節(jié)點的精確時間同步要求。面對大型粒子加速裝置控制和大規(guī)模高海拔宇宙線觀測實驗[4]的要求,開發(fā)了一種基于光纖以太網(wǎng)技術(shù)的高精度分布式授時技術(shù)(White Rabbit技術(shù)，WR技術(shù))[5],能夠在寬廣的空間距離(lt;10km)實現(xiàn)上萬個節(jié)點間的亞納秒精度時間同步[6-7]。該方法可有效應用于長距離多節(jié)點高精度授時場合,還廣泛應用于分布式網(wǎng)絡測控[14]、時間統(tǒng)一系統(tǒng)[1]、工業(yè)自動化控制、分布式基站和遠端射頻系統(tǒng)[11]、電力電網(wǎng)同步、自適應陣列天線、多基地雷達、室內(nèi)定位等多種場合。

1 WR高精度實時同步以太網(wǎng)技術(shù)

WR綜合了同步以太網(wǎng)、PTP精密時鐘協(xié)議和數(shù)字鑒相技術(shù)等多項成熟技術(shù)。同步以太網(wǎng)(Synchronous Ethernet,Sync-E)保證在全網(wǎng)絡內(nèi)所有的時鐘都以共同的頻率運行,即時鐘諧振;PTP精密時鐘協(xié)議(IEEE 1588)[8]是標準化高精度網(wǎng)絡時鐘同步協(xié)議,但是受限于時鐘的周期,其同步精度不可能優(yōu)于時間周期;數(shù)字鑒相器通過測量時鐘的相位,從而提高系統(tǒng)的精度,使系統(tǒng)的同步精度達到亞納秒級。

1.1 WR網(wǎng)絡拓撲結(jié)構(gòu)

WR完全兼容標準千兆以太網(wǎng)協(xié)議,具有低成本、高帶寬、高可靠性和靈活拓撲結(jié)構(gòu)等特點。WR同步網(wǎng)絡主要包含三部分:外部參考時鐘源、WR交換機和WR節(jié)點。一個典型的WR網(wǎng)絡拓撲結(jié)構(gòu)如圖1所示[5]。

圖1 White Rabbit同步網(wǎng)絡拓撲結(jié)構(gòu)Fig.1 Topology of White Rabbit synchronized network

WR交換機完成時鐘的跨界同步,類似于PTP協(xié)議中定義的邊界時鐘(boundary clock),一方面作為從時鐘與上級時鐘進行同步,另一方面作為主時鐘與下級時鐘進行同步。WR時鐘同步過程包含兩部分,一是頻率同步,二是表征絕對時刻信息的時間同步,頻率同步是通過同步以太網(wǎng)技術(shù)實現(xiàn)的,PTP協(xié)議和DDMTD實現(xiàn)了納秒級時間同步。

在WR網(wǎng)絡中,所有節(jié)點的時鐘最終都溯源同步到外參考時鐘。簡單應用中,可以使用頂層交換機的內(nèi)部振蕩器和時間信息作為全網(wǎng)絡參考頻率和參考時間;而高精度應用中,可以使用獨立的外部參考時鐘,例如使用銣原子鐘或銫原子鐘作為外部頻率參考,使用GPS/北斗接收器或長短波授時裝置作為外部時間參考,既能提高WR網(wǎng)絡內(nèi)頻率與時間信息的精度,也提供了多個WR網(wǎng)絡間同步的手段。

1.2 IEEE 1588精密時鐘協(xié)議

精確時鐘協(xié)議(PTP)是為本地網(wǎng)絡設計的(IEEE 1588)標準化高精度時鐘協(xié)議,其主要目的是在以太網(wǎng)中實現(xiàn)微秒級的同步精度。與專用時鐘同步系統(tǒng)不同,PTPv2的定時鏈路與系統(tǒng)的數(shù)據(jù)鏈路復用,避免為定時功能增加額外通信鏈路的開銷。PTPv2定義了一種主從結(jié)構(gòu)的時鐘同步網(wǎng)絡,即所有從節(jié)點的本地時鐘需要與其參考的主節(jié)點時鐘同步。這種點對點的時鐘同步通過交換帶有時間戳的網(wǎng)絡包實現(xiàn),如圖2所示。

·主端周期性發(fā)送SYNC報文,記錄發(fā)送時刻為t1,并將此t1時間戳通過FOLLOWUP報文發(fā)送給從端;

·從端接收SYNC報文,并記錄接收時間為t2,從端接收FOLLOWUP報文,獲得t1時間戳;

·從端發(fā)送DELAY_REQ報文,并記錄本地發(fā)送時刻t3;

·主端接收DELAY_REQ報文,記錄接收時刻t4,并通過DELAY_RESP報文發(fā)送給從端;

·從端接收DELAY_RESP報文,獲得t4時間戳,利用t1、t2、t3、t4計算出主從端的時間差,并調(diào)整本地的時間。

圖2 PTP同步機制Fig.2 PTP synchronization protocol

可以看出,PTP時鐘同步的準確度很大程度上取決于4個時間戳的準確度。然而在以太網(wǎng)中包傳輸?shù)难訒r并不是確定的,應用程序、操作系統(tǒng)或網(wǎng)卡均有可能引入不確定的延時,從而降低時間戳的準確度。因此若要獲得較高精度的同步結(jié)果,時間戳需要在網(wǎng)絡物理層處理。即使如此,PTP也很難實現(xiàn)亞納秒級的時鐘同步,其局限性主要體現(xiàn)在:

1)所有節(jié)點的時鐘都是獨立運行的,各自的振蕩器頻率存在一定偏差,為了避免主從節(jié)點出現(xiàn)較大的時間偏差,同步報文交換的頻率必須足夠高以及時補償偏差,這給通信鏈路帶來了較大的負荷。

2)主從時鐘的偏差是基于時間戳計算的,其精度受限于時間戳的分辨率。例如千兆以太網(wǎng)的鏈路驅(qū)動時鐘頻率為125MHz,其時間分辨僅為8ns。

3)未考慮傳輸介質(zhì)的非對稱性,假設收發(fā)鏈路是完全對稱的。

WR在完全兼容PTPv2協(xié)議的基礎上,采用物理層時鐘分布技術(shù)、全數(shù)字雙混頻鑒相器以及WR同步鏈路模型分別克服以上三點局限性,將同步準確度提升至亞納秒級[13]。

1.3 物理層時鐘分布技術(shù)

WR基于千兆以太網(wǎng)物理層實現(xiàn)時鐘分布。物理層時鐘分布的原理與SONET/SDH的頻率分布機制相同,將時鐘信號編碼至物理層后通過通信鏈路分布給其他節(jié)點,Sync-E就是物理層時鐘分布的一個典型應用,如圖3所示。在標準以太網(wǎng)中,各個節(jié)點的時鐘都是獨立運行的。而在同步以太網(wǎng)中,所有節(jié)點構(gòu)成一個時鐘網(wǎng)絡拓撲結(jié)構(gòu),子節(jié)點或子交換機從數(shù)據(jù)鏈路中恢復出時鐘,并經(jīng)過從節(jié)點內(nèi)部的PLL,以消除時鐘恢復電路引起的抖動(jitter)。該恢復出來的時鐘既是從節(jié)點的系統(tǒng)時鐘,也作為下一級節(jié)點的參考時鐘。這樣整個網(wǎng)絡的所有節(jié)點的時鐘頻率都與主節(jié)點時鐘頻率精確同步(±10-11的長期準確度)[12]。

這種頻率分布技術(shù)的優(yōu)點在于時鐘信息是編碼在數(shù)據(jù)中發(fā)送的,不占用鏈路帶寬;成本低,無論是FPGA的高速串行收發(fā)器還是串并轉(zhuǎn)換芯片都能夠?qū)崿F(xiàn)時鐘恢復功能;該技術(shù)的可靠性和穩(wěn)定性已在SONET/SDH的應用中得到驗證。

圖3 普通以太網(wǎng)與同步以太網(wǎng)的對比Fig.3 Compare between standard and Sync-E

1.4 WR同步鏈路模型

WR主從節(jié)點的同步鏈路如圖4所示,往返鏈路的總延時可以看作由三部分組成:

·主從節(jié)點收發(fā)電路的硬件延時(ΔTXM,ΔRXM,ΔTXS,ΔRXS),包括FPGA內(nèi)部邏輯的確定性延時、FPGA內(nèi)部走線延時、PCB走線延時、高速串行收發(fā)器以及光纖收發(fā)器的延時,這部分延時可以認為是相對固定的;

·比特位滑動(bit slide)延時(εM,εS),這是由于串并轉(zhuǎn)換電路在進行字對齊操作時引起的比特位滑動,這部分延時在光纖鏈路建立連接后保持不變,可以在每一次鏈路建立后通過BitSlide狀態(tài)機自動獲取;

·光纖鏈路傳輸延時(δMS,δSM),這部分延時對溫度波動非常敏感,需要實時刻度并補償。

WR往返鏈路的總延時可以表示為:

delayMM=δMS+δSM+Δ+εM+εS

其中,Δ=ΔTXM+ΔRXS+ΔTXS+ΔRXM。

當鏈路建立后,主端可以通過PTP協(xié)議獲得鏈路總延遲,并通過上述公式計算出往返光纖鏈路的延時為

δMS+δSM=delayMM-(Δ+εM+εS)

為了精確計算光纖鏈路的單向延時,需要考慮光纖鏈路的不對稱性。WR使用一根單模光纖連接主從節(jié)點,采用波分復用技術(shù)(Wavelength Division Multiplexing, WDM)實現(xiàn)全雙工通信,主節(jié)點發(fā)出的光的波長為1490nm,從節(jié)點發(fā)出的光的波長為1310nm。使用波分復用技術(shù)可以節(jié)約成本,但是更重要的在于單根光纖里的往返鏈路長度完全一致,延時不對稱性完全由不同波長的光在光纖中的折射率決定。WR定義了光纖非對稱系數(shù)α,其表達式為

n1490和n1310為兩種波長的光纖折射率,由于不同廠家生產(chǎn)的光纖的折射率略有差別,需要在實驗室提前對光纖的非對稱系數(shù)進行標定。

由光纖的非對稱性可以計算出主從鏈路的單向總延時為

delayMS=δMS+ΔTXM+ΔRXM+εS

ΔTXM+ΔRXS+εS

進一步可以計算可知主從時鐘的偏差為

offsetMS=t1-t2p+delayMS+ΔTXM+ΔRXM+εS

從節(jié)點時鐘偏差的調(diào)整可以分為如下三個步驟。

1)TAI時間校正:offsetMS中整秒的偏差通過校正國際原子時(International Atomic Time,TAI)計時器完成;

2)時鐘周期計數(shù)器校正:調(diào)整計數(shù)器補償整數(shù)倍周期(8ns)的偏差;

3)相位調(diào)整:小于一個周期的偏差由從節(jié)點的鎖相環(huán)進行相位調(diào)整。

corrpnase=offsetMS-[offsetMS]

這樣,就完成了主從時鐘的亞納秒級同步,由于溫度等環(huán)境因素的影響,offsetMS會隨著時間發(fā)生變化,因此需要定期測量主從節(jié)點的時間偏差的變化,并且將其補償?shù)疆斍暗南辔簧稀?/p>

1.5 數(shù)字雙混頻鑒相器

WR使用鑒相器精確測量數(shù)據(jù)恢復時鐘與本地時鐘的相位差并對時間戳進行校正,從而將基于PTPv2的時鐘同步技術(shù)帶入亞納秒級。此外,從節(jié)點端的鑒相器與濾波控制電路以及壓控振蕩器構(gòu)成了一個鎖相環(huán)電路,實現(xiàn)從節(jié)點時鐘的相位鎖定和相位調(diào)整功能。

傳統(tǒng)的基于模擬方法的鑒相器能夠獲得很高的分辨率和線性度,然而它們需要增加額外的器件(如混頻器、濾波器等),特別是對于WR多端口交換機的應用,不僅增加成本還給設計帶來了困難。

WR采用了一種全數(shù)字雙混頻鑒相器[9](Digital Dual Mixer Time Difference, DDMTD),其工作原理如圖5所示。利用外部鎖相環(huán)產(chǎn)生一個輔助時鐘信號,該信號頻率與被測信號(clkA和clkB)的頻率存在微小的差別(fPLL=N/(N+1)·fclk)。在FPGA內(nèi)部使用該輔助時鐘信號分別對clkA和clkB進行采樣。由于采樣頻率非常接近被測信號的頻率,所以D觸發(fā)器會輸出一個非常低頻的信號。被測信號的相位差在混頻之后被放大,因此通過測量觸發(fā)器輸出信號的相位差可以計算出原信號的相位差。DMTD雙混頻鑒相由數(shù)字方法實現(xiàn),具有結(jié)構(gòu)簡單、線性度好、動態(tài)范圍大的優(yōu)點。

圖5 DMTD相位檢測原理Fig.5 Principle of DMTD phase detection

2 WR時鐘系統(tǒng)組件

WR技術(shù)由多個研究所和高校共同參與開發(fā),并和公司合作實現(xiàn)商業(yè)化和產(chǎn)品化。借助成熟的商業(yè)COTS組件,能夠非常方便迅速地實現(xiàn)基于WR的應用或改造。

2.1 WR交換機

圖6 White Rabbit交換機Fig.6 White Rabbit switch

WR交換機是WR網(wǎng)絡的核心部件,它在普通交換機的基礎上添加了WR功能支持,并提供了QoS支持、鏈路冗余和快速切換等特性,以滿足對時鐘和控制系統(tǒng)的高實時性要求。

WR交換機有18個SFP光纖口,可以任意配置為上行口或下行口,如圖6所示。通常配置其中2個為上行口,其中一個作為主要的WR從端口與上級交換機同步,另一個作為冗余端口,一旦前者鏈路斷開,該冗余端口將自動切換為WR從端口;剩下的16個端口均配置為下行口, 用于與下級的16個WR從節(jié)點或交換機同步。

2.2 WR節(jié)點

WR節(jié)點有多種實現(xiàn)形式:載板模式、子板模式和IP核模式。

載板模式提供如圖7所示的符合標準型式的載板,例如VME、PCI-Express。在該載板上提供了WR節(jié)點的功能和必要的系統(tǒng)資源,并通過標準的FMC(FPGA Mezzanine Card)接口擴展諸如ADC、DAC或DIO等應用功能。

圖7 PCI-Express載板形式的WR節(jié)點Fig.7 WR node in PCI-Express carrier board form

子板模式提供如圖8所示的WR最小系統(tǒng)子卡(Cute-WR)[15],可以集成到應用電子學系統(tǒng)內(nèi)。該子卡提供同步頻率,經(jīng)過編碼的時間信號和標準MAC接口。應用電子學可以將其作為標準千兆網(wǎng)卡來實現(xiàn)數(shù)據(jù)傳輸。

圖8 FMC子卡形式的WR節(jié)點Fig.8 WR node in FMC mezzanine form

IP核模式將WR節(jié)點的所有功能封裝成IP包,可以直接在用戶的硬件平臺上實現(xiàn),進一步提高應用的靈活性和系統(tǒng)集成度。

3 WR性能測試

測試環(huán)境使用了4臺WR交換機和6個Cute-WR節(jié)點,如圖9所示。每個節(jié)點利用其內(nèi)部時鐘定時輸出一個秒脈沖PPS(Pulse Per Second)信號,通過測量不同節(jié)點間PPS信號的偏差值給出其同步的精度。測試時利用多盤數(shù)千米長的G652單模光纖,將設備組建成各種不同拓撲結(jié)構(gòu)的網(wǎng)絡,分別測量網(wǎng)絡中各節(jié)點和最頂級節(jié)點的同步偏差。

圖9 系統(tǒng)測試環(huán)境Fig.9 Test setup

3.1 單節(jié)點同步精度

首先給出一主一從這種最基本的WR網(wǎng)絡結(jié)構(gòu)下的同步精度測試結(jié)果。將CUTE-WR作為從節(jié)點,與WR交換機通過2km的光纖連接,在常溫下使用示波器測量兩者的PPS信號的偏差,如圖10所示。CUTE-WR與WR交換機的同步準確度不超過200ps,同步精度達到了21ps。

圖10 WR同步精度測試Fig.10 Test result of WR synchronization

3.2 并聯(lián)多節(jié)點拓撲結(jié)構(gòu)

交換機組成一主三從的拓撲結(jié)構(gòu),每臺從交換機帶2個Cute-WR節(jié)點,其拓撲結(jié)構(gòu)和多次測量后的系統(tǒng)同步偏差分布如圖11所示。

圖11 并聯(lián)多節(jié)點拓撲結(jié)構(gòu)及測試結(jié)果Fig.11 Parallel topology and the test result

3.3 串聯(lián)多節(jié)點拓撲結(jié)構(gòu)

交換機組成四級級聯(lián)的拓撲結(jié)構(gòu),每臺從交換機帶2個Cute-WR節(jié)點,其拓撲結(jié)構(gòu)和多次測量后的系統(tǒng)同步偏差分布如圖12所示。

圖12 串聯(lián)多節(jié)點拓撲結(jié)構(gòu)及測試結(jié)果Fig.12 Cascade topology and the test result

4 結(jié)論

WR是一種新型的基于同步以太網(wǎng)和PTP協(xié)議的時鐘同步方法,通過全數(shù)字雙混頻鑒相器和準確的網(wǎng)絡鏈路模型將同步精度提高到亞納秒級別,實現(xiàn)大范圍、多節(jié)點的時鐘分布和同步機制。該方法基于標準的以太網(wǎng),時鐘同步報文幾乎不占用網(wǎng)絡帶寬,定時鏈路與數(shù)據(jù)鏈路復用,是一種具有高可靠性和低成本的方案,能簡化大規(guī)模分布式地基授時系統(tǒng)的結(jié)構(gòu)設計,提高同步性能,改善增強型導航定位精度。

[1] 童寶潤.時間統(tǒng)一系統(tǒng)[M].北京: 國防工業(yè)出版社, 2003.

[2] 楊旭海.基于北斗地基增強系統(tǒng)的精密授時方法研究[C]//中國天文學會學術(shù)年會, 2014.

[3] 華宇, 郭偉, 燕保榮, 等.我國授時服務體系發(fā)展現(xiàn)狀分析[J].時間頻率學報, 2016,39(3): 193-201.

[4] Du Q, Gong G, Pan W.A packet-based precise timing and synchronous DAQ network for the LHAASO project[J].Nuclear Inst amp; Methods in Physics Research A, 2013, 732(5):488-492.

[5] Serrano J, Alvarez P, Cattin M, et al.The White Rabbit project[C]//Proceedings of ICALEPCS TUC004.Kobe, 2009.

[6] Wlostowski T.Precise time and frequency transfer in a White Rabbit network[D].Warsaw University of Technology, 2011.

[7] Maciej Lipinski.White Rabbit Standardization in IEEE 1588-2008[EB/OL].(2012-04-07)[2017-05-22].http://www.ohwr.org/projects/wr-std/wiki.

[8] Eidson J, Lee K.IEEE 1588 standard for a precision clock synchronization protocol for networked measurement and control systems[C]//Proceedings of the 2ndISA/IEEE Sensors for Industry Conference.IEEE, 2002: 98-105.

[9] Moreira P, Alvarez P, Serrano J, et al.Digital dual mixer time difference for sub-nanosecond time synchronization in Ethernet[C]//Proceedings of 2010 IEEE International Frequency Control Symposium (FCS).IEEE, 2010: 449-453.

[10] Lipinski M, Wlostowski T, Serrano J, et al.White Rabbit: a PTP application for robust sub-nanosecond synchronization[C]//Proceedings of IEEE International Symposium on Precision Clock Synchronization for Measurement, Control and Communication(ISPCS).IEEE, 2011: 25-30.

[12] Rizzi M, Lipinski M, Wlostowski T, et al.White Rabbit clock characteristics[C]//Proceedings of IEEE International Symposium on Precision Clock Synchronization for Measurement, Control and Communication(ISPCS).IEEE, Stockholm, 2016: 1-6.

[13] Ronen O, Lipinski M.Enhanced synchronization accuracy in IEEE1588[C]//Proceedings of IEEE International Symposium on Precision Clock Synchronization for Measurement, Control and Communication(ISPCS).IEEE, Beijing, 2015: 76-81.

[14] Dierikx E F, Wallin A E, Fordell T, et al.White Rabbit precision time protocol on long-distance fiber links[J].IEEE Transactionson Ultrasonics, Ferroelectrics, and Frequency Control, 2016, 63(7): 945-952.

[15] Pan W, Du Q, Gong G.Development of a White Rabbit interface for synchronous data acquisition and timing control[C]//Proceedings of the 18thIEEE-NPSS Real Time Conference (RT).IEEE, Berkley, 2012: 1-3.

High-PrecisionTimeDistributionBasedonOpticalEthernet

GONG Guang-hua, LI Hong-ming

(Key Laboratory of Particle and Radiation Imaging of Ministry of Education, Department of Engineering Physics, Tsinghua University, Beijing 100084, China)

WR (White Rabbit) is a technology that combined the Gigabit Ethernet, Sync-E, Precision Time Protocol (IEEE1588 v2) and digital phase tracking method to provide a sub-nanosecond accuracy of time amp; frequency distribution method for thousands of devices spanning several kilometers. WR technology is compatible with standard Ethernet, introduces very few network bandwidth load, high integration with data transmission and advantage of low cost. This paper introduces the technical principles of WR technology, the measurement results of a small WR network with different topology are presented as well. The WR technology is an ideal solution for all applications that requires high precision time synchronization among multiple nodes over long distance, to act as a key supporting technology for the thriving ground enhancement navigation system.

Distributed synchronization; Time distribution; Sync-E; White Rabbit*

10.19306/j.cnki.2095-8110.2017.06.011

TN913.7

A

2095-8110(2017)06-0068-07

2017-05-12；

2017-06-21

國家自然科學基金(11275111，11575096)

龔光華(1977-)，男，博士，副研究員，主要從事核電子學方面的研究。E-mail:ggh@tsinghua.edu.cn