馬明超 陳建鋒 沈立人 蔣舸揚

1（中國科學院上海應用物理研究所 嘉定園區(qū) 上海 201800）

2（中國科學院大學 北京 100049）

在上海光源裝置、質子治療裝置等大型加速器系統(tǒng)的控制中，存在有多個控制器的分布式系統(tǒng)架構下實現(xiàn)高速實時控制的需求，如上海光源的真空快泄漏聯(lián)鎖保護系統(tǒng)，其時間響應需求為1 ms。分布式實時控制系統(tǒng)通常需要特殊的硬件和通訊系統(tǒng)結構。本文所研究的時間同步，其目的是實現(xiàn)在常規(guī)網絡系統(tǒng)架構上構建分布式實時控制系統(tǒng)。網絡系統(tǒng)本身不是一個實時控制系統(tǒng)，其響應時間和時間精確度無法保證，必須采用時間同步措施保證其實時性。根據系統(tǒng)規(guī)模和響應時間需求計算，基于網絡構建上述快聯(lián)鎖保護系統(tǒng)的時間同步需求為±200 ns。

目前時間同步協(xié)議有網絡時間協(xié)議(Network Time Protocol, NTP)[1]、簡單網絡時間協(xié)議(Simple Network Time Protocol, SNTP)[2]和 IEEE1588精準時間協(xié)議[3]。NTP和SNTP可以實現(xiàn)毫秒級別的時間同步，而IEEE1588可以實現(xiàn)亞微秒級別的時間同步。IEEEl588定義了一個能夠在測量和控制系統(tǒng)中實現(xiàn)高精度時鐘同步的協(xié)議——精準時間協(xié)議(Precision Time Protocol, PTP)。PTP能夠使異質系統(tǒng)中各類不同精確度、分辨率和穩(wěn)定性的時鐘同步起來，利用最小的網絡和本地計算資源，使系統(tǒng)達到亞微秒級別的同步精度[3]。

本文采用 FPGA和千兆以太網來實現(xiàn)IEEE1588時間同步，充分利用VHDL硬件描述語言的并行處理，可以有效地提高時間同步的精度。針對普通晶振的頻率偏差造成IEEE1588同步精度低的問題，本文提出了一種頻率動態(tài)補償?shù)乃惴?，使加速器實時控制系統(tǒng)能夠實現(xiàn)更高的時間同步精度，并且在以上海光源控制系統(tǒng)采用的 FORCE10交換機所構成的網絡系統(tǒng)中構建與測試時間同步試驗系統(tǒng)，得到比較滿意的結果。

1 IEEE1588精準時間同步原理

IEEE1588精準時間同步協(xié)議的原理是主站通過PTP報文與從站周期性地交換時間數(shù)據實現(xiàn)主從同步。IEEE1588主要通過 Sync、Follow_Up、Delay_Req和Delay_Resp進行主從同步，本文采用IEEE1588協(xié)議的兩步模式進行主從同步，IEEE1588主從同步的工作過程如圖1所示[3]。

圖1 IEEE1588 主從同步過程圖Fig.1 IEEE1588 master-slave synchronous process diagram.

在圖1中，t1為主站發(fā)送Sync報文的時間，t2為從站收到 Sync報文的時間，t3為從站發(fā)送Delay_Req報文的時間，t4為主站收到 Delay_Req報文的時間。令 Toffset為從站與主站的時鐘偏移，TdelayMS為主站到從站的報文延遲，TdelaySM為從站到主站的報文延遲，假如報文的傳輸路徑對稱(TdelayMS=TdelaySM)，則

根據式(1)、式(2)，可以計算出從站與主站的時鐘偏移和報文的傳輸延遲，從而校準從站的時鐘，實現(xiàn)從站和主站之間的時間同步。

2 硬件平臺

為了實現(xiàn)最優(yōu)的時間同步精度，目前用于時間同步的交換機大多數(shù)采用專用的IEEE1588交換機，但由于上海光源使用的交換機是FORCE10交換機，為了減少工程上的投資和對原有系統(tǒng)的改動，設計中采用FORCE10交換機，該交換機是常規(guī)交換機。在千兆以太網通信環(huán)境下，測試得到的 FORCE10交換機的延遲是3.432 μs，F(xiàn)ORCE10交換機的延遲抖動是56 ns。

本文研究的是一個主站和一個從站的時間同步。時間同步采用兩種硬件連接：主站和從站通過FORCE10交換機連接，以及主站和從站通過網線直接連接。時間同步硬件連接框圖如圖2所示。

圖2 時間同步硬件連接框圖Fig.2 Time synchronization hardware connection diagram.

由圖 2，左邊代表的時間同步硬件連接是主站和從站通過FORCE10交換機連接，右邊代表的時間同步硬件連接是主站和從站通過網線直接連接。主站和從站采用硬件配置相同的PTP電路板，但是FPGA內部程序不同。PTP電路板的硬件框圖如圖3所示。

從圖3可見，PTP電路板采用Altera公司的型號為EP2C35F672C7N的FPGA。利用該FPGA芯片進行以太網數(shù)據的收發(fā)、IEEE1588協(xié)議的開發(fā)以及頻率動態(tài)補償算法的設計和驗證。設計采用125M晶振給FPGA提供全局時鐘信號CLK，PTP電路板的以太網數(shù)據傳輸部分采用88E1111千兆以太網芯片和集成網絡變壓器的 RJ45接口HFJ11-1G02E。采用JTAG (Joint Test Action Group)接口進行FPGA的調試，通過JTAG和 Quartus II軟件中的In-System Memory Content Editor工具可以觀測到FPGA片內RAM中采集到的數(shù)據并將這些數(shù)據通過JTAG存儲到電腦上，這種數(shù)據存儲方式為后期的MATLAB數(shù)據處理，提供了很大便利。程序加載部分采用EPCS64SI16N配置芯片，用于加電時將程序從配置芯片中加載到FPGA中；程序燒錄部分采用FPGA將代碼通過AS接口燒錄到配置芯片中；測試部分使用SMA連接示波器，進行時間同步的測試。

圖3 PTP電路板硬件框圖Fig.3 Hardware diagram of PTP circuit.

3 頻率動態(tài)補償算法

判斷主站和從站同步有兩條標準[4]：一是從站的本地時鐘是否和主站的本地時鐘相同；二是從站的本地時鐘遞增速度是否與主站相同。假定通信鏈路中不存在延遲抖動，從站和主站的時鐘偏移計算得非常準確，每次從站校正完本地時鐘后使得從站和主站的時鐘偏移為零。但由于主站和從站的晶振頻率并不完全相同，兩個標稱頻率相同的晶振實際頻率的微小偏差會導致從站和主站的時鐘偏移隨著時間的變化逐漸增大，所以僅僅周期性地校正從站的本地時鐘無法實現(xiàn)精確的時間同步。PTP電路板采用的晶振是泰藝公司的125M晶振，該晶振的頻率精度為50×10?6。假如主站和從站1 s對時一次，在 1 s時間內從站時鐘和主站時鐘的偏移最大為2×50×10?6s=100 μs，同步對時精度很差。并且晶振的頻率跟電壓和溫度有關，隨著電壓和溫度的變化，晶振的頻率也會發(fā)生變化。若要調節(jié)從站的本地時鐘遞增速度與主站相同，文獻[5]提出了三種方法：一是使用VCO調整從站時鐘，但是這種硬件代價很大；二是通過軟件算法調整，帶有很大的隨機性；三是使用加法器調整，這種方法在FPGA內部實現(xiàn)相對簡單，頻率動態(tài)補償算法也是通過加法器調整來實現(xiàn)的。

在FPGA中采用48位ptp_sec和32位ptp_ns存儲本地的時鐘信號，其中 ptp_sec代表本地時鐘的秒值，ptp_ns代表本地時鐘的納秒值。當ptp_ns遞增到109時，ptp_sec加1，ptp_ns值清零。PTP電路板采用125M晶振給FPGA提供全局時鐘信號CLK，即Tclk=8 ns。FPGA利用CLK全局時鐘信號驅動主站和從站本地時鐘的遞增。主站和從站的本地時鐘框圖如圖4所示。

圖4 主站(a)和從站(b)的本地時鐘框圖Fig.4 Diagram of local clock of the master (a) and the slave (b).

由圖4(a)，主站的本地時鐘在125M全局時鐘信號CLK的上升沿遞增8 ns，即ptp_ns的值加8。圖4(b)中，由于主站的本地時鐘作為從站同步的參考，從站根據式(2)計算的主從偏移 Toffset，通過一定的調整控制，完成兩個主要任務：一是根據每個同步周期計算的Toffset，調整從站的本地時鐘，使從站的本地時鐘與主站相同；二是根據每個同步周期計算的Toffset，調整從站的本地時鐘在125M全局時鐘信號CLK的上升沿遞增7 ns和8 ns的比例（從鐘快于主鐘）或8 ns和9 ns的比例（從鐘慢于主鐘），使從站的本地時鐘遞增速度與主站相同。

如果通信鏈路存在延遲抖動，根據式(1)、式(2)計算出來的結果就有一定的誤差，本文提出的頻率動態(tài)補償算法是在沒有延遲抖動的前提下總結出來的，也就是假定每次主從同步校正完從站的本地時鐘后，從站和主站的時鐘偏移為零。由于主站和從站的晶振存在頻率偏差，使得從站和主站的時鐘偏移隨著時間的變化逐漸增大。為了實現(xiàn)從站和主站同頻，需要把一個同步周期內由于晶振頻率偏差造成的從站和主站的時鐘偏移分布在一個同步周期內進行均勻地校正。假如最小時間單位為ns，若經過一個同步周期，晶振頻率偏差造成從站快了X ns，需讓從站時鐘在該同步周期內均勻地調慢X ns，也就是每經過同步周期/X的時間，需將從站時鐘調慢1 ns。頻率動態(tài)補償?shù)墓饺缡?3)、式(4)所示。

式(3)、式(4)是經過多次程序驗證過的頻率動態(tài)補償?shù)慕涷灩?。Toffset、Sigma_Toffset、Tsync、Tclk的單位都是ns，其中Tclk=8 ns。adjust_para_cnt是計數(shù)值，沒有單位。

式(3)中，Sigma_Toffset是第二次主從偏移 Toffset以及頻率動態(tài)補償后的無窮個周期的 Toffset的累加和。當從站快于主站，Toffset大于0；當從站慢于主站，Toffset小于 0。第二次主從偏移 Toffset可以近似反映一個同步周期 Tsync內由于晶振頻率偏差造成的從站和主站的時鐘偏差，頻率動態(tài)補償后計算的Toffset相對第二次主從偏移 Toffset在數(shù)值上小很多，跟0很接近，且是動態(tài)變化的，頻率動態(tài)補償后計算的 Toffset可以動態(tài)地調整一個同步周期內由于晶振頻率偏差造成的從站和主站的時鐘偏差。多次實驗測試，Sigma_Toffset能動態(tài)地反映一個同步周期Tsync內因晶振頻率偏差造成從站和主站時鐘偏差。

式(4)中，左邊代表的含義是在一個同步周期Tsync內，由于晶振頻率偏差造成的從站和主站的時鐘偏移相對同步周期Tsync的比值。右邊代表的含義是經過多久的時間，從站和主站的時鐘偏移可以達到1 ns，通過調整這1個ns的時鐘偏移實現(xiàn)從站的本地時鐘遞增速度與主站相同。頻率動態(tài)補償框圖如圖5所示。

圖5 頻率動態(tài)補償算法流程圖Fig.5 Flow chart of dynamic frequency compensation.

圖5簡要說明了頻率動態(tài)補償算法的流程，整個過程是通過多個狀態(tài)機順序執(zhí)行的，并且頻率動態(tài)補償算法的流程跟下文描述的para_cnt計數(shù)器計數(shù)的流程和從站本地時鐘遞增的流程是并行的。在每個同步周期內，從站接收和發(fā)送進行主從同步的PTP報文，然后根據式(2)計算出從站和主站的時鐘偏移Toffset，從站根據計算的Toffset調整從站的本地時鐘；如果是第一次進行主從同步，就返回并等待下一次的PTP報文，如果不是第一次主從同步，就根據式(3)計算 Sigma_Toffset的值，并禁止 para_cnt計數(shù)器計數(shù)使能，即para_cnt_en=0；然后根據式(4)計算adjust_para_cnt的值，同時使能para_cnt計數(shù)器計數(shù)，即para_cnt_en=1。頻率動態(tài)補償算法計算出的 Sigma_Toffset和 adjust_para_cnt以及 para_cnt計數(shù)器計數(shù)使能信號(para_cnt_en)決定了 para_cnt計數(shù)器計數(shù)的流程和從站的本地時鐘遞增的流程，para_cnt計數(shù)器計數(shù)流程圖和從站的本地時鐘遞增流程圖如圖6、圖7所示。

圖6 para_cnt計數(shù)器計數(shù)流程圖Fig.6 Flow chart of para_cnt counter counting.

圖7 從站本地時鐘遞增流程圖Fig.7 Flow chart of increasing the local clock of the slave.

圖6簡要說明了para_cnt計數(shù)器計數(shù)的流程，該流程在一個全局時鐘信號CLK內完成。當計數(shù)器para_cnt計數(shù)允許(para_cnt_en=1)并且para_cnt的值小于adjust_para_cnt的值，para_cnt計數(shù)器加1，同時禁止本地時鐘調頻(ptp_fre_en=0)；當 par_cnt計數(shù)器計數(shù)禁止(para_cnt_en=0)時，計數(shù)器清零，同時禁止本地時鐘調頻(ptp_fre_en=0)；當計數(shù)器para_cnt計數(shù)允許(para_cnt_en=1)并且para_cnt計數(shù)器的值等于adjust_par_cnt的值時，para_cnt計數(shù)器清零，同時允許本地時鐘調頻(ptp_fre_en=1)。

圖7簡要說明了從站的本地時鐘遞增的流程，該流程時在一個全局時鐘信號CLK內完成。當本地鐘調頻禁止(ptp_fre_en=0)時，從站的本地時間遞增8 ns，即 ptp_ns加 8；當本地時鐘調頻允許(ptp_fre_en=1)并且Sigma_Toffset的值大于0時，從站的本地時間遞增7 ns，即ptp_ns加7；當本地時鐘調頻允許(ptp_fre_en=1)并且 Sigma_Toffset的值小于0時，從站的本地時間遞增9 ns，即ptp_ns加9。

頻率動態(tài)補償算法在型號為EP2C35F672FC7N的FPGA中實現(xiàn)的，該FPGA總的邏輯資源有33216 LEs，設計中從站總共消耗了8370 LEs。該FPGA總的memory資源有483840 bits，設計中由于以太網數(shù)據接收存儲和存取采集到的時間數(shù)據消耗的memory資源為76336 bits。

4 測試方案

本文給出了兩種測試方案，方案一適合觀察短時間的從站和主站的時鐘偏移，用于說明頻率動態(tài)補償?shù)男Ч?；方案二適合觀察長時間的從站和主站的時鐘偏移，用于說明頻率動態(tài)補償后主從同步精度，以及分析同步周期和FORCE10交換機的延遲抖動對時間同步的影響。

4.1 測試方案一

測試方案一的原理是通過在 FPGA內部調用RAM核，將采集的時間數(shù)據存儲到RAM中，然后利用 JTAG線和 Quartus II軟件中的 In-System Memory Content Editor工具，將采集的時間數(shù)據存儲到電腦上，利用MATLAB處理并畫出相應的從站和主站的時鐘偏移效果圖。測試方案一框圖如圖8所示。

從圖8中可以看出，主站和從站上的FPGA通過SMA和同軸電纜連接在一起。通過按下主站的按鍵，主站的 FPGA通過 SMA和同軸電纜發(fā)送1000個脈寬100 ns的脈沖給從站的FPGA，脈沖間隔5 ms。在每個脈沖的上升沿，主站和從站的FPGA將各自的時間數(shù)據存取到RAM中。在測試方案一中，千兆以太網直接通過網線連接；測試結果分別給出了未頻率動態(tài)補償和頻率動態(tài)補償后的主從偏移效果圖，如圖9所示。

圖8 測試方案一框圖Fig.8 Block diagram of test scenario one.

圖9 未頻率動態(tài)補償(a)和頻率動態(tài)補償后(b)的主從偏移效果圖Fig.9 Master-slave offset effect diagram without frequency and after frequency dynamic compensation (b). dynamic compensation (a)

圖9(a)的主從同步精度是16?424 ns，圖9(b)的主從同步精度是(?9 ns, 8 ns)。從同步效果來說，動態(tài)頻率補償算法很好地解決了普通晶振的頻率偏差造成IEEE1588同步精度低的問題，但這種方法測試時間比較短，不能說明長時間的主從同步精度。

4.2 測試方案二

測試方案二是通過示波器的統(tǒng)計skew的功能，統(tǒng)計出主從偏移的最小值、最大值和標準方差。主從同步的精度介于主從偏移的最小值和最大值之間。測試方案二框圖如圖10所示。

圖10 測試方案二框圖Fig.10 Block diagram of test scenario two.

由圖10，主站和從站的FPGA通過SMA和同軸電纜連接到Lecroy 104MXi示波器上，主站和從站在同一時刻分別發(fā)送脈脈寬為100 ns的脈沖給示波器，脈沖間隔為 4096 ns，通過示波器統(tǒng)計兩個脈沖前沿對應的時間之差，即主從偏移。分別測試了同步周期為500 ms、1 s和2 s以及在特定同步周期下直接連接和FORCE10交換機連接的主從偏移，測試時間為8 h，頻率動態(tài)補償后的主從同步測試結果如表1所示。

表1 主從同步測試結果Table 1 Master-slave synchronous test results.

由表 1，在同樣的同步周期下，直接連接的連接方式測得的主從同步精度更高。由于像交換機類似的網絡設備存在延遲抖動，造成通信鏈路不對稱，即TdelayMS ≠TdelaySM。當TdelayMS ≠TdelaySM時，利用式(2)計算的 Toffset就存在一定的誤差，這個誤差是由|TdelayMS?TdelaySM|決定的。針對通信鏈路的不對稱性，IEEE1588 V2提出了透明時鐘，硬件上需要采用專用的帶透明時鐘的IEEE1588交換機來消除網絡設備帶來的的延遲抖動，但整體硬件的代價相對比較高。從表1可以看出，盡管FORCE10交換機的延遲抖動使主從同步精度變低，但仍然滿足加速器快聯(lián)鎖保護系統(tǒng)的時間同步需求。

從表1測試結果也可以看出，隨著同步周期增大，主從同步精度逐漸變低，在滿足條件的情況下，盡可能降低同步周期，達到更高的同步精度。

5 結語

本文針對普通晶振的頻率偏差造成 IEEE1588同步精度低的問題，提出了頻率動態(tài)補償算法，在千兆以太網平臺上通過測試，驗證了頻率動態(tài)補償算法的可行性和實用性，且分析了FORCE10交換機的延遲抖動對時間同步精度的影響，盡管FORCE10交換機的延遲抖動使主從同步精度變低，但仍滿足加速器快聯(lián)鎖保護系統(tǒng)的時間同步需求。

1 Mills D L. Network Time Protocol (Version3) Specification, Implementation and Analysis. RFCl305[Z]

2 Mills D L. Simple Network Time Protocol (SNTP) Version4 for IPv4, IPv6 and OSI, RFC4330[Z]

3 IEEE Instrumentation and Measurement Society. IEEE Std1588TM—2008 IEEE standard for a precision clock synchronization protocol for networked measurement and control systems[S]. NewYork, USA: IEEE, 2008

4 黃文君, 遇彬. 基于FPGA的精確時鐘同步方法[J]. 浙江大學學報(工學版), 2007, 41(10): 1697?1700

HUANG Wenjun, YU Bin. Method for precise time synchronization based on FPGA[J]. Journal of Zhejiang University (Engineering Science), 2007, 41(10): 1697?1700

5 Wu S K, Wang J L, Zhao J. FPGA-based high-precision network time synchronization research and implementation[C]//Electronic Measurement & Instruments (ICEMI), 2011 10thInternational Conference on IEEE, 2011, 1: 329?332