程司農(nóng)張 昭朱 鵬劉 智王 林徐廣磊張玉亮雷 革

1（中國科學(xué)院高能物理研究所 北京 100049）

2（散裂中子源科學(xué)中心 東莞 523803）

3（中國科學(xué)院大學(xué) 北京 100049）

高性能的加速器對運(yùn)行的可靠性和穩(wěn)定性提出了更高的要求，而加速器龐大的設(shè)備數(shù)量、極高的設(shè)備精度和性能要求導(dǎo)致對外部干擾非常敏感，給加速器的高效可靠運(yùn)行帶來了很大的挑戰(zhàn)。分析加速器運(yùn)行過程中常規(guī)保存的歷史數(shù)據(jù)，可以判斷和處理大部分故障，而對于發(fā)生的少數(shù)快速故障過程，由于常規(guī)方式保存的歷史數(shù)據(jù)時(shí)間粒度不夠，導(dǎo)致無法對這類快速故障過程進(jìn)行有效分析。

當(dāng)故障發(fā)生時(shí)，將若干系統(tǒng)在故障發(fā)生時(shí)刻前后一段時(shí)間內(nèi)具有高時(shí)間相關(guān)性和高時(shí)間分辨率的數(shù)據(jù)（即時(shí)間數(shù)據(jù)）進(jìn)行獲取和存儲，利用這些數(shù)據(jù)重建快速故障發(fā)生的過程，從而定位和判斷故障產(chǎn)生的根源，此即為基于高精度時(shí)間數(shù)據(jù)的加速器故障分析系統(tǒng)的基本過程。在2002年，歐洲核子中心（Conseil Européen pour la Recherche Nucléaire,CERN）針對大型強(qiáng)子對撞機(jī)（Large Hadron Collider，LHC）提出了加速器故障分析系統(tǒng)，其主要包括如下4個(gè)部分：高精度時(shí)間戳、故障觸發(fā)、數(shù)據(jù)采集與呈現(xiàn)以及數(shù)據(jù)存儲［1］。2008年，CERN利用該系統(tǒng)對LHC的束流測試數(shù)據(jù)進(jìn)行了分析，并為他們對相關(guān)數(shù)據(jù)分析提供了寶貴經(jīng)驗(yàn)［2］。在2016～2017年，美國國家同步加速器光源（National Synchrotron Light Source II，NSLS-II）［3］與中國臺灣光源（Taiwan Photon Source，TPS）［4］均在其加速器上對故障分析系統(tǒng)進(jìn)行了評估，且對提高加速器運(yùn)行的可靠性起到了很重要的作用。

為了能夠準(zhǔn)確獲取到故障發(fā)生時(shí)刻的數(shù)據(jù)，可采用網(wǎng)絡(luò)實(shí)時(shí)獲取與存儲數(shù)據(jù)，這將給網(wǎng)絡(luò)傳輸與存儲空間帶來很大的壓力。以中國散裂中子源（China Spallation Neutron Source，CSNS）加速器束流損失探測系統(tǒng)為例，每小時(shí)產(chǎn)生的數(shù)據(jù)量約為41 GB，保存全部的束流損失歷史數(shù)據(jù)幾乎不可能［5］。而在設(shè)備級前端使用帶有數(shù)據(jù)緩存功能的硬件設(shè)備，采用同步觸發(fā)的方式進(jìn)行數(shù)據(jù)鎖存和獲取，可以極大減少數(shù)據(jù)傳輸時(shí)占用的網(wǎng)絡(luò)帶寬與數(shù)據(jù)存儲空間，即在收到同步觸發(fā)信號后，鎖存前端硬件設(shè)備緩存區(qū)的數(shù)據(jù)，再將其讀取并存儲到服務(wù)器。

基于全局高精度時(shí)間戳及觸發(fā)式數(shù)據(jù)鎖存與獲取，本文實(shí)現(xiàn)了基于高精度時(shí)間數(shù)據(jù)的加速器故障分析樣機(jī)（以下簡稱故障分析樣機(jī)），全局高精度時(shí)間戳基于事件定時(shí)系統(tǒng)實(shí)現(xiàn)，可為相關(guān)硬件系統(tǒng)記錄的數(shù)據(jù)打上全局高精度時(shí)間戳，時(shí)間戳精度好于16 ns；全局?jǐn)?shù)據(jù)鎖存觸發(fā)信號使用事件定時(shí)鏈路進(jìn)行傳輸。本文將介紹故障分析樣機(jī)的總體設(shè)計(jì)和軟件設(shè)計(jì)以及該樣機(jī)實(shí)驗(yàn)結(jié)果的分析。

1 總體設(shè)計(jì)

故障分析樣機(jī)的總體設(shè)計(jì)如圖1所示，主要包括兩個(gè)核心部分：全局高精度時(shí)間戳的實(shí)現(xiàn)、數(shù)據(jù)組裝與獲取分析。故障數(shù)據(jù)的全局高精度時(shí)間戳是分析故障原因的關(guān)鍵因素之一。本樣機(jī)基于高性能銣原子鐘和事件定時(shí)系統(tǒng)實(shí)現(xiàn)了全局的高精度時(shí)間戳，為時(shí)間數(shù)據(jù)提供全局的高精度時(shí)間戳。事件定時(shí)系統(tǒng)是以事件發(fā)生器（Event Generator，EVG）和事件接收器（Event Receiver，EVR）為主體進(jìn)行搭建的一級或多級星型結(jié)構(gòu)的定時(shí)系統(tǒng)。

圖1 故障分析樣機(jī)總體架構(gòu)圖Fig.1 Schematic diagram of failure analysis system prototype architecture

故障分析樣機(jī)的另一核心部分為數(shù)據(jù)組裝與獲取分析，用于將帶高精度時(shí)間戳的數(shù)據(jù)按照預(yù)定義的數(shù)據(jù)結(jié)構(gòu)進(jìn)行組裝和發(fā)布?；竟ぷ鬟^程為：1）當(dāng)主站的事件發(fā)生器接收到故障觸發(fā)信號后，發(fā)送事件碼到各個(gè)子站，子站將數(shù)據(jù)緩存區(qū)的數(shù)據(jù)進(jìn)行鎖存，不再刷新數(shù)據(jù)；2）驅(qū)動(dòng)程序從事件接收器獲取全局的高精度時(shí)間戳，從數(shù)據(jù)采集卡獲取硬件信息和緩存數(shù)據(jù)，并將這些信息按照EPICS 7規(guī)范類型［6］組裝成結(jié)構(gòu)化數(shù)據(jù)；3）上層軟件程序?qū)Y(jié)構(gòu)化數(shù)據(jù)進(jìn)行獲取分析，為操作員分析故障原因提供參考。

2 全局高精度時(shí)間戳的實(shí)現(xiàn)

大科學(xué)裝置中建立全局時(shí)間戳常用的方式有：NTP（Network Time Protocol）、PTP（Precision Time Protocol）［7］以及事件定時(shí)系統(tǒng)等。由于NTP同步精度會受網(wǎng)絡(luò)負(fù)載與網(wǎng)絡(luò)波動(dòng)的影響，同步精度一般在1～50 ms范圍［8］；用PTP實(shí)現(xiàn)全局的高精度時(shí)間戳，需大范圍增加專用發(fā)收設(shè)備及鏈路，這并不適用于已經(jīng)建有并成功運(yùn)行事件定時(shí)系統(tǒng)的加速器裝置中；而基于事件定時(shí)系統(tǒng)發(fā)送和接收時(shí)間戳，則可以提高時(shí)間戳的精度，并且事件定時(shí)系統(tǒng)廣泛應(yīng)用于國外內(nèi)加速器裝置中［9-13］。

事件定時(shí)系統(tǒng)的EVG產(chǎn)生并行的分布式總線時(shí)鐘信號和事件碼，經(jīng)由光電轉(zhuǎn)換模塊，將事件流發(fā)送到EVR，EVR將事件流恢復(fù)為分布式總線時(shí)鐘信號和事件碼，并產(chǎn)生與EVG事件鐘鎖相的事件鐘作為EVR的基準(zhǔn)時(shí)鐘［13］。因此，只需在各個(gè)前端硬件設(shè)備處安裝EVR與控制器，作為不同的子站，即可與主站進(jìn)行全局的高精度時(shí)間戳同步。本文介紹的故障分析樣機(jī)，事件鐘頻率為125 MHz，由信號源提供的500 MHz高頻信號分頻產(chǎn)生。

2.1 全局高精度時(shí)間戳的設(shè)計(jì)與實(shí)現(xiàn)

故障分析樣機(jī)中實(shí)現(xiàn)的基于事件定時(shí)的全局高精度時(shí)間戳，下稱事件時(shí)間（Event Time），其關(guān)鍵在于時(shí)間的秒部分與納秒部分的產(chǎn)生和獲取，事件時(shí)間的設(shè)計(jì)方案如圖2所示，硬件設(shè)備主要包括銣原子鐘、EVG和EVR，其中銣原子鐘用于提供高精度秒脈沖信號（Pulse Per Second，PPS）、10 MHz時(shí)鐘信號和NTP時(shí)間。

圖2 事件時(shí)間的設(shè)計(jì)方案Fig.2 Design scheme of the Event Time

EVG的秒時(shí)間獲取程序，即UTC（Coordinated Universal Time）秒數(shù)獲取模塊，通過NTP協(xié)議獲取UTC時(shí)間并鎖定，并對鎖定后的UTC時(shí)間進(jìn)行截?cái)嗵幚?，只保留UTC時(shí)間的秒部分（下稱UTC秒數(shù)），該UTC秒數(shù)作為定時(shí)主站秒時(shí)間的初始值，并根據(jù)PPS對秒時(shí)間進(jìn)行自加運(yùn)算，以保持和UTC秒數(shù)的同步并減少網(wǎng)絡(luò)波動(dòng)帶來的影響。銣原子鐘的PPS信號到來后，定時(shí)主站把32位秒時(shí)間轉(zhuǎn)換為32個(gè)事件碼（0對應(yīng)0x70，1對應(yīng)0x71），并保證在本秒內(nèi)發(fā)送到事件定時(shí)網(wǎng)絡(luò)中所有的定時(shí)子站，作為定時(shí)子站下一秒的時(shí)間基準(zhǔn)。同時(shí)，定時(shí)主站程序還周期性判斷定時(shí)主站維持的秒時(shí)間和通過NTP獲取的UTC秒數(shù)是否相同，以此判斷事件時(shí)間的秒時(shí)間是否正確。

EVR使用EVG發(fā)送的高精度分布式時(shí)鐘作為納秒時(shí)間的計(jì)數(shù)器時(shí)鐘，計(jì)數(shù)器的值經(jīng)換算后轉(zhuǎn)化為納秒時(shí)間。因此，各子站的秒時(shí)間與納秒時(shí)間可實(shí)現(xiàn)全局同步。

為了防止EVR的32位納秒計(jì)數(shù)器計(jì)數(shù)值溢出，每當(dāng)定時(shí)主站的EVG接收到PPS信號時(shí)，都會發(fā)送0x7D事件碼到EVR，EVR接收到該事件碼后，將32位納秒計(jì)數(shù)器復(fù)位。

事件時(shí)間不僅可以為硬件數(shù)據(jù)提供硬時(shí)標(biāo)，也可以用作實(shí)驗(yàn)物理和工業(yè)控制系統(tǒng)（Experimental Physics and Industrial Control System）［14］的時(shí)間源。利 用EPICS的generalTime［15］框 架，為 過 程 變 量（Process Variables，PV）［16］提 供 高 精 度 時(shí) 間 戳。generalTime框架用來管理系統(tǒng)中的多個(gè)時(shí)間源，注冊的時(shí)間源優(yōu)先級高低決定其調(diào)用順序的先后，如圖3所示。故障分析樣機(jī)在generalTime框架中注冊了三種時(shí)間源，其中系統(tǒng)時(shí)間（OS Clock）的優(yōu)先級最低，NTP Time的優(yōu)先級次之，Event Time的優(yōu)先級最高。若當(dāng)前使用的時(shí)間源報(bào)錯(cuò)，generalTime將會使用次優(yōu)先級的時(shí)間源作為當(dāng)前時(shí)間源。

圖3 EPICS generalTime框架Fig.3 Framework of EPICS generalTime

2.2 全局高精度時(shí)間戳的自身報(bào)錯(cuò)處理

當(dāng)事件鏈路損壞或EVG未收到來自銣原子鐘的PPS信號時(shí)，事件時(shí)間將會出現(xiàn)錯(cuò)誤，若沒有及時(shí)進(jìn)行錯(cuò)誤處理，會導(dǎo)致當(dāng)前事件時(shí)間不可信，因此設(shè)計(jì)了事件時(shí)間發(fā)生錯(cuò)誤報(bào)警程序和事件鏈路恢復(fù)重新鎖定UTC時(shí)間程序。事件時(shí)間狀態(tài)判斷邏輯如圖4所示。通過計(jì)算判斷0x7D事件碼是否被接收以及事件時(shí)間秒時(shí)間是否均勻增加，基于二者的結(jié)果，判斷事件時(shí)間的狀態(tài)。

圖4事件時(shí)間狀態(tài)判斷邏輯Fig.4 Judgment logic of the Event Time status

圖4 中Judge Event Time status，即為判斷事件時(shí)間內(nèi)部狀態(tài)，其邏輯框圖如圖5所示。事件時(shí)間錯(cuò)誤處理的功能：當(dāng)未接收到0x7D事件時(shí)，事件時(shí)間的狀態(tài)為ERROR；當(dāng)重新接收到0x7D事件碼時(shí)，則將事件時(shí)間與NTP Time的秒時(shí)間同步，使事件時(shí)間恢復(fù)正常。

圖5 Event Time內(nèi)部狀態(tài)判斷邏輯框圖Fig.5 Logic diagram of the Event Time internal status

為了能夠監(jiān)測當(dāng)前事件時(shí)間的狀態(tài)，以及統(tǒng)計(jì)事件時(shí)間發(fā)生錯(cuò)誤的總次數(shù)，設(shè)計(jì)了兩個(gè)PV，用于顯示這些信息。

2.3 全局高精度時(shí)間戳的同步精度與準(zhǔn)確度

為了減少事件時(shí)間與銣原子鐘精確時(shí)間的誤差，將信號源與銣原子鐘的10 MHz信號同步，圖6為信號源產(chǎn)生的500 MHz信號與銣原子鐘的10 MHz時(shí)鐘信號同步前后的波形。當(dāng)不同子站EVR與主站EVG連接使用的光纖長度不等時(shí)，會導(dǎo)致不同子站的事件時(shí)間有一定的偏差。因此，在子站程序中加入時(shí)間修正，使得不同長度的傳輸光纖下，EVR提供的事件時(shí)間保持同步。

圖6 500 MHz信號與10 MHz時(shí)鐘信號同步前(a)、同步后(b)的測量截圖Fig.6 Screen capture of the unsynchronized(a)and synchronized(b)signals between 500 MHz vs.10 MHz

為了測試事件時(shí)間的同步精度，設(shè)計(jì)了兩個(gè)實(shí)驗(yàn)，測量兩個(gè)子站的EVR提供的事件時(shí)間差值。1）兩個(gè)子站的EVR均使用550 m的光纖與主站的EVG相連。以2 Hz的頻率進(jìn)行測量，10萬次測量后，交換兩個(gè)EVR與EVG連接的光纖，繼續(xù)測量10萬次，均未有一次偏差。2）兩個(gè)子站的EVR分別使用550 m的光纖、3 m光纖與主站的EVG相連。進(jìn)行時(shí)間修正后，同樣以2 Hz的頻率進(jìn)行測量，1 200次測量后，約600次出現(xiàn)1個(gè)計(jì)數(shù)時(shí)鐘周期的偏差，出現(xiàn)該現(xiàn)象的原因是不同長度光纖產(chǎn)生的事件時(shí)間差，不嚴(yán)格為計(jì)數(shù)時(shí)鐘的整數(shù)倍。

綜合兩個(gè)實(shí)驗(yàn)的結(jié)果可知，不同子站之間的事件時(shí)間同步精度最差為1個(gè)計(jì)數(shù)時(shí)鐘的周期，測量實(shí)驗(yàn)中使用的計(jì)數(shù)時(shí)鐘頻率為62.5 MHz，即：

為了測量事件時(shí)間相對于GPS時(shí)間的準(zhǔn)確度，設(shè)計(jì)了如圖7所示的實(shí)驗(yàn)，測量EVG接收PPS信號后產(chǎn)生的脈沖信號的抖動(dòng)Jitter。

圖7 時(shí)間戳的準(zhǔn)確度測量結(jié)構(gòu)框圖Fig.7 Block diagram of the timestamp accuracy measurement

EVG的接收到PPS信號后，會產(chǎn)生0x7D事件碼并發(fā)送給EVR，EVR接收到該事件碼后將產(chǎn)生脈沖信號，利用示波器測量該脈沖信號相對計(jì)數(shù)時(shí)鐘的Jitter。示波器測量的結(jié)果如圖8所示。

圖8 PPS信號抖動(dòng)測量Fig.8 Measurement of the PPS signal jitter

圖8 中的實(shí)驗(yàn)結(jié)果顯示，PPS觸發(fā)信號的Jitter均值為50.0 ps。

結(jié)合PPS信號的Jitter以及事件時(shí)間計(jì)數(shù)周期對事件時(shí)間準(zhǔn)確度的影響，可得出事件時(shí)間的準(zhǔn)確度為：

3 數(shù)據(jù)組裝與獲取分析程序?qū)崿F(xiàn)

數(shù)據(jù)獲取的實(shí)驗(yàn)框圖如圖9所示，實(shí)現(xiàn)了事件時(shí)間的獲取，模擬故障信號、數(shù)據(jù)鎖存信號以及故障觸發(fā)信號的生成。兩個(gè)子站的EVR1、EVR2均使用550 m的光纖與主站的EVG連接，并對二者進(jìn)行延時(shí)補(bǔ)償，使它們的時(shí)間戳與EVR3的時(shí)間戳保持一致。由EVR3產(chǎn)生具有一定延時(shí)的模擬故障信號1與模擬故障信號2，分別發(fā)送到數(shù)據(jù)采集卡1與數(shù)據(jù)采集卡2；在發(fā)出模擬故障信號延時(shí)一段時(shí)間后，EVR3再產(chǎn)生一路模擬故障觸發(fā)信號到EVG，EVG收到故障觸發(fā)信號后，產(chǎn)生故障觸發(fā)事件碼并發(fā)送到所有的EVR；EVR1與EVR2收到故障觸發(fā)事件碼后，產(chǎn)生兩路鎖存信號，分別發(fā)送到數(shù)據(jù)采集卡1與數(shù)據(jù)采集卡2，用于數(shù)據(jù)鎖存。此后，驅(qū)動(dòng)程序讀取子站的數(shù)據(jù)采集卡1與數(shù)據(jù)采集卡2中鎖存的數(shù)據(jù)，高精度時(shí)間戳分別從子站的EVR1與EVR2中獲取。

圖9 數(shù)據(jù)獲取實(shí)驗(yàn)框圖Fig.9 Block diagram of the data acquisition experiment

為能準(zhǔn)確且方便地獲取設(shè)備數(shù)據(jù)的具體信息，對數(shù)據(jù)的結(jié)構(gòu)做出了規(guī)定：包含了設(shè)備所屬系統(tǒng)名稱（systemName）和子系統(tǒng)名稱（subSystem）、設(shè)備名稱（deviceName）、設(shè)備卡號（cardNo）、數(shù)據(jù)采樣頻率（dataFreq）、時(shí)間戳（timeStamp）以及鎖存的數(shù)據(jù)（dataList）。

為統(tǒng)一獲取這些信息，基于EPICS 7的規(guī)范類型（Normative Types，NT），設(shè)計(jì)了一種結(jié)構(gòu)化數(shù)據(jù)，用于將這些信息進(jìn)行整合，該結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)如圖10所示。EPICS 7的規(guī)范類型定義了一些基于pvData的通用數(shù)據(jù)類型，可以將多個(gè)PV的信息進(jìn)行組合，例如NTScalar、NTTable等類型［6，17］，圖10為樣機(jī)使用的符合規(guī)范類型的數(shù)據(jù)結(jié)構(gòu)定義，該結(jié)構(gòu)化數(shù)據(jù)給出了與設(shè)備相關(guān)的所有標(biāo)量數(shù)據(jù)。

圖10 結(jié)構(gòu)化數(shù)據(jù)定義Fig.10 Design of the structure data

EPICS 7的pvget命令［18］可以將結(jié)構(gòu)化數(shù)據(jù)的信息以json格式打印。利用python獲取該結(jié)構(gòu)化數(shù)據(jù)中的信息，并編寫數(shù)據(jù)可視化程序，將結(jié)構(gòu)化數(shù)據(jù)中dataList存儲的數(shù)據(jù)可視化，方便進(jìn)行故障分析。

4 故障分析樣機(jī)搭建與測試

故障分析樣機(jī)搭建時(shí)，硬件設(shè)備使用了銣原子鐘、信號源、EVG、EVR以及數(shù)據(jù)采集卡，其中數(shù)據(jù)采集卡用于提供模擬數(shù)據(jù)；軟件采用vxWorks作為操作系統(tǒng)，使用EPICS 7的IOC以提供PV。

如圖11所示，從兩個(gè)數(shù)據(jù)采集卡中讀取到的一次模擬故障數(shù)據(jù)，且存儲在結(jié)構(gòu)化數(shù)據(jù)的dataList中。數(shù)據(jù)采集卡數(shù)據(jù)緩存區(qū)的采樣頻率為100 MHz，因此，每兩個(gè)數(shù)據(jù)點(diǎn)的時(shí)間間隔為10 ns。

圖11 從不同站點(diǎn)讀取的結(jié)構(gòu)化數(shù)據(jù)Fig.11 Structure data from different test stations of the experiment

將兩個(gè)模擬故障信號的延時(shí)分別設(shè)置為0 ns與1 000 ns，鎖存信號延時(shí)均設(shè)置為4 μs。利用python編寫程序，將兩個(gè)結(jié)構(gòu)化數(shù)據(jù)中dataList存儲的數(shù)據(jù)進(jìn)行呈現(xiàn)，由于兩個(gè)數(shù)據(jù)采集卡獲取到的數(shù)據(jù)的時(shí)間戳相同，因此呈現(xiàn)的兩組數(shù)據(jù)的橫坐標(biāo)得以對齊，如圖12所示。這說明事件時(shí)間是可靠的；兩組數(shù)據(jù)中的故障數(shù)據(jù)相差100個(gè)數(shù)據(jù)點(diǎn)，因此，故障發(fā)生的時(shí)間間隔為1 μs，與設(shè)置的延時(shí)間隔相同。從實(shí)驗(yàn)的結(jié)果可知，若故障數(shù)據(jù)產(chǎn)生于故障觸發(fā)信號到達(dá)前，則這些數(shù)據(jù)均可采集到，并且可以區(qū)分兩組數(shù)據(jù)中的故障點(diǎn)位置，與實(shí)驗(yàn)的預(yù)期相符合。

圖12 模擬故障數(shù)據(jù)的采集分析Fig.12 Data collection and analysis of simulated failure event

5 結(jié)語

本文設(shè)計(jì)并實(shí)現(xiàn)了基于高精度時(shí)間數(shù)據(jù)的加速器故障分析樣機(jī)，可用于分析加速器運(yùn)行時(shí)出現(xiàn)的快速故障過程，定位故障產(chǎn)生的根本原因。該故障分析樣機(jī)的可行性已經(jīng)在實(shí)驗(yàn)室得到了驗(yàn)證，即將應(yīng)用于CSNS加速器。后續(xù)將在數(shù)據(jù)存儲以及數(shù)據(jù)分析和呈現(xiàn)等方面進(jìn)行進(jìn)一步的開發(fā)。

作者貢獻(xiàn)聲明程司農(nóng)：設(shè)計(jì)實(shí)驗(yàn)方案，實(shí)驗(yàn)硬件環(huán)境搭建，實(shí)施研究，論文撰寫和修改；張昭：參與方案設(shè)計(jì)，參與研究過程和問題討論；朱鵬：參與實(shí)驗(yàn)環(huán)境搭建；劉智、王林、徐廣磊：參與方案設(shè)計(jì)；張玉亮：負(fù)責(zé)方案提出，論文修改指導(dǎo)，研究經(jīng)費(fèi)支持；雷革：負(fù)責(zé)方案提出，論文修改指導(dǎo)。