劉少海 陳永忠 韓利峰

基于PRP協(xié)議的EPICS冗余技術(shù)

劉少海1,2陳永忠1,3韓利峰1,3

1（中國科學(xué)院上海應(yīng)用物理研究所 嘉定園區(qū) 上海 201800）2（中國科學(xué)院大學(xué) 北京 100049）3（中國科學(xué)院核輻射與核能技術(shù)重點(diǎn)實(shí)驗(yàn)室 上海 201800）

冗余技術(shù)是提高EPICS (Experimental Physics and Industrial Control System)在核電領(lǐng)域應(yīng)用可靠性的有效解決方案。不同于當(dāng)前采用的“熱備用”冗余模式，本文借鑒IEC 62439-3標(biāo)準(zhǔn)所發(fā)布的并行冗余協(xié)議(Parallel Redundancy Protocol, PRP)闡述的“并行”冗余模式，分析了該協(xié)議的應(yīng)用層實(shí)現(xiàn)方案用于EPICS系統(tǒng)的可行性，并參照EPICS的通道訪問協(xié)議(Channel Access, CA)，在Linux系統(tǒng)下開發(fā)了基于PRP的EPICS CA協(xié)議軟件。測(cè)試表明，基于PRP應(yīng)用層協(xié)議方案的EPICS CA協(xié)議，在網(wǎng)絡(luò)單點(diǎn)故障時(shí)可以實(shí)現(xiàn)無縫切換的高可靠性要求，為提高核電領(lǐng)域EPICS系統(tǒng)的通信網(wǎng)絡(luò)可靠性，提供了實(shí)現(xiàn)方式。

并行冗余協(xié)議，核電，EPCIS，網(wǎng)絡(luò)冗余，可靠性

由美國洛斯阿拉莫斯國家實(shí)驗(yàn)室(Los Alamos National Laboratory, LANL)和阿貢國家實(shí)驗(yàn)室(Argonne National Laboratory, ANL)等聯(lián)合開發(fā)的大型分布式實(shí)時(shí)控制軟件系統(tǒng)EPICS (Experimental Physics and Industrial Control System)[1?2]，以其易擴(kuò)展、開源、高可靠性、高性能以及對(duì)多平臺(tái)的支持，已被應(yīng)用到核電領(lǐng)域的大科學(xué)實(shí)驗(yàn)裝置中。如國際熱核聚變實(shí)驗(yàn)反應(yīng)堆(International Thermonuclear Experimental Reactor, ITER)[3]、中國科學(xué)院釷基熔鹽核能項(xiàng)目前期研發(fā)中的反應(yīng)堆功率控制系統(tǒng)[4]等。由于核電的特殊性，對(duì)EPICS系統(tǒng)網(wǎng)絡(luò)通信的可靠性提出了更高的要求，而冗余技術(shù)恰是提高EPICS系統(tǒng)通信網(wǎng)絡(luò)的穩(wěn)定性、可靠性的有效方法之一。

當(dāng)前，EPICS控制系統(tǒng)的冗余技術(shù)主要采用IOC (Input/Output Controller)“熱備用”的模式，通過備用、切換的方式使系統(tǒng)在產(chǎn)生故障時(shí)仍然能正常有效運(yùn)行。如文獻(xiàn)[4?6]提出采用德國電子同步加速器(Deutsches Elektronen Synchrotron, DESY)實(shí)驗(yàn)室的IOC冗余方法和采用Linux-HA的Heartbeat軟件來實(shí)現(xiàn)EPICS IOC的冗余切換，熱備切換時(shí)間小于1s[4]。

為進(jìn)一步提高可靠性，本文借鑒了其他工控領(lǐng)域（如智能變電站）的先進(jìn)冗余技術(shù)，參考IEC 62439-3[7]發(fā)布的并行冗余協(xié)議(Parallel Redundancy Protocol, PRP)，以及文獻(xiàn)[8]提出的PRP在應(yīng)用層實(shí)現(xiàn)的協(xié)議方案，探索用“并行”冗余模式來實(shí)現(xiàn)EPICS通信網(wǎng)絡(luò)的冗余。

1 EPICS系統(tǒng)軟件結(jié)構(gòu)

基于分布式標(biāo)準(zhǔn)的EPICS結(jié)構(gòu)如圖1[2]。EPICS是基于客戶端/服務(wù)器模型的軟件工具集，主要包括兩部分：OPI (Operator Interface)層和IOC層。OPI分兩層：通道訪問CA客戶端接口和應(yīng)用軟件；IOC分6層：通道訪問CA服務(wù)端和客戶端接口、數(shù)據(jù)庫訪問接口、動(dòng)態(tài)數(shù)據(jù)庫、記錄支持模塊、設(shè)備支持模塊、設(shè)備驅(qū)動(dòng)器。EPICS軟件系統(tǒng)的核心機(jī)制是分布式動(dòng)態(tài)數(shù)據(jù)庫(Runtime database)和通道訪問協(xié)議(Channel Access, CA)。

圖1 EPICS系統(tǒng)結(jié)構(gòu)Fig.1 Structure of EPICS.

分布式動(dòng)態(tài)數(shù)據(jù)庫中記錄的數(shù)據(jù)單元稱為過程變量(Process Variable, PV)，它實(shí)時(shí)地反映I/O量的控制與運(yùn)行屬性。

EPICS軟件中的各個(gè)組件通過CA交換數(shù)據(jù)。CA是EPICS依據(jù)客戶端/服務(wù)端模型，建立在UDP/IP與TCP/IP 網(wǎng)絡(luò)通訊協(xié)議之上的應(yīng)用層協(xié)議，是連接OPI與IOC的一條軟件總線，為OPI和IOC分別提供應(yīng)用接口子程序庫[9]。

2 PRP應(yīng)用層協(xié)議方案

IEC 62439-3發(fā)布的PRP采用網(wǎng)絡(luò)節(jié)點(diǎn)冗余的方式[7,10]，以“并行”的冗余模式，從理論上實(shí)現(xiàn)了零自愈時(shí)間（切換時(shí)間為0）的無縫切換效果。PRP協(xié)議可以通過驅(qū)動(dòng)層軟件、應(yīng)用層軟件或硬件來實(shí)現(xiàn)[7?8,11]。本文根據(jù)EPICS CA是基于TCP/IP的應(yīng)用層協(xié)議且采用客戶端/服務(wù)端模型這一特性，選擇將PRP應(yīng)用層協(xié)議方案作為研究對(duì)象。在應(yīng)用層實(shí)現(xiàn)的PRP協(xié)議的節(jié)點(diǎn)結(jié)構(gòu)與網(wǎng)絡(luò)拓?fù)淙鐖D2[8]。

圖2 應(yīng)用層的PRP節(jié)點(diǎn)結(jié)構(gòu)與網(wǎng)絡(luò)拓?fù)銯ig.2 Node structure and network topology of PRP on the application layer.

網(wǎng)絡(luò)中的節(jié)點(diǎn)用雙端口分別連接到兩個(gè)獨(dú)立的、并列運(yùn)行的、拓?fù)浣Y(jié)構(gòu)無關(guān)聯(lián)的局域網(wǎng)中。且節(jié)點(diǎn)的兩個(gè)以太網(wǎng)卡的MAC地址不同，IP地址處于不同網(wǎng)段。因此，其中一個(gè)局域網(wǎng)發(fā)生單點(diǎn)故障時(shí)，不會(huì)影響到另一個(gè)正常局域網(wǎng)的通信。對(duì)兩節(jié)點(diǎn)間通信，單點(diǎn)故障并不會(huì)干擾正常通信；因?yàn)闆]有切換，故自愈時(shí)間為0。

圖2中，PRP Socket API (Application Programming Interface)是協(xié)議中額外一層，它對(duì)系統(tǒng)Socket的接口函數(shù)recv()和send()分別進(jìn)行處理，并封裝成新的接口函數(shù)prp_recv()和prp_send()。應(yīng)用軟件可通過調(diào)用PRP Socket API來實(shí)現(xiàn)冗余功能——調(diào)用重復(fù)報(bào)文丟棄算法來實(shí)現(xiàn)對(duì)報(bào)文的“雙發(fā)雙收”。

2.1 重復(fù)報(bào)文處理

在發(fā)送節(jié)點(diǎn)中，PRP Socket API收到來自應(yīng)用上層的數(shù)據(jù)后，復(fù)制成兩份；根據(jù)兩個(gè)網(wǎng)卡IP的不同，分別給數(shù)據(jù)幀加上4字節(jié)的冗余控制標(biāo)簽(Redundancy Control Tag, RCT)，然后經(jīng)TCP/IP層層封裝后，將其分別從對(duì)應(yīng)的網(wǎng)卡同時(shí)發(fā)送出去。

RCT的封裝格式見圖3。由三個(gè)參數(shù)組成：占16位的序列號(hào)(Sequence)、占4位的局域網(wǎng)標(biāo)識(shí)符(LAN)和占12位的用戶數(shù)據(jù)總長(zhǎng)度(Size)。

圖3 PRP封裝格式Fig.3 Format of PRP encapsulation.

接收節(jié)點(diǎn)收到一對(duì)邏輯上的“重復(fù)”報(bào)文后，通過提取RCT參數(shù)，配合各自對(duì)應(yīng)的局域網(wǎng)建立的重復(fù)報(bào)文丟棄算法，即可實(shí)現(xiàn)對(duì)冗余報(bào)文的處理。使先到的報(bào)文上傳，后到達(dá)的報(bào)文被丟棄。

根據(jù)IEC 62439發(fā)布的PRP協(xié)議標(biāo)準(zhǔn)以及其擴(kuò)展協(xié)議HSR標(biāo)準(zhǔn)。重復(fù)報(bào)文丟棄算法可以采用丟棄窗口算法、基于查閱表的算法等[7,12]。本文采用丟棄窗口算法，如圖4所示。丟棄窗口由三個(gè)參數(shù)組成：本局域網(wǎng)丟棄的最小序列號(hào)startSeq、保存在數(shù)據(jù)幀RCT中的currentSeq以及期望序列號(hào)expectedSeq，且expectedSeq = currentSeq+1。

圖4 丟棄窗口算法Fig.4 Drop window algorithm.

若來自局域網(wǎng)B的報(bào)文的currentSeq落入網(wǎng)A的丟棄窗口內(nèi)，則將其丟棄。若currentSeq落在網(wǎng)A的丟棄窗口外，則該報(bào)文上傳。

3 基于PRP的EPICS CA協(xié)議軟件構(gòu)架

EPICS的各個(gè)組件間（OPI與IOC，IOC與IOC）的通信，必須通過CA進(jìn)行。CA協(xié)議和PRP應(yīng)用層協(xié)議方案均采用客戶端/服務(wù)端模式，且都基于TCP/IP，有良好的兼容性。本文將研究CA協(xié)議調(diào)用PRP Socket API，使CA協(xié)議具備并行冗余功能，以提高EPICS通信的可靠性。冗余EPICS系統(tǒng)軟件結(jié)構(gòu)如圖5所示。

圖5 冗余的EPICS系統(tǒng)結(jié)構(gòu)Fig.5 Structure of redundant EPICS.

CA client要實(shí)現(xiàn)與CA server的通信，基本上要完成兩個(gè)步驟：通道的定位和數(shù)據(jù)的讀寫。

3.1 通道定位

CA client通過向子網(wǎng)或預(yù)先定義的地址列表發(fā)送UDP廣播包搜索目標(biāo)機(jī)和過程變量PV。網(wǎng)絡(luò)中的IOC的CA server在收到UDP廣播消息后，將在本地運(yùn)行的數(shù)據(jù)庫中檢索。擁有請(qǐng)求的PV的IOC也將通過向CA client發(fā)送UDP包給出應(yīng)答，沒有請(qǐng)求的PV的IOC將會(huì)忽略這一廣播消息。

由于PV在整個(gè)EPICS控制系統(tǒng)中必須是唯一標(biāo)識(shí)，這要求EPICS系統(tǒng)中的所有記錄必須具有不同的名稱。在非冗余情況下，若出現(xiàn)多個(gè)IOC對(duì)客戶端的PV廣播搜索給出應(yīng)答，CA client將只接受第一個(gè)到達(dá)的UDP消息，后面的應(yīng)答消息將會(huì)被忽略。這說明CA協(xié)議在基于UDP/IP協(xié)議的通道定位過程中，具備良好的并行冗余數(shù)據(jù)處理功能。

3.2 數(shù)據(jù)讀寫

定位通道以后，CA client將會(huì)獲得給出應(yīng)答的IOC的IP地址和通信端口號(hào)等信息，然后CA client就會(huì)與此IOC的CA server之間建立可靠的、可復(fù)用的TCP連接，實(shí)現(xiàn)數(shù)據(jù)的讀寫。如果在同一IOC上發(fā)現(xiàn)多個(gè) PV，將使用同一個(gè)TCP連接完成通信。

于是，要使EPICS的實(shí)現(xiàn)并行冗余通信，必須解決CA協(xié)議基于TCP/IP的并行冗余的問題。即必須使CA協(xié)議客戶端在獲得冗余IOC其中一個(gè)的IP地址及通信端口以后，再在推導(dǎo)出另一冗余網(wǎng)絡(luò)對(duì)應(yīng)的IOC的IP及通信端口，然后通過兩個(gè)局域網(wǎng)分別建立TCP連接，并讓OPI（或IOC）的應(yīng)用程序調(diào)用PRP Socket API，即prp_recv()和prp_send()來完成通信數(shù)據(jù)的“雙發(fā)雙收”。

原CA協(xié)議的CA sever基于TCP的程序模塊，主要采用“單客戶端單線程、統(tǒng)一accept()的TCP并發(fā)服務(wù)器模型”[13]。當(dāng)客戶端連接到來后，accept()新生成的socket將會(huì)放入client結(jié)構(gòu)體中，程序以后的操作將以client為操作對(duì)象。然后使用epicsThreadCreate()函數(shù)建立一個(gè)線程來進(jìn)行客戶端請(qǐng)求的處理。

為增強(qiáng)PRP Socket API與CA協(xié)議的兼容性，本文只在其創(chuàng)建、調(diào)用socket函數(shù)的時(shí)候，同時(shí)創(chuàng)建和調(diào)用了相同的socket函數(shù)，并用prp_recv()和prp_send()替代recv()和send()等IO接口。如此，就在原協(xié)議基礎(chǔ)上建立了第二條并行的TCP通道。

基于PRP應(yīng)用層協(xié)議方案的EPICS CA協(xié)議軟件構(gòu)架如圖6和圖7。

圖6 雙網(wǎng)卡CA client的TCP客戶端模型Fig.6 TCP client model of CA client with dual network interface cards.

圖7 雙網(wǎng)卡CA server的TCP并發(fā)服務(wù)器模型Fig.7 TCP concurrent server model of CA server with dual network interface cards.

4 測(cè)試

本文在凌華科技ATCA的兩臺(tái)刀片服務(wù)器aTCA-6900上分別安裝操作系統(tǒng)Red Hat Enterprise Linux 6和EPICS Base R3.14.12，用實(shí)驗(yàn)室局域網(wǎng)搭建了如圖5所示的EPICS并行冗余性能平臺(tái)。其中，節(jié)點(diǎn)(a)將作為Soft IOC，節(jié)點(diǎn)(b)將在Linux終端通過EPICS命令行工具(caget、caput、camonitor等)調(diào)用CA client作為客戶端，讀取和顯示節(jié)點(diǎn)(a)中Soft IOC的PV值。IOC數(shù)據(jù)庫中的部分記錄如下：

節(jié)點(diǎn)(a)上啟動(dòng)IOC后，在節(jié)點(diǎn)(b)上通過camonitor監(jiān)測(cè)過程變量shawn:calcExample。其中節(jié)點(diǎn)間的通信間隔時(shí)間t為掃描時(shí)間SCAN。SCAN= 500 ms時(shí)camonitor的運(yùn)行結(jié)果見圖8。

在運(yùn)行期間，使網(wǎng)絡(luò)B（或網(wǎng)絡(luò)A）發(fā)生單點(diǎn)故障。記錄在不同SCAN= {1 s, 500 ms, 200 ms, 100ms, 80 ms, 50 ms}下，包括故障點(diǎn)的節(jié)點(diǎn)通信間隔時(shí)間T（T=切換時(shí)間+SCAN）在內(nèi)的故障發(fā)生前后的80個(gè)通信間隔時(shí)間t。圖9為掃描時(shí)間(SCAN)=100 ms的三次測(cè)試結(jié)果散點(diǎn)圖。

由圖8可知，EPICS的冗余CA協(xié)議在“通道定位”過程中，能夠從冗余的IOC中選擇其中一個(gè)作為TCP連接的對(duì)象。

由圖9可知，“數(shù)據(jù)讀寫”過程中出現(xiàn)單點(diǎn)故障（如LAN_B斷開）時(shí)，故障點(diǎn)的通信間隔時(shí)間t（橫坐標(biāo)X=40的點(diǎn)）與正常通信間隔時(shí)間t在誤差允許的范圍內(nèi)相等，即無明顯的切換時(shí)間，單點(diǎn)故障并不會(huì)影響節(jié)點(diǎn)間的通信?；凇安⑿小蹦Ｊ降娜哂喾椒梢詾樘岣逧PICS通信的可靠性提供一種很好的思路和實(shí)現(xiàn)方式。

圖8 SCAN=500 ms時(shí)camonitor運(yùn)行結(jié)果Fig.8 Result of running camonitor by SCAN=500 ms.

圖9 SCAN=100 ms時(shí)測(cè)試結(jié)果Fig.9 Result of test by SCAN=100 ms.

5 結(jié)語

本文對(duì)基于PRP應(yīng)用層協(xié)議方案的EPICS網(wǎng)絡(luò)冗余技術(shù)進(jìn)行了原理性探究。用EPICS的通道訪問協(xié)議CA調(diào)用PRP Socket API，使CA協(xié)議基于TCP/IP的模塊具備了并行冗余數(shù)據(jù)處理功能。測(cè)試結(jié)果表明，基于PRP的CA協(xié)議可以實(shí)現(xiàn)網(wǎng)絡(luò)無縫切換的高可靠性要求。當(dāng)然，PRP技術(shù)還可以用網(wǎng)絡(luò)驅(qū)動(dòng)或者鏈路層硬件的形式與EPICS相結(jié)合，這可以做進(jìn)一步的研究。對(duì)特別注重可靠性、穩(wěn)定性的核反應(yīng)堆工控領(lǐng)域而言，基于PRP技術(shù)的EPICS網(wǎng)絡(luò)冗余方式存在很高的應(yīng)用價(jià)值。

1 EPICS home page[EB/OL]. http://www.aps.anl.gov/epics, 2014-7-9

2 Kraimer M R, Anderson J B, Johnson A N, et al. EPICS application developer's guide[EB/OL]. http://www.Aps. anl.gov/epics/base/R3-14/12.php, 2014-12-5

3 Wallander A, Abadie L, Maio F D, et al. News from ITER controls-a status report[C]. Proceedings of ICALEPCS, 2011: 1?4

4 張寧, 尹聰聰, 韓利峰, 等. 基于EPICS的冗余方法在反應(yīng)堆控制系統(tǒng)中的應(yīng)用研究[J]. 核電子學(xué)與探測(cè)技術(shù), 2013, 33(11): 1350?1353 ZHANG Ning, YIN Congcong, HAN Lifeng, et al. Application study of EPICS-based redundant method for reactor control system[J]. Nuclear Electronics & Detection Technology, 2013, 33(11): 1350?1353

5 尹聰聰, 韓利峰, 李勇平, 等. EPICS IOC冗余技術(shù)研究[J]. 自動(dòng)化儀, 2013, 34(12): 73?75 YIN Congcong, HAN Lifeng, LI Yongping, et al. Research on EPICS IOC redundant technology[J]. Process Automation Instrumentation, 2013, 34(12): 73?75

6 李剛, 趙籍九, 雷革, 等. 基于ATCA平臺(tái)的EPICS/IOC冗余技術(shù)研究[J]. 核電子學(xué)與探測(cè)技, 2010, 30(7): 879?884 LI Gang, ZHAO Jijiu, LI Ge, et al. Research of redundant EPICS/IOC based on the ATCA platform[J]. Nuclear Electronics & Detection Technology, 2010, 30(7): 879?884

7 International Electrotechnical Commission. IEC 62439 SC 65C high availability automation networks[S]. Geneva, Switzerland: IEC, 2008

8 劉少海, 陳永忠, 韓利鋒, 等. PRP協(xié)議在反應(yīng)堆儀控系統(tǒng)控制網(wǎng)絡(luò)中的初步應(yīng)用[J]. 核技術(shù), 2014, 37(11): 110603 LIU Shaohai, CHEN Yongzhong, HAN Lifeng, et al. Research on application of PRP to the control network for digital I&C of nuclear reactor[J]. Nuclear Techniques, 2014, 37(11): 110603

9 丁建國, 劉松強(qiáng). EPICS系統(tǒng)中的網(wǎng)絡(luò)技術(shù)[J]. 核技術(shù), 2006, 29(5): 380?383 DING Jianguo, LIU Songqiang. Network technologies applied in EPICS system[J]. Nuclear Techniques, 2006, 29(5): 380?383

10 Araujo J A, Lazaro J, Astarloa A, et al. High availability automation networks: PRP and HSR ring implementations[C]. Industrial Electronics (ISIE), 2012 IEEE International Symposium, Hangzhou, CN, 2012

11 謝志迅, 鄧素碧, 臧德?lián)P. 數(shù)字化變電站通信網(wǎng)絡(luò)冗余技術(shù)[J]. 電力自動(dòng)化設(shè)備, 2011, 31(9): 100?103, 120 XIE Zhixun, DENG Subi, ZANG Deyang. Redundancy technique of digital substation communication network[J]. Electric Power Automation Equipment, 2011, 31(9): 100?103,120

12 Jiang X Z. High availability seamless ring protocol implementation in FPGA[D]. Switzerland: ETH Zurich, 2009

13 宋敬彬, 孫海濱. Linux網(wǎng)絡(luò)編程[M]. 第二版. 北京:清華大學(xué)出版社, 2014 SONG Jingbin, SUN Haibin. Linux network programming[M]. 2ndEd. Beijing: Tsinghua University, 2014

CLC TL362+.5

EPICS redundancy technology based on PRP

LIU Shaohai1,2CHEN Yongzhong1,3HAN Lifeng1,3
1(Shanghai Institute of Applied Physics, Chinese Academy of Sciences, Jiading Campus, Shanghai 201800, China) 2(University of Chinese Academy of Sciences, Beijing 100049, China) 3(Key Laboratory of Nuclear Radiation and Nuclear Energy Technology, Chinese Academy of Sciences, Shanghai 201800, China)

Background: Redundancy technology can be used as an effective solution to improve the reliability of Experimental Physics and Industrial Control System (EPICS) applied to nuclear reactor, and the most popular redundancy method is a standby mode with the switching time less than 1 s. Meanwhile, the Parallel Redundancy Protocol (PRP) released in standard IEC62439-3 is proposed as a possible solution to provide zero switching time in case of a single-point failure. Purpose: In order to further improve the reliability of EPICS to fulfill the high-reliability requirements of the redundancy control network in nuclear reactor, the "parallel" redundancy mode elaborated in PRP is applied to the nuclear reactor. Methods: The feasibility of EPICS achieving a high reliability based on PRP technology is analyzed, and a software implementation example of Channel Access (CA) protocol of EPICS has been developed over Linux based on PRP which implemented on the application layer. Results: Test results show that the high-reliability requirements of completely seamless switchover can be realized when a single-point failure occurs in the redundant network. Conclusion: With the proposed implementation plan, the redundant EPICS can be employed to achieve a high-reliability network for nuclear reactor.

Parallel Redundancy Protocol (PRP), Nuclear reactor, Experimental Physics and Industrial Control System (EPICS), Network redundancy, Reliability

TL362+.5

10.11889/j.0253-3219.2015.hjs.38.040401

中國科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(xiàng)(No.XDA02010300)資助

劉少海，男，1988年出生，2012年畢業(yè)于三峽大學(xué)，現(xiàn)為碩士研究生，核技術(shù)及應(yīng)用專業(yè)

陳永忠，E-mail: chenyongzhong@sinap.ac.cn

2015-01-19，

2015-03-02