張東方，薛凌云，饒歡樂，徐 平

(杭州電子科技大學(xué)自動化學(xué)院，浙江 杭州 310018)

0 引 言

分布式網(wǎng)絡(luò)化多軸運動控制系統(tǒng)(Distributed Networked Multi-Axial Motion Control System, DNMAMCs)引入全局信息網(wǎng)絡(luò)和局域控制網(wǎng)絡(luò)，使運動控制系統(tǒng)具備良好的系統(tǒng)柔性、容錯性和遠(yuǎn)程控制能力[1-2]。由于DNMAMCs系統(tǒng)極高的實時要求，需要嚴(yán)密監(jiān)視全局信息和控制回路上下行數(shù)據(jù)流，要求網(wǎng)絡(luò)上下文中各組件內(nèi)部和外部狀態(tài)保持嚴(yán)格的時間同步，并對多跳通信結(jié)構(gòu)下的跨層次任務(wù)協(xié)同調(diào)度提出極高要求。如何克服網(wǎng)絡(luò)誘導(dǎo)產(chǎn)生的網(wǎng)絡(luò)不完美性，如數(shù)據(jù)傳送延時、抖動、報文丟失和誤碼率等，成為這類系統(tǒng)設(shè)計亟需解決的問題[3-4]。目前，在非線性網(wǎng)絡(luò)控制系統(tǒng)(Network Control System, NCS)研究中，網(wǎng)絡(luò)不完美性一般以網(wǎng)絡(luò)服務(wù)質(zhì)量(Quality of Service，QoS)參數(shù)表示，如傳輸時延、周期性抖動量、最大許可帶寬和最大許可傳輸間隔等，通常被假設(shè)為隨機(jī)且有界。QoS參數(shù)通過時間約束的形式化表達(dá)，與傳統(tǒng)的時延系統(tǒng)、切換系統(tǒng)、隨機(jī)控制和最優(yōu)控制理論相結(jié)合，構(gòu)建特定的NCSs系統(tǒng)[5-6]。這些設(shè)計方法主要通過采用李雅普諾夫函數(shù)、線性矩陣不等式及平方和等技術(shù)得到充分條件[7]，較少涉及分布式網(wǎng)絡(luò)“感知-計算-控制”整個通信過程的任務(wù)可調(diào)度性、時延約束一致性等問題。本文基于透明時鐘機(jī)制，建立分布式時鐘來統(tǒng)一DNMAMCs系統(tǒng)的時間測度，生成一類基于保障性時隙(Guaranteed Time Slot, GTS)序列的跨層次調(diào)度(Cross-Layer Scheduling, CLS)時刻表。依據(jù)時刻表，設(shè)計基于Kalman濾波器和比例-積分(Proportional Integral, PI)控制器的級聯(lián)控制器，精確控制各節(jié)點的GTS序列釋放時間，從而使采樣、計算、控制時序保持嚴(yán)格的同步關(guān)系。

1 問題描述

由于DNMAMCs系統(tǒng)應(yīng)用任務(wù)往往具有混合性，計算-控制單元和通信鏈路的狀態(tài)及負(fù)荷是動態(tài)變化的，并呈現(xiàn)出分布式特征。DNMAMCs系統(tǒng)動態(tài)行為幾乎不能單純用點對點的控制來解決協(xié)調(diào)與同步問題，需要來自底層的服務(wù)來支持系統(tǒng)的可調(diào)度性，而這些底層服務(wù)具有任務(wù)關(guān)鍵性和時間敏感性，依附于通信網(wǎng)絡(luò)的帶寬和協(xié)調(diào)一致的時空約束條件。因此，DNMAMCs系統(tǒng)QoS參數(shù)需要具體化更多的設(shè)計參數(shù)，不僅僅是與控制過程相關(guān)的網(wǎng)絡(luò)誘導(dǎo)產(chǎn)生的時延、抖動等參數(shù)，還有與任務(wù)部署正確性、調(diào)度及時性以及服務(wù)過程容錯性相關(guān)的MAC模型參數(shù)。

本文基于如圖1所示的3層分布并行結(jié)構(gòu)的DNMAMCs系統(tǒng)研究協(xié)同調(diào)度方法。管理層的計算-控制單元(Computing-Control Unit, CCU)管理應(yīng)用系統(tǒng)的任務(wù)組合和協(xié)同，監(jiān)視系統(tǒng)運行；協(xié)調(diào)監(jiān)視層的路由節(jié)點(Access Node, AN)控制報文的傳輸路徑，同步通信任務(wù)的觸發(fā)時間；執(zhí)行層的傳感器節(jié)點(Sensor Node SN)、控制器節(jié)點(Control Node, CN)等終端節(jié)點(Terminal Node, TN)實現(xiàn)特定的實時感知和動態(tài)控制任務(wù)。TN，AN和局域工作站中CCU由局域控制網(wǎng)絡(luò)連接，組成DNMAMCs系統(tǒng)包含多個控制對象的控制局域。全局網(wǎng)絡(luò)連接各工作站，交換各控制局域的運行工況信息。

圖1 網(wǎng)絡(luò)化分布式多軸運動控制系統(tǒng)的層次結(jié)構(gòu)

基于GTS序列的周期系統(tǒng)中，分布式節(jié)點擁有各自獨立的時鐘，并在其預(yù)訂的GTS內(nèi)完成與其相關(guān)聯(lián)的任務(wù)。但是，即使網(wǎng)絡(luò)行為是可預(yù)知的，任務(wù)調(diào)度精度仍主要取決于時鐘同步精度。當(dāng)節(jié)點間時鐘偏差達(dá)到一定程度時，數(shù)據(jù)沖突并不能避免。DNMAMCs系統(tǒng)在實際應(yīng)用環(huán)境下，各節(jié)點的時鐘頻率都會發(fā)生漂移，從而造成節(jié)點之間的時間偏差，導(dǎo)致控制周期和采樣周期的抖動。這對于具有多跳通信結(jié)構(gòu)的DNMAMCs系統(tǒng)的協(xié)同控制極為有害[8]。而且，分布式時鐘與全局層次結(jié)構(gòu)和局域樹結(jié)構(gòu)相關(guān)，主從邏輯關(guān)系復(fù)雜，確定系統(tǒng)規(guī)格參數(shù)十分困難。雖然，IEEE 1588精確時間協(xié)議(Precision Time Protocol, PTP)-2008引入了透明時鐘(Transparent Clock, TC)機(jī)制來解決級聯(lián)網(wǎng)絡(luò)中時鐘同步誤差以指數(shù)形式累積問題[9]，但如何將TC時鐘嵌入到MAC協(xié)議中，PTP協(xié)議并沒有給出具體的部署方法，CLS問題仍是一個開放問題[10-11]。

2 協(xié)同調(diào)度方法

2.1 跨層次任務(wù)調(diào)度表

本文將圖1所示的并行分布結(jié)構(gòu)分解為一系列可級聯(lián)的樹結(jié)構(gòu)，利用分布式時鐘和時間同步技術(shù)，構(gòu)建如圖2所示的可并行執(zhí)行的CLS時刻表：AN作為控制局域的簇頭，接收、分解、重組和轉(zhuǎn)發(fā)來自TN的時間同步信息，并使同步信息沿著控制回路“SN-AN-CCU-AN-CN”有序傳送。SN和CN分別作為控制回路的發(fā)起者和終端執(zhí)行者，維護(hù)多跳通信的時間同步關(guān)系。CCU僅作為時間同步的參與者，被動接受、發(fā)送經(jīng)AN整合后同步信息，只需滿足計算-控制線程的最壞執(zhí)行時間不大于AN上傳反饋數(shù)據(jù)與下達(dá)控制命令的時間間隔，從而松弛了CCU線程間的同步關(guān)系。

依據(jù)CLS時刻表，DNMAMCs系統(tǒng)S則可被分解為由n個CLS調(diào)度的周期為T的子離散周期系統(tǒng)Si，i∈P={1,2,…,n}。每個子系統(tǒng)由3個狀態(tài)連續(xù)的數(shù)據(jù)流傳送子過程組成，表示如下：

(1)

依據(jù)CLS表定義任務(wù)觸發(fā)的嚴(yán)格時延關(guān)系，DNMAMCs系統(tǒng)的閉環(huán)通信過程表示為：

xs(i,j+1)=As(j)xs(i,j)+Bsy(j)us(i,j)+Bsu(j)u(i,j)

(2)

us(i,j)=Csu(i,j)xs(i,j)+Dsy(j)u(i,j)

(3)

ys(i,j)=Csy(i,j)xs(i,j)+Dsu(j)y(j)(i,j)

(4)

圖2 GTS序列釋放與CLS任務(wù)流調(diào)度

2.2 分布式時鐘

將DNMAMCs系統(tǒng)一系列節(jié)點記為集合K={1,2,…,m}，ε?K×K代表節(jié)點可連接的邊集合，一對可直接通信的相鄰節(jié)點的邊記為{i,j}。設(shè)任意一個可確認(rèn)的節(jié)點均具有內(nèi)部時鐘，并可通過有限的網(wǎng)絡(luò)跳轉(zhuǎn)(hop)數(shù)來實現(xiàn)通信連接，則時間t和本地時鐘讀數(shù)Gi(t)關(guān)系為：

Ci(t)=αit+θii∈K

(5)

式中，θi和αi分別為節(jié)點i的時鐘偏差和偏差的變化。由此，相鄰節(jié)點{i,j}的相對時鐘為：

(6)

式中，θji和αji分別為相鄰節(jié)點{i,j}間相對時鐘偏差和偏差的變化。

在初始化和時鐘再同步過程中，利用如圖3所示的雙向消息傳遞模式，AN與其相鄰節(jié)點{i,j}通過同步-請求(Sync)、同步-跟隨(Follow-Up)、延遲-請求(Delay_Req)和延遲-響應(yīng)(Delay_Resp)等時鐘報文操作，交換并記錄彼此的時鐘信息。經(jīng)過k輪的交換之后，完成分布式時鐘的初始化。

在控制過程中，如圖2所示的多跳鏈路中的鄰節(jié)點采用如圖4所示單向模式傳遞同步信息。各節(jié)點通過解析數(shù)據(jù)報文中的同步消息字段中由上一個節(jié)點發(fā)送報文和自身收、發(fā)報文的硬件時間戳，計算相鄰節(jié)點之間的路徑時延和在節(jié)點自身的駐留時間，轉(zhuǎn)換彼此的相對時鐘關(guān)系：

(7)

(8)

(9)

(10)

圖3 雙向時鐘信息交換

圖4 GTS序列釋放時間同步過程

2.3 GTS釋放時間同步控制

(11)

式中，f0為DNMAMCs系統(tǒng)時鐘的標(biāo)稱頻率，σj為節(jié)點j時鐘頻率相對f0的偏差值，Pj為通信鏈路上相鄰節(jié)點之間的路徑時延，σi(k)為通信鏈路上相鄰節(jié)點GTS實際輸出值與設(shè)定值相對f0的偏差，Bj(k)為在第k次通信周期發(fā)送的在通信鏈路上累積的駐留時延。

各節(jié)點采用如圖5所示的Kalman-PI級聯(lián)控制器結(jié)構(gòu)來實時更新GTS序列釋放時間的設(shè)定值。

圖5 基于Kalman-PI控制器的時鐘同步級聯(lián)控制器結(jié)構(gòu)

(12)

式中，kp和ki分別為PI控制器的比例和積分系數(shù)。

(13)

(14)

(15)

(16)

(17)

定義zi(k)為節(jié)點i與起始節(jié)點的時間偏差，得節(jié)點i的GTS釋放時間測量方程:

zi(k)=Hxi(k)+vi(k)

(18)

式中，H=[1,0]，vi[k]為服從均值為零正態(tài)分布的測量噪聲。

Kalman估計算法包含時間更新與狀態(tài)更新2個過程，迭代公式如下：

(19)

(20)

(21)

(22)

(23)

(24)

3 實驗與結(jié)果分析

3.1 同步性能測試

本文采用意法半導(dǎo)體公司STM32微處理器和Wiznet公司以太網(wǎng)接口芯片W5500，設(shè)計網(wǎng)絡(luò)接口(Network Interface, NI)，構(gòu)建如圖6所示時間同步性能測試系統(tǒng)。該測評系統(tǒng)包括分別連接SN，CN，AN和CCU的4個NI板和1個Switch卡。NI采用未經(jīng)溫度補償或恒溫控制的低成本晶振作為內(nèi)部時鐘，頻率為36 MHz。NI和Switch卡使用100 Mbit/s標(biāo)準(zhǔn)以太網(wǎng)非屏蔽雙絞線相互連接。在測試實驗中，NI引出I/O口線連接泰克公司示波器TDS2024C的2個模擬通道，將SN的時鐘輸出信號作為示波器的觸發(fā)信號，同步捕獲各分布式節(jié)點的GTS序列的釋放時間信號。

圖6 時鐘同步性能測試系統(tǒng)

3.2 結(jié)果分析

分別采用IEEE PTP協(xié)議時鐘、Kalman濾波器和Kalman-PI級聯(lián)控制器進(jìn)行時間同步實驗，以10 ms為GTS序列釋放時間間隔，共2 665次測試實驗中同步捕獲的示波器圖像，結(jié)果如圖7—9所示。

圖7 基于PTP協(xié)議時鐘信號圖

圖8 基于Kalman濾波器時鐘信號圖

圖9 基于Kalman-PI同步算法時鐘信號圖

圖10 峰-峰抖動量與跳數(shù)的關(guān)系曲線

圖7-9中,上半部分為SN的在示波器上的觸發(fā)信號，下半部分為其余節(jié)點相對于SN節(jié)點信號上升沿的時間偏差。表1匯總了控制回路中各節(jié)點時鐘偏差的統(tǒng)計分析數(shù)據(jù)，圖10顯示了GTS序列釋放時間的峰-峰抖動量與在傳輸路徑各跳的關(guān)系曲線。由表1和圖10可知，IEEE 1588 PTP協(xié)議時鐘的時鐘偏差的峰-峰抖動量沿著傳輸路徑急劇增大；基于Kalman濾波器和Kalman-PI控制器的時鐘偏差的峰-峰抖動量顯著小于PTP協(xié)議時鐘的偏差。同時，3種方法沿著數(shù)據(jù)傳輸路徑(跳數(shù))的第1和第2跳的時鐘偏差累積增長分別為958.45 ns，347.25 ns，250.00 ns，第3和第4跳的偏差累積增長分別為1 250.10 ns，333.36 ns，319.45 ns。基于Kalman濾波器和Kalman-PI控制器的時鐘偏差累積增長率顯著小于IEEE 1588 PTP協(xié)議時鐘的增長率。這表明本文的Kalman濾波器和Kalman-PI級聯(lián)控制器能有效抑制GTS序列釋放過程時鐘偏差的累積，提高采樣、控制周期的穩(wěn)定性。

表1 節(jié)點時鐘同步誤差統(tǒng)計分析 ns

4 結(jié)束語

本文針對分布式系統(tǒng)存在的長傳輸路徑延時、時延抖動以及信道不對稱等問題，提出一種DNMAMCs系統(tǒng)的任務(wù)調(diào)度協(xié)同方法。采用全分布式的時鐘同步算法，沿著數(shù)據(jù)鏈路自動對各節(jié)點的時鐘偏差進(jìn)行補償，簡化了時鐘同步的主從邏輯關(guān)系，對可變拓?fù)浜涂勺冩溌肪哂泻軓?qiáng)的適應(yīng)能力。Kalman濾波器和Kalman-PI控制器的控制效果良好且結(jié)構(gòu)簡單，易于嵌入至分布式網(wǎng)絡(luò)節(jié)點，為生成GTS序列、調(diào)度時刻表，及后續(xù)網(wǎng)絡(luò)控制器的設(shè)計提供了基礎(chǔ)。