莊佳園,徐玉如,萬磊,廖煜雷,孫寒冰
(哈爾濱工程大學水下智能機器人技術國防科技重點實驗室,黑龍江哈爾濱15001)
水面無人艇,簡稱無人艇或USV(unmanned surface vehicle),它的研發(fā)晚于陸地機器人、無人機和水下機器人,目前已有多種無人艇應用于軍事、科研等領域[1].文獻[2-3]總結了無人艇的研究歷史、現(xiàn)狀以及發(fā)展趨勢.目前無人艇的典型代表主要有:美國的“SPARTAN”號、以色列的“Protector”號、意大利的“Charlie”號雙體型 USV[4]和英國的“Springer”號雙體型 USV[5]、葡萄牙的“Delfim”號雙體型USV等.
航海雷達在無人艇可用于測定船位、規(guī)劃避碰、目標探測等.Shi等使用雷達信息補償人的視覺在海洋搜索和救援中的不足[6],Almeida等利用航海雷達融合其他傳感器探測障礙物并避碰[7],Elena等將航海雷達用于無人艇的近岸巡邏[8].以上應用都是建立在目標檢測、跟蹤和識別等問題的基礎上.實際上航海雷達圖像由于受到海洋環(huán)境和天氣變化的影響,圖像序列中有的目標時隱時現(xiàn)并伴隨一些虛假目標;雷達圖像幀間間隔較長,造成一些運動參數(shù)(如加速度)連續(xù)性不好.這些問題都影響了航海雷達在無人艇上的應用.
首先討論了嵌入式雷達圖像采集處理系統(tǒng)的體系結構.在檢測出目標并計算對應位置信息的基礎上,基于航海雷達圖像中目標的特點提取目標的位置、面積、不變矩特征,在圖像序列中進行目標特征匹配,建立目標鏈.利用卡爾曼濾波實現(xiàn)目標位置的預測,以彌補目標在雷達圖像序列中可能會偶然丟失的缺點,防止目標鏈的斷裂.最后試驗驗證了系統(tǒng)的有效性.
研究平臺為單體滑行艇式無人艇.該USV系統(tǒng)是為了實現(xiàn)自主航行、智能規(guī)劃、作業(yè)任務而研制的無人試驗平臺.同時也可以應用到多種無人平臺(即無人艇、水下機器人、無人機等)的編隊航行和協(xié)同作業(yè)等多智能體聯(lián)合控制研究中.
航海雷達和嵌入式雷達圖像采集處理系統(tǒng)作為本試驗平臺的重要組成部分,是實現(xiàn)平臺環(huán)境感知、安全航行、目標探測的關鍵所在.無人艇圖像采集處理系統(tǒng)由航海雷達及嵌入式計算機系統(tǒng)(硬件角度)和嵌入式圖像處理系統(tǒng)(軟件角度)組成,下面分別就這2個方面進行闡述.
本無人艇平臺使用的航海雷達為Raymarine公司生產的E80數(shù)字雷達,具有抗干擾能力強、圖像質量高等優(yōu)點,可以同步輸出VGA雷達圖像視頻.
硬件體系結構如圖1所示.
嵌入式計算系統(tǒng)由基于PC/104總線的多板嵌入式系統(tǒng)組成,包括基于Intel Pentium M處理器的PC模塊,基于PC/104總線的視頻采集卡以及一個提供5 V電壓的電源模塊.
嵌入式PC/104模塊中采用Wind River公司的實時多任務操作系統(tǒng)VxWorks.它以其良好的可靠性和卓越的實時性被廣泛地應用在通信、軍事、航空、航天等對實時性要求極高的領域中.
運動控制系統(tǒng)采集到電子羅經的艏向角數(shù)據(jù)、GPS系統(tǒng)的位置和航速數(shù)據(jù),處理后通過網絡交換機傳送給圖像采集處理系統(tǒng).圖像采集處理系統(tǒng)計算雷達探測目標的位置信息和速度參數(shù),提供給路徑規(guī)劃系統(tǒng).路徑規(guī)劃系統(tǒng)對目標進行評估,規(guī)劃航線后向運動控制系統(tǒng)發(fā)送基礎控制指令.
嵌入式圖像處理系統(tǒng)主要由圖像處理模塊、目標特征提取和匹配模塊、卡爾曼濾波目標位置預測模塊組成.
圖1 無人艇雷達圖像采集處理系統(tǒng)硬件體系結構Fig.1 The hardware architecture of USV radar image acquisition and processing system
軟件體系結構如圖2所示.
圖2 無人艇雷達圖像采集處理系統(tǒng)軟件體系結構Fig.2 The software architecture of USV radar image acquisition and processing system
圖像處理模塊通過圖像的平滑、分割、標記實現(xiàn)雷達圖像中目標的檢測,并計算出目標的位置信息.目標特征提取和匹配模塊完成目標位置、面積、不變矩特征的特征值提取,在雷達圖像序列中通過特征匹配找到不同幀中的同一目標,實現(xiàn)目標的跟蹤,建立目標鏈.卡爾曼濾波目標位置預測模塊實現(xiàn)目標位置信息的預測,用預測的位置值來彌補目標丟失而缺少的位置信息,建立完整的目標鏈.
結合航海雷達圖像的特點,重點研究了適合航海雷達圖像特征的圖像處理、目標檢測和目標特征提取算法.
在進行雷達目標檢測、目標跟蹤等處理之前,首先對雷達圖像進行圖像處理,其中包括雷達圖像的平滑和雷達圖像分割.
采用一種圖像邊緣保持的去噪平滑算法,這種去噪平滑算法綜合了中值濾波和加權平均法的優(yōu)點,可以彌補傳統(tǒng)去噪平滑算法的不足[9].針對航海雷達圖像幀與幀之間圖像亮度會發(fā)生變化的特點,使用 Ridler自適應閾值法作為圖像分割算法[10].雷達圖像處理效果如圖3、圖4所示.
圖3 處理前雷達圖像Fig.3 Radar image before processing
圖4 處理后雷達圖像Fig.4 Radar image after processing
由于雷達圖像處理的實時性較高,因此要求對雷達圖像的處理和目標信息的提取有較高的執(zhí)行速度,算法要能夠在較短的時間內完成對目標的標識,從而提取出目標信息.而目前常用的幾種標記算法都有本身的缺陷.綜合線標記法和區(qū)域增長法的優(yōu)點采用一種執(zhí)行效率較高的標記算法[11].
本算法以同一行中所有連通的像素作為種子段,只需判斷種子段的上下2行是否存在與種子段連通的目標段,避免了區(qū)域增長法中對每個種子點做8鄰域判斷所需的大量運算,同時本算法不會產生同一連通區(qū)標記沖突的情況,也避免了對沖突標記重新標記的費時的計算,因此這種算法較目前常用的線標記法和區(qū)域增長法執(zhí)行效率有了較大提高.用本標記算法對圖3雷達圖像進行標記并由近及遠對目標排序,效果如圖5所示:
圖5 標記后雷達圖像Fig.5 Radar image after mark
以USV在雷達圖像中的位置為坐標原點,艏向為Y軸正向,右舷為X軸正向建立直角坐標系,計算圖像中每個目標的坐標和相對位置.目標的位置和距離是指目標在雷達圖像中形狀的質心相對于USV的位置和距離.
假設某個目標由n個像素組成,其中每個像素相對于USV在X軸上的像素距離為pxi,在Y軸上的像素距離為pyi(i=1,2,……,n),則此得到目標相對于USV的位置為
X軸方向:
Y軸方向:
目標相對USV的像素距離為
通過像素距離與實際距離的關系,當前圖像量程為0.5 n mile,USV位置到距離圈為170個像素,即每個像素的實際距離為0.003 n mile.限于篇幅,給出圖3中距離USV最近的5個目標位置信息,如表1所示.
表1 雷達圖像中目標的位置信息Table 1 The location of target in radar image n mile
在雷達系統(tǒng)中,不僅要能夠檢測出目標的位置信息,還要能提供出目標的運動參數(shù)信息(如航速、航向等).對于雷達圖像,一般都含有數(shù)個甚至數(shù)十個、上百個目標,因此,如何在連續(xù)的雷達圖像序列中對應出同一個目標是解決目標跟蹤的重要問題.選擇目標的位置、面積以及不變矩特征相結合的方式來匹配雷達圖像序列中的同一目標.
在雷達圖像序列中,由于每幀圖像之間的時間間隔較短,如文中采用的雷達,約2.5 s掃描出一整幅圖像,因此2幀圖像之間的目標位置變化不會很大.在雷達圖像中目標形狀特征總會發(fā)生變化的情況下,用位置特征來匹配目標可以得到較理想的效果.
目標的面積特征是指每個目標所占的像素點個數(shù).在雷達圖像中,盡管目標的形狀從一幀圖像到下一幀圖像會有所變化,目標的面積也會產生變化,但這樣的變化是在一定范圍之內,不會產生劇烈的變化,因此可將目標的面積特征作為匹配對象之一.
不變矩算法是一種通過提取具有平移、旋轉和比例因子不變性的數(shù)學特征來解決幾何失真問題的方法.Ming-Kuei Hu于1962年在中給出了連續(xù)函數(shù)矩的定義和關于矩的基本性質,證明了有關矩的平移不變性,旋轉不變性以及比例不變性等性質,具體給出了具有平移、旋轉和比例不變性的7個不變矩的定義[12].
Hu利用二階和三階中心矩構造了7個不變矩,具體定義[12]如下:
不變矩特征提取在不變矩的實際計算過程中,不同圖像的不變矩數(shù)值分布范圍非常大.為調整其取值范圍,對7個不變矩取對數(shù)修正為 xi=|g|φi|,i=1,2,…,7.
基于航海雷達圖像的特征,在雷達圖像序列中,有的目標會時隱時現(xiàn),因此單純用目標匹配的方法建立的目標鏈可能會因為在某一幀雷達圖像中目標的丟失而使目標鏈斷裂,造成對目標運動參數(shù)計算的錯誤.因此,利用卡爾曼濾波的預測功能,預測出目標未來的位置信息,用以彌補在某一幀中目標丟失而引起的目標鏈斷裂的缺點,對目標跟蹤具有很好的效果.另外,由于雷達圖像中的目標形狀會時常發(fā)生變化,所提取出的特征未必會較好的完成雷達目標的匹配工作,因此,根據(jù)卡爾曼濾波預測出下一幀的目標的位置來尋找目標在下一幀中的同一目標可以對目標匹配做很好的補充.
卡爾曼濾波的離散時間系統(tǒng)的動態(tài)方程(狀態(tài)方程)可表示為[13-14]
式中:F(k)為狀態(tài)轉移矩陣;X(k)為系統(tǒng)狀態(tài)矢量;n(k)為系統(tǒng)動態(tài)噪聲矢量,其協(xié)方差為Qk,n(k)可以被ΓkWk所代替,Γk為動態(tài)噪聲矩陣,Wk為動態(tài)噪聲.
卡爾曼濾波的離散時間系統(tǒng)的量測方程為
式中:z(k)為系統(tǒng)觀測矢量,H(k)為觀測系數(shù)矩陣,η(k)為系統(tǒng)觀測噪聲矢量.n(k)和η(k)都為均值為零的白噪聲系列,且互不相關,均服從高斯分布.
卡爾曼濾波由以下公式組成:
1)狀態(tài)向量預報方程為
2)狀態(tài)向量協(xié)方差矩陣預報方程為
3)量測的預測協(xié)方差(或新息協(xié)方差)為
4)卡爾曼加權矩陣(或增益矩陣)為
5)狀態(tài)向量更新方程為
其中:ν(k+1)新息或量測殘差,即
6)狀態(tài)向量協(xié)方差更新方程為
卡爾曼濾波器是一個對動態(tài)系統(tǒng)的狀態(tài)序列進行線性最小誤差估計的算法,一般用于線性系統(tǒng).盡管雷達圖像中的目標物體運動有時屬于非線性系統(tǒng),但由于圖像采集時間間隔較短,可近似將單位時間內目標在圖像中的運動看作勻速運動,采用卡爾曼濾波器可以實現(xiàn)目標運動參數(shù)的估.
用目標某一時刻在圖像中的位置和速度來表示目標的運動狀態(tài).為了簡化算法的計算復雜度,設計了2個卡爾曼濾波器分別描述目標在X軸和Y軸方向上位置和速度的變化.下面僅討論X軸方向上卡爾曼濾波器的實現(xiàn)過程,Y軸方向上同理.在這里采用二階運動模型,即勻速運動模型.
3.2.1 系統(tǒng)狀態(tài)方程的建立
目標物體運動方程為
式中:xk、vk、αk分別為目標在t=k時刻X軸方向上的位置、速度和加速度,T為k幀圖像和k+1幀圖像之間的時間間隔.實際計算中,αkT可以當作白噪聲處理.將式(14)寫為矩陣形式為
通過對比式(15)與卡爾曼狀態(tài)方程式(5),可知卡爾曼濾波器系統(tǒng)狀態(tài)矢量為
狀態(tài)轉移矩陣為
系統(tǒng)動態(tài)噪聲矢量為
3.2.2 系統(tǒng)觀測方程的建立
由已經獲取目標的位置信息,即
通過對比式(19)與卡爾曼觀測方程式(6),可得卡爾曼濾波器系統(tǒng)觀測矢量為
觀測系數(shù)矩陣為
建立了上述系統(tǒng)狀態(tài)方程和觀測方程之后,就可以利用卡爾曼濾波方程式(7)~(13),通過遞推方法,不斷預測目標在下一幀中的位置.
根據(jù)二點法來選擇初值.
1)濾波初始狀態(tài)估值為
式中:x0'和x1'分別為0時刻和1時刻x坐標的測量值,T為信號周期.
2)狀態(tài)估值初始協(xié)方差矩陣為
式中:δ2x為x方向的測量噪聲方差.
3)系統(tǒng)動態(tài)噪聲協(xié)方差矩陣Q0可取為
為抑制濾波器發(fā)散,采用的是限定增益法,即當增益下降到某一定值時,讓它不再下降,保持現(xiàn)有的增益不變,以加強當前輸入值的引導作用.
2010年5-7 月,某型USV在山東省蓬萊海區(qū)進行了雷達圖像采集、操縱性和遙控運動控制試驗.應用嵌入式雷達圖像采集處理系統(tǒng)對真實海洋環(huán)境下的雷達圖像進行了大量采集處理工作.下面對具體試驗結果進行分析.圖6為系泊狀態(tài)下的試驗載體某型USV,桅桿頂部為Raymarine E80數(shù)字雷達.
圖6 系泊狀態(tài)下的USVFig.6 The mooring state of USV
選取一組50幀的雷達圖像序列,圖像中主要運動目標為一艘滾裝渡輪,該圖像序列記錄了渡輪進港過程.
圖7中圖像分別為序列中第1幀、第10幀、第20幀、第30幀、第40幀和第50幀圖像,右上方亮斑即為進港渡輪,其余亮斑為港內泊船及碼頭建筑等障礙物.對進港渡輪的目標檢測結果如下.
圖7 雷達圖像序列Fig.7 Radar image sequence
圖8中位置變化以X方向為主,Y方向運動速度較小.X方向位置變化都在0.02 n milde之內(7個像素之內).在當前量程下(0.5 n milde),航速30 kn以下的運動目標在相鄰2幀雷達圖像中的位置變化應該在7個像素之內.由此可見用位置特征來匹配目標可以得到較理想的效果.
圖8 位置變化曲線Fig.8 The change of location
圖9中面積變化在前30幀約為60個像素.后期面積有所增大,主要原因為渡輪在30幀左右減速并轉向進港,增大了雷達反射面積.由于外界環(huán)境干擾和雷達自身原因,目標的形狀在相鄰兩幀圖像會有所變化,隨環(huán)境不同變化范圍也會有所增減,但一般不會發(fā)生劇烈改變,因此可以把面積特征作為位置特征的補償來進行目標匹配.
圖10中不變矩變化曲線反應了目標7個不變矩的變化趨勢,可以看出不變矩I1、I2變化較小,變化范圍在0.7以內,可以較好的反映出目標的特征信息.I3~I7變化范圍較大,但趨勢較平穩(wěn),可以作為目標特征信息的參考.
在雷達圖像目標檢測試驗中,采用的以位置特征匹配為主,面積特征和不變矩特征為參考的目標檢測匹配技術可以較好的完成圖像序列的匹配,達到對目標的跟蹤效果.
圖9 面積變化曲線Fig.9 The change of area
圖10 不變矩變化曲線Fig.10 The change of moment invariants
針對圖7中的圖像序列進行卡爾曼濾波位置預測,結果如圖11、12所示.
圖11 目標位置預測值與實際值比較Fig.11 Comparison of values of predicted and actual target location
從圖11的位置預測曲線和實際預測曲線比較可以看出卡爾曼濾波算法較好的預測了目標的位置信息,預測曲線與實際曲線趨勢吻合,跟蹤效果明顯.圖12的誤差曲線反映預測誤差在濾波初始階段較大,第10幀圖像后,預測值接近穩(wěn)定,誤差在0.01 n mile以內,在圖像上顯示為5個像素以內.
利用卡爾曼濾波完成對雷達圖像中目標位置的預測,不僅可以彌補雷達圖像序列中丟失目標的位置信息,防止造成目標鏈斷裂,還可以根據(jù)預測的位置信息幫助尋找下一幀圖像中的同一目標,以幫助解決由于雷達圖像中目標形狀多變帶來的特征匹配不夠可靠的問題.
圖12 X、Y方向位置預測誤差Fig.12 The predicted error of X and Y location
在海上試驗中,設計的USV嵌入式雷達圖像采集系統(tǒng)多次可靠的長時間運行,驗證了系統(tǒng)在體系結構、圖像處理算法以及系統(tǒng)硬件和軟件方面的合理性.試驗結果表明采用的圖像處理、目標特征匹配和卡爾曼濾波目標跟蹤算法可以在0.5 s內有效的完成對運動目標的檢測和跟蹤,實時提供目標的位置信息,滿足USV圖像采集處理系統(tǒng)的要求.
討論的USV為高速滑行艇,因此復雜海洋環(huán)境下的雷達圖像處理和目標跟蹤方法有待進一步研究.基于雷達圖像的特征,同一目標在雷達圖像序列中的形狀會不斷變化.因此根據(jù)雷達圖像特征,可以繼續(xù)研究適合于雷達圖像的特征匹配方法,使目標跟蹤取得更好的效果.
[1]徐玉如,蘇玉民,龐永杰.海洋空間智能無人運載器技術發(fā)展展望[J].中國艦船研究,2006,1(3):2-4.XU Yuru,SU Yumin,PANG Yongjie.Expectation of the development in the technology on ocean space intelligent unmanned vehicles[J].Chinese Journal of Ship Research,2006,1(3):2-4.
[2]MANLEY J E.Autonomous surface vessels,15 years of development[C]//Proc Oceans 2008 MTS/IEEE Quebec Conference and Exhibition.Quebec,2008:1-4.
[3]VEERS J,BERTRAM V.Development of the ASV multimission surface vehicle III[C]//Proc of 5th Int Conf Computer and IT Application in the Maritime Industries.[s.l.],2006:345-355.
[4]CACCIA M,BIBULI M,BONO R,et al.Basic navigation,guidance and control of an unmanned surface vehicle[J].Autonomous Robots,2008,25:349-365.
[5]XU T,CHUDEY J,SUTTON R.Soft computing design of a multisensory data fusion system for unmanned surface vehicle navigation[C]//Proceedings of 7th IFAC Conference Maneuvering Control Craft.[s.l.],2006:124-156.
[6]SHI C,XU K,PENG J,et al.Architecture of vision enhancement system for maritime search and rescue[C]//8th International Conference on ITS Telecommunications.Shanghai,2008:12-17.
[7]ALMEIDA C,F(xiàn)RANCO T.Radar based collision detection developments on USV ROAZ II[C]//OCEANS 2009-EUROPE.Bremen,2009:1-6,11-14.
[8]OLEYNIKOVA E,LEE N B,BARRY A J,et al.Perimeter patrol on autonomous surface vehicles using marine radar[C]//OCEANS 2010 IEEE-Sydney,Sydney.2010:1-5.
[9]劉興洪,汪林林.一種圖像邊緣保持的改進方向平滑算法[J].計算機科學,2006,33(10):2l-23.LIU Xinghong,WANG Linlin.An improved image's edge preserving orientation smoothing algorithm[J].Computer Science,2006,33(10):21-23.
[10]KITTLER J,ILLINGWORTH J.On threshold selection using clustering criteria[J].IEEE Trans Syst Man Cyber,1985,15:652-655.
[11]SUZUK K,HORIBA I,SUGIE N.Linear-time connectedcomponent labeling based on sequential local operations[J].Computer Vision and Image Understanding,2000,(89):1-23.
[12]HU Mingkuei.Visual patten recognition by moment invariants[J].IEEE Transactions on Information Theory,1962:179-187.
[13]楊春玲,劉國歲,倪晉麟.基于轉換坐標卡爾曼濾波算法的雷達目標跟蹤[J].現(xiàn)代雷達,1998,5:36-38.YANG Chunling,LIU Guosui,NI Jinlin.Converted measurement Kalman filtering algorithm for radar target tracking[J].Mondern Radar,1998,5:36-38.
[14]CHU Hongxia,WANG Kejun.Target tracking based on mean shift and improved Kalman filtering algorithm[C]//Proceedings of the IEEE International Conference on Automation and Logistics.Shenyang,2009:808-812.