王 博

(哈爾濱工程大學(xué)水下機(jī)器人技術(shù)國(guó)防科技重點(diǎn)實(shí)驗(yàn)室，黑龍江 哈爾濱 150001)

0 引 言

水面無(wú)人艇（unmanned surface vessel，USV），簡(jiǎn)稱無(wú)人艇，是一種無(wú)人操作的水面艦艇。水面無(wú)人艇擁有部分自主或完全自主完成工作任務(wù)的能力，水面無(wú)人艇與其它常規(guī)海洋裝備相比，具有維護(hù)成本，能源消耗低，連續(xù)作業(yè)時(shí)間長(zhǎng)等特點(diǎn)，能夠滿足現(xiàn)實(shí)水面大區(qū)域、長(zhǎng)時(shí)間的研究任務(wù)和工程項(xiàng)目的需求。此外，水面無(wú)人艇能夠代替人從事復(fù)雜危險(xiǎn)的工作，比如災(zāi)難事故搜救，水文信息監(jiān)控采集，海洋生物信息采集，區(qū)域海圖地形繪制，海洋氣象預(yù)報(bào)；鄰海防御任務(wù)；特定水域的搜查，偵測(cè)及排雷，打擊海盜，反恐任務(wù)等。

以上任務(wù)要求無(wú)人艇必須能夠平穩(wěn)航行，進(jìn)行環(huán)境探測(cè)、水面目標(biāo)檢測(cè)、目標(biāo)識(shí)別、自主避障以及自主完成任務(wù)。這些能力的實(shí)現(xiàn)要以無(wú)人艇的環(huán)境感知技術(shù)為支撐。與其他感知技術(shù)相比，光學(xué)圖像中包含更豐富的目標(biāo)區(qū)域細(xì)節(jié)信息，數(shù)據(jù)容易獲取并且信息量大[1]，有助于其完成自主規(guī)劃、自主避碰和環(huán)境監(jiān)測(cè)等任務(wù)的實(shí)現(xiàn)[2]。

1 基于水面無(wú)人艇的水面圖像預(yù)處理

水面圖像預(yù)處理的目的通過(guò)處理原始圖像得到清晰穩(wěn)定的圖像序列，穩(wěn)定清晰的圖像序列能大大提高無(wú)人艇光視覺避障、檢測(cè)、跟蹤和識(shí)別的能力。因此針對(duì)各種運(yùn)動(dòng)的穩(wěn)像技術(shù)研究具有很強(qiáng)的現(xiàn)實(shí)意義[3]。同時(shí)清晰的場(chǎng)景信息也是實(shí)現(xiàn)無(wú)人艇視覺系統(tǒng)功能的有力保障之一。然而海霧使圖像的能見度和對(duì)比度大幅降低。因此，有效地消除海霧影響成為提高無(wú)人艇圖像數(shù)據(jù)可用性的必要途徑。

1.1 針對(duì)無(wú)人艇不規(guī)則搖晃的穩(wěn)像方法

通常采用的穩(wěn)像方法有主動(dòng)穩(wěn)像，被動(dòng)穩(wěn)像和電子穩(wěn)像3 種。主動(dòng)穩(wěn)像和被動(dòng)穩(wěn)像可配合使用實(shí)現(xiàn)寬范圍的穩(wěn)像。但是，由于高精度的陀螺穩(wěn)定平臺(tái)不僅結(jié)構(gòu)復(fù)雜，體積大、價(jià)格昂貴、功耗大，所以使用最廣泛的是電子穩(wěn)像技術(shù)來(lái)實(shí)現(xiàn)電視圖像的穩(wěn)定[4]。

圖 1 廣義水天線的電子穩(wěn)像效果Fig.1 The electronic stabilization effect of generalized sea sky line

圖 2 北京理工大學(xué)穩(wěn)處理效果圖Fig.2 The stabilization effect from Beijing Institute of Technology

針對(duì)海面環(huán)境下的成像特點(diǎn)，薛言太[5]基于幀間補(bǔ)償法設(shè)計(jì)了基于水天線特征的電子穩(wěn)像算法，平均處理每張典型的海天圖像時(shí)間為39 ms，處理受天氣影響的圖像為41 ms，有障礙的海天圖像時(shí)間為52 ms，都滿足工程上要求。在此基礎(chǔ)上，北京理工大學(xué)使用從連續(xù)幀中提取的特征點(diǎn)來(lái)估計(jì)用于圖像穩(wěn)定的運(yùn)動(dòng)參數(shù)。在跟蹤窗口大小為1×12×128 像素的情況下，穩(wěn)定率達(dá)到每秒25 幀。

無(wú)人艇上應(yīng)用的穩(wěn)像方法主要包括了：幀間補(bǔ)償法、基于圖像特征方法、基于圖像塊法等[6]。幀間補(bǔ)償法只能用于靜態(tài)背景且攝像頭固定的情況；基于圖像特征的穩(wěn)像方法能確保圖像的精度但不能確保處理的實(shí)時(shí)性；基于圖像塊的穩(wěn)像方法魯棒性好，但精度有待提高。

1.2 水面圖像的去霧、增強(qiáng)的研究

海霧使大氣能見度下降，光學(xué)設(shè)備圖像模糊，分辨率降低，無(wú)法獲得清晰的圖像表面特征信息，嚴(yán)重影響了圖像信息的提取，給圖像信息提取帶來(lái)了極大的困難。目前，國(guó)內(nèi)外許多學(xué)者對(duì)影響圖像質(zhì)量的霧化進(jìn)行了大量的研究，主要有2 種方法[7]基于物理模型的恢復(fù)方法，建立圖像退化模型，利用現(xiàn)有知識(shí)恢復(fù)場(chǎng)景；另一種方法是基于圖像增強(qiáng)，通過(guò)增強(qiáng)低質(zhì)量對(duì)比度滿足主觀要求，從而達(dá)到清晰的目的。

哥倫比亞大學(xué)基于物理模型提出了一種針對(duì)惡劣天氣條件下圖像增強(qiáng)方法，使用場(chǎng)景包括航空和航海圖像，該算法不需要任何先驗(yàn)場(chǎng)景結(jié)構(gòu)信息[8]，但處理效果并不如針對(duì)特定天氣下的處理方法優(yōu)秀。

何凱明[9]提出利用暗通道算法用于單幅圖像去霧，并且結(jié)合了之前的霧氣成像模型，恢復(fù)高質(zhì)量的無(wú)霧圖像。大連海事大學(xué)采用暗通道先驗(yàn)知識(shí)初步估計(jì)海上圖像的透射率，利用引導(dǎo)圖像濾波對(duì)初步估計(jì)的透射率進(jìn)行細(xì)化，建立霧天退化物理模型[10]。

還有一種去霧方法是基于大氣散射物理模型的海霧去霧方法，哈爾濱工程大學(xué)[11]采用基于大氣分析天空區(qū)域特征得到天空亮度估計(jì)值，并且利用幀差法背景提取方法，通過(guò)計(jì)算同一背景下霧的分布圖提高視頻圖像的去霧速率。

綜上，在水面圖像去霧領(lǐng)域的研究工作中，以下幾個(gè)方面值得研究學(xué)者開展工作：首先，要提高算法的自適應(yīng)調(diào)整能力。再有去霧算法的復(fù)雜度仍有待降低。

2 水界線的檢測(cè)

無(wú)論是對(duì)于單目視覺的目標(biāo)檢測(cè)來(lái)說(shuō)，還是對(duì)于雙目視覺的目標(biāo)測(cè)距來(lái)說(shuō)，海天線或海岸線都是一則非常有意義的信息。高精度地檢測(cè)水界線對(duì)于無(wú)人艇應(yīng)用至關(guān)重要。

圖 3 基于小波變換的海天線檢測(cè)Fig.3 The sea sky line detection based on wavelet transformation

圖 4 基于梯度顯著性的海天線檢測(cè)Fig.4 The sea sky line detection based on gradient saliency

趙凝霞等[12-15]通過(guò)對(duì)無(wú)人艇獲取的圖像進(jìn)行小波變換來(lái)進(jìn)行水界線檢測(cè)。王博[16]提出一種基于梯度顯著性的海天線檢測(cè)方法。梯度顯著性的計(jì)算有效增強(qiáng)了海天線的直線特征并抑制了各種干擾因素，采用區(qū)域生長(zhǎng)方法實(shí)現(xiàn)了對(duì)海天線的檢測(cè)和辨識(shí)。

尋找感興趣區(qū)域是現(xiàn)在水界限檢測(cè)的主流方法，在感興趣區(qū)域輔助下確定海天線位置。以色列信號(hào)和圖像處理實(shí)驗(yàn)室Ran Gladstone 通過(guò)找到最大穩(wěn)定的極值區(qū)域來(lái)估計(jì)目標(biāo)與海面的接觸點(diǎn)[17]，然后利用地球的幾何形狀和相機(jī)的光學(xué)性質(zhì)來(lái)計(jì)算距離，平均誤差為7.1%。

圖 5 感興趣區(qū)域及水天線檢測(cè)結(jié)果Fig.5 The region of interest and the sea sky line detection results

Bok-Suk Shin 等提出分層隨機(jī)抽樣一致性算法來(lái)檢測(cè)水天線[18]。首先在縮小的梯度圖像中應(yīng)用RANSAC估計(jì)水天線位置，然后在原始圖像的感興趣區(qū)域的邊緣檢測(cè)圖像中采樣適量的圖像塊，最后用RANSAC 聚合方差較小的候選圖像塊。

3 水面目標(biāo)檢測(cè)方法研究

對(duì)于水面目標(biāo)直接檢測(cè)較困難的問(wèn)題，有的研究學(xué)者結(jié)合了水面圖像的具體特點(diǎn)進(jìn)行目標(biāo)檢測(cè)。萬(wàn)磊等[19]針對(duì)無(wú)人艇對(duì)復(fù)雜海岸背景下的水上目標(biāo)檢測(cè)問(wèn)題，提出基于海岸線信息的近海目標(biāo)自動(dòng)檢測(cè)方法，獲取目標(biāo)位置。采用哈夫變換進(jìn)行投票加權(quán)處理，確定海岸線的精確位置，單幀處理在0.2 s 以內(nèi)。

多光譜信息處理國(guó)家處理實(shí)驗(yàn)室常莉提出運(yùn)用顯著性的概念來(lái)獲取顯著性特征[20]。融合對(duì)象和顯著性的結(jié)果，平均準(zhǔn)確度為82%，每幀耗費(fèi)時(shí)間為0.268 s。后期李暢在此基礎(chǔ)上將目標(biāo)特性和顯著性相結(jié)合，剔除假目標(biāo)，驗(yàn)證得到準(zhǔn)確率在80%以上[21]。

圖 6 基于海岸線信息的近海目標(biāo)自動(dòng)檢測(cè)結(jié)果Fig.6 The offshore target detection results based on coastline

圖像稀疏性是圖像一個(gè)重要特點(diǎn)，蕭正莫[22]就通過(guò)探索圖像塊的全局稀疏性。實(shí)現(xiàn)對(duì)目標(biāo)的檢測(cè)。王晗[23]在此基礎(chǔ)上開發(fā)了實(shí)時(shí)障礙物檢測(cè)系統(tǒng)。該系統(tǒng)能夠在海面上檢測(cè)和定位30～300 m 范圍內(nèi)的多個(gè)障礙物。

牟曉正等[24]提出一種基于實(shí)時(shí)視覺的水面無(wú)人艇遠(yuǎn)距離目標(biāo)檢測(cè)與跟蹤算法。在研究中使用高清圖像（2736×2192）以便得到高精度的目標(biāo)距離。為了保證處理這種高分辨率圖像實(shí)時(shí)性，提出了一種由粗到精的方法。

深度學(xué)習(xí)的興起豐富了水面運(yùn)動(dòng)目標(biāo)的檢測(cè)方法，已有研究結(jié)構(gòu)將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用到水面運(yùn)動(dòng)目標(biāo)檢測(cè)的實(shí)際應(yīng)用中。楊建等[25]提出一個(gè)基于神經(jīng)網(wǎng)絡(luò)的水面目標(biāo)的監(jiān)測(cè)跟蹤定位系統(tǒng)。利用分割精確檢測(cè)結(jié)果解決了目前基于CNN 的檢測(cè)方法定位精度低的問(wèn)題。同時(shí)使用KF 來(lái)跟蹤多個(gè)幀的對(duì)象來(lái)提高效率。

圖 7 試驗(yàn)得到部分視頻幀的檢測(cè)效果Fig.7 The detection effect of partial video frames in experiments

圖 8 改進(jìn)后算法目標(biāo)檢測(cè)與識(shí)別結(jié)果統(tǒng)計(jì)Fig.8 The target detection and identification result statistics of improved algorithm

圖 9 基于視覺的無(wú)人艇目標(biāo)跟蹤試驗(yàn)效果圖Fig.9 Target tracking effect of USV based on vision

圖 10 （a）初始檢測(cè)框（b）區(qū)域圖像（c）分割圖像（d～f）將超級(jí)像素組合在初始檢測(cè)框內(nèi)的過(guò)程（g）精確檢測(cè)框Fig.10 (a) original detection box (b) region image (c) segmented image (d) the process of combining super pixels into original box(e) accurate detection box

韓國(guó)Jonghong Park[26]為了估計(jì)每個(gè)目標(biāo)相對(duì)于無(wú)人艇的范圍和方位，利用連續(xù)白噪聲加速（CWNA）模型的擴(kuò)展卡爾曼濾波器（EKF）算法對(duì)障礙物進(jìn)行精確定位，經(jīng)過(guò)現(xiàn)場(chǎng)實(shí)驗(yàn)證明其方案的可行性和有效性。美國(guó)噴氣推進(jìn)國(guó)家實(shí)驗(yàn)室的特里亨斯伯格等[27]搭建的Hammerhead 視覺障礙物檢測(cè)系統(tǒng)可以生成基于網(wǎng)格的危險(xiǎn)圖，在2009 年美國(guó)詹姆斯河流域?qū)θ骊鏌o(wú)人艇進(jìn)行了測(cè)試。

圖 11 基于視覺的碰撞的現(xiàn)場(chǎng)實(shí)驗(yàn)結(jié)果Fig.11 The experimental results of collision avoidance based on vision

由于深度學(xué)習(xí)的興起，現(xiàn)在目標(biāo)檢測(cè)的趨勢(shì)是采用深度學(xué)習(xí)的方法但這種方法是依賴前期大量訓(xùn)練數(shù)據(jù)的積累。另一方面可以發(fā)揮不同傳感器優(yōu)勢(shì)，進(jìn)行檢測(cè)信息融合，可以提高運(yùn)動(dòng)目標(biāo)的檢測(cè)效果。

4 水面運(yùn)動(dòng)目標(biāo)跟蹤

水面運(yùn)動(dòng)目標(biāo)跟蹤是一個(gè)充滿各種挑戰(zhàn)的任務(wù)，主要是由于水面運(yùn)動(dòng)目標(biāo)周圍環(huán)境充滿各種干擾而且經(jīng)常發(fā)生變化，或是運(yùn)動(dòng)目標(biāo)自身形狀和大小在圖像序列中展現(xiàn)多樣性。因此在水面復(fù)雜環(huán)境中能準(zhǔn)確識(shí)別并跟蹤運(yùn)動(dòng)目標(biāo)就成為一個(gè)存在各種影響的難題。

圖 12 檢測(cè)和跟蹤具有挑戰(zhàn)性幀的試驗(yàn)結(jié)果Fig.12 The detection and tracking in challenging frames,with targets labeled by green boxes

Bok-Suk Shin[28]針對(duì)大浪、水面有霧等惡劣條件下目標(biāo)跟蹤問(wèn)題，根據(jù)試驗(yàn)得到該系統(tǒng)目標(biāo)檢測(cè)和跟蹤的距離最遠(yuǎn)為500 m。Ran Gladstone 等[29]通過(guò)發(fā)現(xiàn)最大穩(wěn)定極值區(qū)域（MSER）來(lái)檢測(cè)目標(biāo)與海面的接觸點(diǎn)，顯示相對(duì)于GPS 的平均絕對(duì)誤差在4.8%到9%的范圍內(nèi)，總體平均誤差為7.1%。

還有一些研究機(jī)構(gòu)將新信息融合方法應(yīng)用到水面目標(biāo)檢測(cè)與跟蹤任務(wù)中，主要是基于視覺和激光雷達(dá)融合或者視覺與GPS 的融合等。蕭正莫等[30]將單目攝像機(jī)與GPS 和羅盤信息集成，將測(cè)距能力提高500～1 000 m。D.Hermann * R 則直接將雷達(dá)和視覺信息進(jìn)行融合，可以適用于30 m/s 運(yùn)行的無(wú)人艇[31]，能對(duì)175 m范圍內(nèi)的障礙物達(dá)到實(shí)時(shí)檢測(cè)。

傳感器信息融合實(shí)現(xiàn)對(duì)水面目標(biāo)的檢測(cè)跟蹤是趨勢(shì)，是提升全天候下跟蹤性能的重要解決方案。但如何實(shí)現(xiàn)真正的信息融合而且保證對(duì)目標(biāo)的長(zhǎng)時(shí)間準(zhǔn)確檢測(cè)跟蹤是難題。

5 結(jié) 語(yǔ)

無(wú)人艇光視覺系統(tǒng)與其他感知系統(tǒng)相比有其明顯的優(yōu)勢(shì)，近年得到了越來(lái)越廣泛的應(yīng)用，但現(xiàn)在國(guó)內(nèi)外對(duì)于光視覺技術(shù)的研究還不能使無(wú)人艇真正達(dá)到智能自主，其中存在許多需要改善的方面：

1）一個(gè)可以投入實(shí)際使用的基于視頻圖像的無(wú)人艇感知系統(tǒng)應(yīng)該具備處理時(shí)間短、自適應(yīng)強(qiáng)和可靠性高的特點(diǎn)。

2）無(wú)人艇光視覺研究需要確定清晰完整的工作過(guò)程?；趥鞲衅鳎〝z像頭或雷達(dá)）錄入信息后的數(shù)據(jù)處理和行為預(yù)測(cè)，并反饋到感知系統(tǒng)進(jìn)行校正和預(yù)測(cè)都是需要解決的問(wèn)題。

3）借鑒無(wú)人車的發(fā)展經(jīng)驗(yàn)，無(wú)人艇光視覺研究智能化水平還有待提高。無(wú)人艇與無(wú)人車的工作模式類似，只是工作的環(huán)境更加復(fù)雜，對(duì)自身系統(tǒng)的穩(wěn)定性要求比無(wú)人車要高。

未來(lái)這一領(lǐng)域的發(fā)展應(yīng)該是圍繞上述問(wèn)題的解決而展開，發(fā)展趨勢(shì)主要是：

1）多專業(yè)領(lǐng)域交叉融合。實(shí)際上無(wú)人艇也和感觀系統(tǒng)、大腦系統(tǒng)、決策系統(tǒng)相類似，是一個(gè)多學(xué)科、多領(lǐng)域交叉融合的系統(tǒng)。隨著計(jì)算機(jī)、自動(dòng)控制、信息處理、通信與網(wǎng)絡(luò)、動(dòng)力與能源、新材料等高新技術(shù)日臻成熟，無(wú)人艇正呈現(xiàn)出綜合化發(fā)展態(tài)勢(shì)。未來(lái)無(wú)人艇系統(tǒng)將逐步成為體系的有機(jī)組成部分，其技術(shù)體系勢(shì)必是光視覺和其他感知技術(shù)的統(tǒng)一，是環(huán)境感知和控制、規(guī)劃領(lǐng)域的交叉融合。

2）模塊化、標(biāo)準(zhǔn)化、通用化進(jìn)一步發(fā)展。無(wú)人艇的研發(fā)目的是代替人類執(zhí)行各種復(fù)雜危險(xiǎn)的任務(wù)，其多用途和高標(biāo)準(zhǔn)決定了無(wú)人艇需要在功能的多樣性和精確性上下功夫，對(duì)環(huán)境感知領(lǐng)域更是如此，模塊化可以使無(wú)人艇智能選擇合適的方法進(jìn)行正常地感知探測(cè)，標(biāo)準(zhǔn)化和通用化使感知系統(tǒng)適用于各種不同型號(hào)和任務(wù)。

3）將實(shí)現(xiàn)高度智能化。無(wú)人艇實(shí)現(xiàn)高度智能化將具有以下特點(diǎn)：一是具有記憶和思維能力，能夠存儲(chǔ)感知到的外部信息同時(shí)能夠利用已有的知識(shí)對(duì)感知到的信息進(jìn)行分析；二是具有學(xué)習(xí)能力和自適應(yīng)能力，通過(guò)不斷學(xué)習(xí)積累知識(shí)，使自己能夠適應(yīng)環(huán)境變化；三是具有行為決策能力，形成決策并傳達(dá)相應(yīng)的信息。

4）水面圖像的增強(qiáng)復(fù)原研究。需要建立一套能滿足各種天氣環(huán)境的水面圖像增強(qiáng)復(fù)原系統(tǒng)，能根據(jù)外界環(huán)境自適應(yīng)對(duì)圖像進(jìn)行復(fù)原，保留圖像的關(guān)鍵信息。

5）傳統(tǒng)感知算法和深度學(xué)習(xí)感知算法的算法融合研究。傳統(tǒng)的感知算法具有理論性強(qiáng)和可靠性高的特點(diǎn)，深度學(xué)習(xí)的感知算法具有魯棒性強(qiáng)、準(zhǔn)確度高等優(yōu)點(diǎn)。可以融合傳統(tǒng)算法和深度學(xué)習(xí)算法，得到擁有兩種算法優(yōu)勢(shì)的感知框架，提高水面無(wú)人艇感知環(huán)境的能力。