葛燕龍，金久才，李立剛，劉德慶，戴永壽

(1.自然資源部第一海洋研究所 海洋物理與遙感研究室，山東 青島 266061；2.中國(guó)石油大學(xué)（華東）海洋與空間信息學(xué)院，山東 青島 266580)

0 引言

近年來(lái)，無(wú)人船被廣泛用于執(zhí)行多種軍事及非軍事任務(wù)，代替作業(yè)人員執(zhí)行危險(xiǎn)或耗時(shí)耗力的任務(wù)[1]。為執(zhí)行水質(zhì)檢測(cè)、環(huán)境保護(hù)和緊急搜救等多樣化任務(wù)，要求無(wú)人船具備在復(fù)雜環(huán)境下準(zhǔn)確檢測(cè)到前方障礙物的能力。而由于智能船舶功能需求的多樣性和水面環(huán)境的復(fù)雜性，僅依靠單一傳感器不能保證信息的準(zhǔn)確性和可靠性。

現(xiàn)階段將多傳感器數(shù)據(jù)融合技術(shù)應(yīng)用于無(wú)人船平臺(tái)已成為研究熱點(diǎn)，其中主要有毫米波雷達(dá)與視覺系統(tǒng)融合以及激光雷達(dá)與視覺系統(tǒng)融合。在毫米波雷達(dá)與視覺系統(tǒng)融合方面，Hermann 等[2]首先利用視覺系統(tǒng)檢測(cè)出海天線，通過縱搖和橫搖信息過濾船的位置和姿態(tài)，并利用視覺系統(tǒng)檢測(cè)雷達(dá)視場(chǎng)之外的障礙物，當(dāng)目標(biāo)位于2 個(gè)傳感器重合檢測(cè)范圍內(nèi)時(shí)融合傳感器信息。針對(duì)內(nèi)河水域，Cheng 等[3]提出了一種新的融合方式，將RGB 圖像和雷達(dá)數(shù)據(jù)進(jìn)行多尺度融合，提高了水面小目標(biāo)檢測(cè)的精度和魯棒性。相較于前者，激光雷達(dá)與視覺融合系統(tǒng)有著更加精確的檢測(cè)性能。Zhang 等[4]利用激光雷達(dá)篩選可疑目標(biāo)，然后通過SVM 分類器對(duì)船只進(jìn)行圖像識(shí)別，最后通過交叉驗(yàn)證的方法確定目標(biāo)船只所在位置。Liu 等[5]提出了一種應(yīng)用于無(wú)人船避碰檢測(cè)的多模態(tài)傳感器系統(tǒng)，首先利用深度學(xué)習(xí)對(duì)激光雷達(dá)和相機(jī)進(jìn)行在線校準(zhǔn)，將RGB 圖像與點(diǎn)云數(shù)據(jù)相融合，能夠準(zhǔn)確檢測(cè)三維目標(biāo)。除此之外，還有學(xué)者將航海雷達(dá)用于融合，獲取遠(yuǎn)距離障礙物的信息。Liu 等[6]將交互多模型卡爾曼濾波器（IMMKF）與雙階段模糊邏輯數(shù)據(jù)關(guān)聯(lián)方法相結(jié)合，分別對(duì)多目標(biāo)的進(jìn)行檢測(cè)、跟蹤，然后通過計(jì)算AIS 與航海雷達(dá)航跡的隸屬度完成航跡關(guān)聯(lián)，最后得到更加準(zhǔn)確的目標(biāo)航跡信息。Chen 等[7]將航海雷達(dá)與立體視覺的目標(biāo)通過加權(quán)ELM 訓(xùn)練的二元分類器進(jìn)行相互驗(yàn)證，并首次解決了立體視覺和航海雷達(dá)在世界參考系下的融合問題，結(jié)果顯示該方法對(duì)1km 范圍內(nèi)的障礙物具有比較好的檢測(cè)效果。

上述方法主要依靠2 種傳感器融合檢測(cè)，且現(xiàn)階段應(yīng)用于無(wú)人船的三傳感器融合檢測(cè)方法較少，而對(duì)毫米波雷達(dá)、激光雷達(dá)與視覺系統(tǒng)進(jìn)行融合，可以將各傳感器的性能優(yōu)勢(shì)互補(bǔ)，達(dá)到檢測(cè)準(zhǔn)確度高和檢測(cè)障礙物信息豐富等效果。本文提出一種基于毫米波雷達(dá)、激光雷達(dá)與視覺傳感器的決策級(jí)數(shù)據(jù)融合方法，考慮不同傳感器對(duì)不同距離及不同尺寸障礙物的檢測(cè)效果存在差異，利用證據(jù)理論對(duì)各傳感器檢測(cè)信任度進(jìn)行融合，有效降低了各傳感器的虛警率及漏檢率，提高了融合系統(tǒng)的魯棒性。

1 多傳感器障礙物融合檢測(cè)方法

圖1 為本文多傳感器融合檢測(cè)方法流程圖。首先，通過串聯(lián)式的目標(biāo)匹配方法，找出各傳感器檢測(cè)結(jié)果中同屬于一個(gè)目標(biāo)的數(shù)據(jù)信息；其次，利用目標(biāo)距離及尺寸因子計(jì)算各傳感器的檢測(cè)信任度，并通過證據(jù)理論對(duì)各傳感器檢測(cè)信任度進(jìn)行融合。最后，篩選出真實(shí)存在的目標(biāo)，輸出融合檢測(cè)結(jié)果。

圖1 多傳感器融合檢測(cè)方法流程圖Fig.1 Flow chart of multi-sensor fusion detection method

1.1 多傳感器目標(biāo)匹配

通過相關(guān)聚類算法能夠得到毫米波雷達(dá)與激光雷達(dá)的目標(biāo)數(shù)據(jù)，包括毫米波雷達(dá)目標(biāo)距離dR(i)，目標(biāo)方位aR(i)，目標(biāo)長(zhǎng)度lR(i)，目標(biāo)寬度wR(i)與激光雷達(dá)目標(biāo)距離dL(j)，目標(biāo)方位aL(j)，目標(biāo)長(zhǎng)度lL(j)，目標(biāo)寬度wL(j)，目標(biāo)高度hL(j)等信息。通過目標(biāo)匹配得到雙雷達(dá)與攝像頭的目標(biāo)列表中同屬于一個(gè)障礙物的數(shù)據(jù)信息。多傳感器目標(biāo)匹配過程如圖2 所示。

圖2 多傳感器目標(biāo)匹配流程圖Fig.2 Flow chart of multi-sensor target matching

1.1.1 毫米波雷達(dá)與激光雷達(dá)目標(biāo)匹配

為了找到同一時(shí)刻下m個(gè)毫米波雷達(dá)目標(biāo)與n個(gè)激光雷達(dá)目標(biāo)中屬于同一障礙物的目標(biāo)信息，利用雙雷達(dá)目標(biāo)信息作為目標(biāo)差異度的判定條件，通過式(1)計(jì)算目標(biāo)差異度dif(ij)，目標(biāo)差異度越小，則說(shuō)明這2 個(gè)目標(biāo)是屬于同一個(gè)障礙物的可能性越大。

式中：i=1,...,m，j=1,...n；ωd,ωa,ωs和μd,μa,μs分別為目標(biāo)距離、方位及尺寸差異度的權(quán)重系數(shù)和誤差閾值；當(dāng)其差異大于設(shè)置的閾值 η時(shí)，則將該判定因素的差異度置1，最后得到目標(biāo)差異度矩陣DRL和相似度矩陣SRL。

通過用于求解任務(wù)分配的匈牙利算法[8]完成對(duì)目標(biāo)相似度矩陣SRL的最優(yōu)分配，雙雷達(dá)成功匹配、毫米波雷達(dá)和激光雷達(dá)各自未匹配的目標(biāo)列表分別為MatchedRL(i)、UnmatchedR(i) 和UnmatchedL(i)。

1.1.2 雙雷達(dá)與攝像頭目標(biāo)匹配

相較于毫米波雷達(dá)與激光雷達(dá)，攝像頭對(duì)船舶、浮漂等水面障礙物有較強(qiáng)的分辨能力。采用Yolov3 算法實(shí)現(xiàn)基于攝像頭的目標(biāo)檢測(cè)。但是單目攝像頭無(wú)法準(zhǔn)確獲取目標(biāo)距離信息，僅依靠目標(biāo)方位信息無(wú)法與雙雷達(dá)目標(biāo)進(jìn)行準(zhǔn)確匹配，所以需要通過式(3)將雙雷達(dá)目標(biāo)從雷達(dá)坐標(biāo)系轉(zhuǎn)換到像素坐標(biāo)系中。同時(shí)毫米波雷達(dá)無(wú)法獲取障礙物的高度信息，根據(jù)普通船舶長(zhǎng)高比5∶1，此處設(shè)置毫米波雷達(dá)目標(biāo)高度hR(j)=lR(i)/5。

式中：(u,v) 為像素坐標(biāo)，dx和dy為像素的物理尺寸，R為旋轉(zhuǎn)矩陣，T為平移矩陣，(XW,YW,ZW)為世界坐標(biāo)系的位置。

通過計(jì)算攝像頭目標(biāo)與經(jīng)過坐標(biāo)轉(zhuǎn)換之后的雙雷達(dá)目標(biāo)之間的廣義交并比GIoU[9]，判斷雷達(dá)與攝像頭的檢測(cè)結(jié)果是否屬于同一個(gè)目標(biāo)。同時(shí)根據(jù)計(jì)算結(jié)果，分別建立不同匹配列表目標(biāo)與攝像頭目標(biāo)的相似度矩陣SRLC，SRC，SLC，并利用匈牙利算法完成對(duì)目標(biāo)相似度矩陣的最優(yōu)分配。

通過上述過程，最終可得到3 類目標(biāo)匹配結(jié)果，分別為三傳感器匹配成功目標(biāo)，兩傳感器匹配成功目標(biāo)和未匹配成功目標(biāo)。

1.2 多傳感器單幀融合檢測(cè)

1.2.1 各傳感器檢測(cè)信任度

不同傳感器對(duì)不同距離及不同尺寸的障礙物的檢測(cè)準(zhǔn)確率是不同的。根據(jù)毫米波雷達(dá)檢測(cè)原理、性能以及實(shí)測(cè)數(shù)據(jù)分析，當(dāng)障礙物尺寸越小或者障礙物距離越遠(yuǎn)時(shí)，毫米波雷達(dá)的檢測(cè)準(zhǔn)確性逐漸降低，且滿足一種非線性關(guān)系。由此，制定毫米波雷達(dá)檢測(cè)信任度計(jì)算公式如下：

激光雷達(dá)對(duì)于60 m 范圍內(nèi)的障礙物有較高的檢測(cè)準(zhǔn)確率，但是當(dāng)障礙物超過60 m 范圍后，會(huì)出現(xiàn)較高的漏檢率。根據(jù)實(shí)測(cè)數(shù)據(jù)分析，制定激光雷達(dá)檢測(cè)信任度計(jì)算公式如下：

攝像頭通過Yolov3 算法檢測(cè)海面障礙物，可滿足無(wú)人船實(shí)時(shí)檢測(cè)海上障礙物及自主避障需求，同時(shí)該算法還可以提供障礙物檢測(cè)結(jié)果的信任度。

由于各傳感器均存在漏檢的可能性，即當(dāng)某個(gè)傳感器沒有檢測(cè)到目標(biāo)時(shí)，不能認(rèn)為目標(biāo)是確定不存在的。所以根據(jù)實(shí)測(cè)數(shù)據(jù)并結(jié)合各傳感器的檢測(cè)性能，對(duì)只有兩傳感器匹配成功和未匹配成功的目標(biāo)分配未與之匹配傳感器的最小檢測(cè)信任度。

1.2.2 DS 證據(jù)理論融合

DS 證據(jù)理論[10]是一種不精確推理理論，具有處理不確定信息的能力，現(xiàn)階段廣泛應(yīng)用多傳感器數(shù)據(jù)融合領(lǐng)域。在DS 證據(jù)理論中，令 Θ為識(shí)別框架，稱m為識(shí)別框架 Θ上的基本概率賦值或者mass 函數(shù)。對(duì)于A∈2Θ，m(A) 稱為命題A的基本信任度或mass 值，表示證據(jù)支持命題A為真的信任程度。設(shè)識(shí)別框架 Θ下證據(jù)的基本概率賦值函數(shù)分別為m1,m2,···mn，對(duì)于?A1,A2,···An∈2Θ，Dempster 組合規(guī)則可以表示為：

式中，K為mass 函數(shù)的沖突項(xiàng)，定義為：

將3 種傳感器的目標(biāo)檢測(cè)信任度作為基本賦值函數(shù)，并利用Dempster 組合規(guī)則對(duì)其進(jìn)行融合，從而得到目標(biāo)融合檢測(cè)信任度。若其大于設(shè)定的閾值μ，則認(rèn)為該目標(biāo)真實(shí)存在；反之，則認(rèn)為該目標(biāo)為虛假目標(biāo)，進(jìn)行剔除。最后根據(jù)雙雷達(dá)目標(biāo)數(shù)據(jù)輸出真實(shí)目標(biāo)的融合結(jié)果，計(jì)算公式如下：

2 試驗(yàn)結(jié)果與分析

為了驗(yàn)證本文多傳感器融合檢測(cè)方法的有效性，通過實(shí)船試驗(yàn)，分別采集不同場(chǎng)景下毫米波雷達(dá)、激光雷達(dá)與攝像頭的試驗(yàn)數(shù)據(jù)，采用本文多方法對(duì)試驗(yàn)數(shù)據(jù)進(jìn)行處理，并與各單傳感器檢測(cè)結(jié)果進(jìn)行比較與分析。

2.1 試驗(yàn)設(shè)備及過程

試驗(yàn)平臺(tái)為1.7 米級(jí)無(wú)人船，同時(shí)搭載毫米波雷達(dá)、激光雷達(dá)和攝像頭3 種障礙物檢測(cè)設(shè)備，其各項(xiàng)性能參數(shù)說(shuō)明如表1 所示。各傳感器在無(wú)人船上的安裝位置及檢測(cè)范圍如圖3 所示。

表1 各傳感器性能參數(shù)Tab.1 Performance parameters of each sensor

圖3 各傳感器檢測(cè)范圍示意圖Fig.3 Schematic diagram of detection range of each sensor

共選取3 種試驗(yàn)場(chǎng)景，包括近距離單目標(biāo)、遠(yuǎn)距離單目標(biāo)和多目標(biāo)場(chǎng)景。同時(shí)為保證試驗(yàn)數(shù)據(jù)的可靠性，試驗(yàn)過程中無(wú)人船保持相對(duì)靜止?fàn)顟B(tài)，以獲取試驗(yàn)數(shù)據(jù)。

場(chǎng)景1：被測(cè)目標(biāo)為無(wú)人船前方的一艘勻速行駛的漁船，該漁船從距離無(wú)人船約1 6 m 處運(yùn)動(dòng)到距無(wú)人船35 m 處，共用時(shí)20 s。

場(chǎng)景2：被測(cè)目標(biāo)同樣為無(wú)人船前方的一艘勻速行駛的漁船，該漁船從距離無(wú)人船約70 m 處運(yùn)動(dòng)到距無(wú)人船100 m 處，共用時(shí)12 s。

場(chǎng)景3：被測(cè)目標(biāo)分別為兩艘漁船和一個(gè)浮標(biāo)，其中左側(cè)1 號(hào)漁船從無(wú)人船左前方約70 m 處運(yùn)動(dòng)至無(wú)人船右前方約65 m 處，右側(cè)2 號(hào)漁船從無(wú)人船右前方約60 m 處依次運(yùn)動(dòng)至無(wú)人船正前方約50 m 處和右前方40 m 處，而浮標(biāo)位于無(wú)人船正前方約30 m處。期間共用時(shí)15 s。

2.2 試驗(yàn)結(jié)果分析

首先對(duì)涉及的各個(gè)閾值參數(shù)進(jìn)行設(shè)定，ωd,ωa,ωs和μd,μaμs分別設(shè)置為0.4，0.4，0.2 和40，30，20。由實(shí)測(cè)數(shù)據(jù)發(fā)現(xiàn)，目標(biāo)距離及尺寸對(duì)毫米波雷達(dá)檢測(cè)準(zhǔn)確度均有明顯影響，所以分別設(shè)置目標(biāo)距離和尺寸權(quán)重為由于激光雷達(dá)目標(biāo)檢測(cè)準(zhǔn)確度受目標(biāo)距離影響更大，所以設(shè)置融合檢測(cè)信任度閾值 μ和雙雷達(dá)差異度閾值 η均設(shè)置為0.5。

在獲取各場(chǎng)景中目標(biāo)的毫米波雷達(dá)與激光雷達(dá)原始數(shù)據(jù)后，分別用變尺寸柵格地圖法和基于歐氏距離的點(diǎn)跡凝聚方法[11]對(duì)其進(jìn)行聚類處理，同時(shí)利用Yolov3 算法對(duì)攝像頭的視頻圖像進(jìn)行障礙物檢測(cè)。表2 為各傳感器最小檢測(cè)信任度分配結(jié)果。

表2 各傳感器最小檢測(cè)信任度分配結(jié)果Tab.2 The minimum confidence distribution results of each sensor

利用本文方法對(duì)3 個(gè)場(chǎng)景中不同目標(biāo)的運(yùn)動(dòng)過程進(jìn)行融合檢測(cè)。結(jié)果顯示，在漁船運(yùn)動(dòng)過程中，各傳感器均能有效檢測(cè)到目標(biāo)，但受環(huán)境因素及自身檢測(cè)性能影響，均存在著不同程度的虛警及漏檢現(xiàn)象。

在場(chǎng)景1 中，毫米波雷達(dá)、激光雷達(dá)與攝像頭均能有效檢測(cè)到目標(biāo)，但是受到海面晃動(dòng)及海雜波等影響，毫米波雷達(dá)和激光雷達(dá)分別出現(xiàn)4 次和5 次虛警，各出現(xiàn)1 次漏檢。通過本文方法融合檢測(cè)結(jié)果可以看出，該方法能夠顯著降低障礙物位于近距離處時(shí)各傳感器的虛警率和漏檢率。

在場(chǎng)景2 中，受傳感器自身檢測(cè)性能等因素影響，各傳感器的檢測(cè)準(zhǔn)確率都有所下降，其中激光雷達(dá)的漏檢次數(shù)大幅增加，但本方法仍能較為準(zhǔn)確的判斷目標(biāo)是否真實(shí)存在。

在場(chǎng)景3 中，激光雷達(dá)對(duì)于小型浮標(biāo)和距離無(wú)人船60 m 之外漁船的漏檢次數(shù)及毫米波雷達(dá)的虛警次數(shù)均較高，且受逆光環(huán)境影響，攝像頭在檢測(cè)過程中也出現(xiàn)了較多的漏檢現(xiàn)象。但根據(jù)本文所提方法的融合檢測(cè)結(jié)果顯示，本方法能正確將虛假目標(biāo)剔除，且有效降低激光雷達(dá)和攝像頭的漏檢次數(shù)，提高障礙物檢測(cè)準(zhǔn)確度。具體檢測(cè)結(jié)果如圖4 所示。

圖4 檢測(cè)結(jié)果Fig.4 The detection results

表3 為3 個(gè)場(chǎng)景中各單傳感器和通過本文多傳感器融合方法檢測(cè)后的虛警率（FAR）和漏檢率（MDR）。其中FAR 是錯(cuò)誤檢測(cè)為障礙物的點(diǎn)跡數(shù)與總點(diǎn)跡數(shù)的比值，MDR 為未檢測(cè)到的點(diǎn)跡數(shù)與總點(diǎn)跡數(shù)的比值。

表3 多傳感器融合檢測(cè)結(jié)果Tab.3 Multi-sensor fusion detection results

可以看出，本文方法相較于其他單傳感器均有著較小的虛警率和漏檢率，且在不同場(chǎng)景下都有著較可靠的檢測(cè)性能。

由于當(dāng)障礙物距離無(wú)人船接近100 m 時(shí)，受激光雷達(dá)自身檢測(cè)性能限制，導(dǎo)致漏檢次數(shù)增加，而本文方法對(duì)于2 個(gè)場(chǎng)景中雙雷達(dá)出現(xiàn)虛警情況的改善效果顯著。

當(dāng)毫米波雷達(dá)或激光雷達(dá)出現(xiàn)虛警時(shí)，通過本文方法仍能夠?qū)μ摷倌繕?biāo)進(jìn)行剔除，并得到真實(shí)目標(biāo)融合檢測(cè)結(jié)果。

3 結(jié)語(yǔ)

本文提出一種基于目標(biāo)距離及尺寸的多傳感器融合檢測(cè)方法。首先對(duì)各傳感器的目標(biāo)進(jìn)行匹配，并根據(jù)不同傳感器對(duì)不同距離和不同尺寸障礙物的檢測(cè)準(zhǔn)確率不同的特點(diǎn)，設(shè)置各傳感器的檢測(cè)信任度函數(shù)，并利用DS 證據(jù)理論進(jìn)行融合決策。通過3 種海上試驗(yàn)場(chǎng)景對(duì)本文方法的有效性進(jìn)行驗(yàn)證，結(jié)果表明通過本文方法，可以顯著降低各單傳感器對(duì)于不同距離處目標(biāo)的虛警率和漏檢率，有效提高無(wú)人船障礙物檢測(cè)能力，驗(yàn)證了本文方法的有效性。