劉昊搏，劉鐵軍，汪海林，姜志斌，祁 勝

(1.中國科學(xué)院沈陽自動化研究所，遼寧 沈陽 110016；2.中國科學(xué)院機(jī)器人與智能制造創(chuàng)新研究院，遼寧 沈陽 110169；3.遼寧省水下機(jī)器人重點(diǎn)實(shí)驗(yàn)室，遼寧 沈陽 110169；4.中國科學(xué)院大學(xué)，北京 100049)

0 引 言

水聲目標(biāo)識別技術(shù)為人類海洋經(jīng)濟(jì)與軍事活動提供重要決策依據(jù)。隨著海洋經(jīng)濟(jì)的快速發(fā)展和海洋開發(fā)活動的日益頻繁，水聲目標(biāo)識別技術(shù)得到越來越多的應(yīng)用[1]。水下機(jī)器人利用前視聲吶檢測并跟蹤前方障礙物時(shí)，由于水下環(huán)境復(fù)雜且不均勻，易受到混響、環(huán)境及自噪聲的干擾[2-3]。聲吶接收的旁瓣信號會在主波束信號橫向和縱向形成弧形亮斑干擾，旁瓣的干擾會使圖像目標(biāo)不明確[4]。復(fù)雜的環(huán)境噪聲及障礙物目標(biāo)成像的不連續(xù)性若得不到妥善處理，會影響水下機(jī)器人對障礙物目標(biāo)的檢測，進(jìn)而影響其航行安全[5]。

大量文獻(xiàn)調(diào)研表明，幀間差分法運(yùn)算簡單，易于實(shí)現(xiàn)，是一種實(shí)用性較強(qiáng)的運(yùn)動目標(biāo)識別方法[6]。差分法是通過對視頻中相鄰兩幀或多幀圖像做差分獲得目標(biāo)輪廓的方法[7-8]。針對多波束前視聲吶圖像中運(yùn)動目標(biāo)的檢測問題，崔杰等[9]提出一種改進(jìn)的幀間差分算法，獲取視頻序列中連續(xù)的三幀圖像，相鄰兩幀圖像做差分后，將得到的差分圖像做或運(yùn)算，經(jīng)形態(tài)學(xué)處理后獲得最終圖像。然而將此算法實(shí)際應(yīng)用到水下障礙物目標(biāo)檢測時(shí)，算法魯棒性不足。本文針對障礙物檢測過程中存在的高噪聲、成像不連續(xù)的問題，將形態(tài)學(xué)算子與幀差法相融合，形成目標(biāo)檢測網(wǎng)絡(luò)。相較于傳統(tǒng)的差分法，本算法提高了目標(biāo)檢測的穩(wěn)定性。同時(shí)，將幀間差分圖像與當(dāng)前幀圖像進(jìn)行適當(dāng)?shù)募訖?quán)融合，進(jìn)一步提高了目標(biāo)障礙物檢測的準(zhǔn)確性和穩(wěn)定性。由于水下機(jī)器人的運(yùn)動速度較慢，經(jīng)比較后選定Mean-shift算法用于對檢測后得到的障礙物目標(biāo)進(jìn)行跟蹤。實(shí)驗(yàn)結(jié)果表明，本算法在保證實(shí)時(shí)性的情況下，能夠?qū)φ系K物目標(biāo)進(jìn)行穩(wěn)定地檢測與跟蹤，具有廣闊的應(yīng)用前景。

1 基于幀差法的水聲目標(biāo)檢測

1.1 二幀差分法

獲取視頻序列中兩幀的圖像fk-1(x,y)，fk(x,y) 將兩幀圖像進(jìn)行差分，差分結(jié)果取絕對值后進(jìn)行閾值處理，得到最終二值圖像：

其中，M是待選取的閾值。

1.2 三幀差分法

其中，T是待選取的閾值。

將差分后的圖像進(jìn)行“與”運(yùn)算：

按照式（5），當(dāng)fk(x,y)=1時(shí)，取為前景，當(dāng)fk(x,y)=0時(shí)，取為背景。

1.3 改進(jìn)差分法

在三幀差分法的基礎(chǔ)上，為了保證障礙物目標(biāo)檢測的完整性，文獻(xiàn)[8]按照式（6），將“與”運(yùn)算改為“或”運(yùn)算：

為消除零散的噪聲與目標(biāo)中的空洞，按照式（7）對二值圖像fk(x,y)進(jìn)行開閉濾波：

2 水聲目標(biāo)檢測網(wǎng)絡(luò)

2.1 總體流程

該算法充分利用幀間差分圖像與當(dāng)前幀圖像所包含的不同特征信息，將二者按一定權(quán)重進(jìn)行融合，提高了目標(biāo)檢測的穩(wěn)定性。將形態(tài)學(xué)算子與上述算法相結(jié)合形成網(wǎng)絡(luò)結(jié)構(gòu)，將預(yù)處理后的圖像送入此網(wǎng)絡(luò)，并利用Mean-shift算法對網(wǎng)絡(luò)輸出后的結(jié)果進(jìn)行跟蹤。算法流程如圖1所示。

圖1 算法流程圖Fig.1 Algorithm flow chart

2.2 卷積核網(wǎng)絡(luò)

改進(jìn)差分法[9]中所呈現(xiàn)的結(jié)果不盡如人意。針對環(huán)境噪聲強(qiáng)烈，旁瓣噪聲無法有效抑制2個(gè)問題進(jìn)行研究。形態(tài)學(xué)濾波中，開運(yùn)算可以過濾掉圖像中存在的噪聲，閉運(yùn)算則可填補(bǔ)目標(biāo)區(qū)域內(nèi)部的空洞。此處將形態(tài)學(xué)算子視為特殊的卷積核，借鑒了深度神經(jīng)網(wǎng)絡(luò)中多層卷積核的思想，將不同大小的形態(tài)學(xué)算子按照層級進(jìn)行相應(yīng)的組合，通過反復(fù)的開閉運(yùn)算，抑制不同程度的環(huán)境噪聲和旁瓣噪聲。因幀差法造成的目標(biāo)區(qū)域內(nèi)部空缺，也可經(jīng)卷積核組成的網(wǎng)絡(luò)，得到較為明顯的填補(bǔ)。引入卷積核前后的效果對比如圖2所示，可以看出卷積核網(wǎng)絡(luò)有效抑制了旁瓣噪聲和大部分的混響噪聲。

圖2 卷積核融合效果對比圖Fig.2 Convolution kernel fusion effect comparison chart

2.3 特征加權(quán)融合

本節(jié)中的“特征”指的是圖像經(jīng)過如差分、形態(tài)學(xué)算子濾波等運(yùn)算后保留的信息，特征加權(quán)融合即是將圖像經(jīng)過不同運(yùn)算后所保留的信息進(jìn)行相應(yīng)的融合，使得結(jié)果盡可能地符合目標(biāo)檢測的要求。

2.3.1 差分圖像的融合

考慮將當(dāng)前得到的差分圖像與上一時(shí)刻得到的差分圖像進(jìn)行適當(dāng)?shù)募訖?quán)，以便獲得更加完整、穩(wěn)定的輪廓信息，公式如下：

其中，Bk為當(dāng)前幀的差分圖像，Bk_last為上一時(shí)刻獲得的差分圖像，差分融合前后的效果對比如圖3所示。從結(jié)果可以看出，差分融合使得障礙物目標(biāo)的檢測更加完整，且進(jìn)一步抑制了混響噪聲。

圖3 差分融合效果對比圖Fig.3 Differential fusion effect comparison chart

2.3.2 差分圖像與幀圖像的融合

圖3的結(jié)果表明，將2個(gè)連續(xù)不同時(shí)刻得到的差分圖像進(jìn)行融合，可以提高目標(biāo)檢測的完整性和穩(wěn)定性。將當(dāng)前幀圖像中包含的特征信息也考慮進(jìn)來，與圖3中的差分融合后的圖像c進(jìn)行加權(quán)融合，進(jìn)一步地提高目標(biāo)檢測的效果。公式如下：

從圖4的對比結(jié)果可以看出，將幀圖像融合到算法中，可使障礙物目標(biāo)檢測得到的結(jié)果更加接近真實(shí)目標(biāo)的形狀。

圖4 幀圖像融合效果對比圖Fig.4 Frame image fusion effect comparison chart

2.4 算法流程

在差分法的基礎(chǔ)上，綜合考慮2.2和2.3節(jié)中的對比實(shí)驗(yàn)結(jié)果后，提出本文障礙物目標(biāo)檢測的完整算法，算法流程如下：

步驟1

Lk-2，Lk-1，Lk為包含障礙物目標(biāo)的連續(xù)三幀圖像，設(shè)定閾值Tk-2，Tk-1，Tk分別為Lk-2，Lk-1，Lk幀圖像的灰度像素的均值[10]，低于閾值的像素取為0。

步驟2

將相鄰兩幀圖像相減，利用式（10）和式（11）分別得到幀間差分圖像dk-2,k-1(x,y)，dk-1,k(x,y)：

步驟3

取幀間差分圖像進(jìn)行“或”運(yùn)算:

步驟4

采用不同大小的橢圓形算子，如表1所示。

表1 橢圓形算子名稱及大小Tab.1 Ellipse operator name and size

將步驟3得到的Bk_now送入加權(quán)融合的連續(xù)幀差分網(wǎng)絡(luò)中，得到初步的Bk,，如圖5所示。

圖5 特征融合網(wǎng)絡(luò)Fig.5 Feature fusion network

步驟5

式中：將當(dāng)前時(shí)刻的差分圖Bk_now、上一時(shí)刻的差分圖Bk_last、當(dāng)前幀Lk圖像進(jìn)行加權(quán)融合得到更加魯棒的Bk，經(jīng)特征融合網(wǎng)絡(luò)輸出，得到最終的Bk，即目標(biāo)檢測結(jié)果。其中，w1，w2，w3是待選取的超參數(shù)，本文中分別取0.45，0.4，0.15。erode為腐蝕操作，dilate為膨脹操作。

3 運(yùn)動目標(biāo)跟蹤算法

3.1 模型及表示

Mean-shift算法[11-12]采用顏色直方圖作為目標(biāo)的特征，顏色直方圖被劃分為M個(gè)區(qū)間，用特征空間中概率密度函數(shù)的形式描述特征空間中的目標(biāo)模板[13]，如下式：

其中：N為目標(biāo)框中像素的個(gè)數(shù)；q為目標(biāo)模板概率密度分布的向量；是框中像素的位置信息；k(x)為核函數(shù)；C為歸一化常數(shù)；h為半徑，也稱帶寬函數(shù)，大小等于跟蹤框?qū)挾鹊囊话?。是將像素點(diǎn)映射到顏色直方圖對應(yīng)的區(qū)間，δ為單位脈沖函數(shù)。

待跟蹤目標(biāo)映射到特征空間以后，在之后的圖像序列中選定可能包含待跟蹤目標(biāo)的區(qū)域，也將其映射到特征空間，用概率密度函數(shù)的形式描述，p為向量表達(dá)形式，pu表示其第u個(gè)分量，如下式：

其中：y表示候選區(qū)域的中心坐標(biāo)；pu(y)為候選區(qū)域的第u個(gè)特征的概率；hh是帶寬；Ch是歸一化常量

3.2 相似性度量

目標(biāo)模型與候選模型間以距離公式定義相似度，如下式：

其中，d(y)的值越小，候選目標(biāo)與待跟蹤目標(biāo)的相似性越大。目標(biāo)是找到一個(gè)相似程度最大的候選目標(biāo)，認(rèn)定其為跟蹤的目標(biāo)。

3.3 目標(biāo)跟蹤

y0是初始的匹配位置，即上一幀圖像中的待跟蹤目標(biāo)位置。利用泰勒公式對p(y)在y0處進(jìn)行泰勒展開，如下式：

最大化公式（20），即最大化其第二項(xiàng)。在這個(gè)過程中，核函數(shù)的值移動到當(dāng)前幀的目標(biāo)中心：

4 實(shí)驗(yàn)結(jié)果及分析

4.1 目標(biāo)檢測結(jié)果對比

為了檢驗(yàn)特征融合網(wǎng)絡(luò)算法的有效性，將本算法與二幀差分法、改進(jìn)差分法進(jìn)行實(shí)驗(yàn)結(jié)果的對比。采用4個(gè)不同的圖像序列進(jìn)行實(shí)驗(yàn)效果展示，其中，序列1是航行器直線航行時(shí)所獲取障礙物的連續(xù)5幀場景（從上至下），序列2是轉(zhuǎn)動航行時(shí)所獲取障礙物的連續(xù)5幀場景（從上至下），序列3與序列4為其余2種障礙物目標(biāo)的連續(xù)5幀場景（從上至下）。選擇4組包含不同目標(biāo)形狀、不同運(yùn)動狀態(tài)的圖像序列可以比較徹底地檢測算法的有效性，對比結(jié)果如圖6～圖9所示。a1～a5是原聲吶圖像序列，b1～b5是經(jīng)二幀差分法得到的檢測結(jié)果，c1～c5是改進(jìn)差分法檢測結(jié)果，d1～d5為本算法目標(biāo)檢測結(jié)果。

從抑制混響噪聲的程度評價(jià)：二幀差分法與改進(jìn)差分法一定程度上抑制了混響噪聲，然而這2種算法受背景環(huán)境影響較大，仍有許多混響噪聲未被很好地抑制，在混響噪聲變化復(fù)雜時(shí)這一現(xiàn)象更加明顯，如序列3所示。相較于前2種算法，本算法對于混響噪聲有較好的抑制效果。

圖6 序列1Fig.6 Sequence one

圖7 序列2Fig.7 Sequence two

圖8 序列3Fig.8 Sequence three

圖9 序列4Fig.9 Sequence four

1）從抑制旁瓣噪聲程度評價(jià)

如序列1、序列4中第四、第5幀圖像所示，二幀差分法與改進(jìn)差分法對旁瓣噪聲的抑制能力不足，會產(chǎn)生虛檢的情況。本算法對于旁瓣噪聲有很好的抑制效果。

2）從目標(biāo)障礙物檢測的完整性評價(jià)

水下航行器航行時(shí)，由于潛器速度較慢，二幀法表現(xiàn)很差，不能完整地檢測出障礙物，且?guī)c幀之間，障礙物形態(tài)變化劇烈，如序列3、序列4所示；改進(jìn)差分法相對于二幀差分法，檢測障礙物的完整性有了一定提升，但是依然存在邊緣過渡劇烈、內(nèi)部出現(xiàn)空洞等現(xiàn)象，并且?guī)c幀之間障礙物形態(tài)變化依然明顯，如序列1中第4幀與第5幀圖像所示。本算法對于障礙物目標(biāo)的形態(tài)能夠較好被檢測出來，并且使其在幀與幀之間過渡平緩自然。

總的來說，當(dāng)背景噪聲復(fù)雜、目標(biāo)移動速度較慢時(shí)，二幀差分法幾乎失效；改進(jìn)差分法保留了障礙物的大致輪廓，但是也使障礙物檢測的完整程度被嚴(yán)重破壞；本算法使障礙物檢測的完整性得到很好的保證。

4.2 目標(biāo)跟蹤結(jié)果與分析

利用Mean-shift算法對障礙物目標(biāo)進(jìn)行跟蹤，每隔固定時(shí)長，截取一幀，作為跟蹤結(jié)果。以跟蹤結(jié)果作為檢驗(yàn)加權(quán)融合特征網(wǎng)絡(luò)算法有效性的標(biāo)準(zhǔn)。對比結(jié)果如圖10所示。

圖10 跟蹤效果對比圖Fig.10 Track effect comparison chart

其中，a1～a4是利用Mean-shift算法在原視頻序列中直接進(jìn)行跟蹤的結(jié)果，b1～b4是利用改進(jìn)差分法[8]進(jìn)行目標(biāo)檢測后，再利用Mean-shift跟蹤的結(jié)果，c1～c4是利用本算法進(jìn)行目標(biāo)檢測后的跟蹤結(jié)果。

從結(jié)果可以看出，由于大量噪聲的存在，Meanshift在原視頻上跟蹤失效；改進(jìn)差分法提升了跟蹤目標(biāo)的有效性，但是由于目標(biāo)檢測及抑制噪聲的不穩(wěn)定性，導(dǎo)致在一些圖像幀中目標(biāo)跟蹤失??；本算法由于穩(wěn)定地檢測了目標(biāo)及有效地抑制了噪聲，使得Meanshift算法能夠穩(wěn)定地跟蹤目標(biāo)。

5 結(jié) 語

從4個(gè)序列的實(shí)驗(yàn)對比結(jié)果可以看出，傳統(tǒng)差分法不適合運(yùn)動速度較慢的目標(biāo)檢測，并且當(dāng)目標(biāo)區(qū)域的灰度值在大范圍內(nèi)相似時(shí)，目標(biāo)區(qū)域內(nèi)部會出現(xiàn)空洞。本文提出了加權(quán)融合的差分網(wǎng)絡(luò)算法，較好地解決了傳統(tǒng)差分法在水下目標(biāo)運(yùn)動緩慢、高噪聲場景下存在的問題。針對不同的運(yùn)動場景、不同的障礙物目標(biāo)，本算法均顯示出良好的抑制噪聲、檢測障礙物目標(biāo)的能力?；趯?shí)航圖像的實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出方法的可行性和有效性。