摘 要:在渾濁的水下環(huán)境中,受水體多重散射以及噪聲的影響,造成水下成像質(zhì)量大幅下降,現(xiàn)有顯著性目標(biāo)檢測(cè)算法無(wú)法滿足目標(biāo)檢測(cè)準(zhǔn)確性的任務(wù)需求。因此,提出一種基于偏振成像和顯著區(qū)域自補(bǔ)償?shù)乃嘛@著目標(biāo)檢測(cè)算法。提出的算法分為兩個(gè)階段:采用基于偏振角估計(jì)后向散射光的方法去除后向散射的影響,同時(shí)引入引導(dǎo)濾波進(jìn)行水下去噪,再通過(guò)PSF函數(shù)去除前向散射造成的模糊效應(yīng);利用改進(jìn)的柵格掃描算法結(jié)合局部特征描述符識(shí)別前景超像素,根據(jù)前景超像素生成顯著區(qū)域?qū)W(wǎng)絡(luò)進(jìn)行優(yōu)化補(bǔ)償,再結(jié)合DeepLabv3+網(wǎng)絡(luò)生成最終的分割圖。在渾濁水下環(huán)境進(jìn)行了多組對(duì)比實(shí)驗(yàn)結(jié)果表明,所提復(fù)原算法可以有效地增強(qiáng)目標(biāo),提高了目標(biāo)的對(duì)比度和清晰度,所提顯著目標(biāo)檢測(cè)算法能夠準(zhǔn)確地檢測(cè)出水下顯著目標(biāo),并且可以保留細(xì)節(jié)信息。結(jié)合偏振成像模型的優(yōu)點(diǎn),該算法能夠較好地克服水下復(fù)雜的光學(xué)成像環(huán)境,并且能快速準(zhǔn)確地檢測(cè)出水下顯著目標(biāo)。
關(guān)鍵詞:顯著目標(biāo)檢測(cè);渾濁水體;偏振成像;圖像復(fù)原;深度學(xué)習(xí);多重散射
中圖分類號(hào):TP391.41 文獻(xiàn)標(biāo)志碼:A
文章編號(hào):1001-3695(2022)07-047-2210-07
doi:10.19734/j.issn.1001-3695.2021.11.0619
基金項(xiàng)目:國(guó)家自然科學(xué)基金資助項(xiàng)目(41876097);江蘇省重點(diǎn)研發(fā)計(jì)劃資助項(xiàng)目(BE2019036)
作者簡(jiǎn)介:王慧敏(1996-),女,安徽安慶人,碩士研究生,主要研究方向?yàn)樗聢D像處理;霍冠英(1979-),男(通信作者),河南汝南人,教授,博導(dǎo),博士,主要研究方向?yàn)樗侣晠葓D像處理(huoguanying@hhu.edu.cn);周亞琴(1994-),女,江蘇泰州人,博士,主要研究方向?yàn)橐曈X(jué)感知以及水下圖像處理;余大兵(1996-),男,河南信陽(yáng)人,博士,主要研究方向?yàn)槠癯上褚约八聢D像恢復(fù).
Underwater salient target detection based on polarization imaging and salient region self-compensation
Wang Huimin,Huo Guanying?,Zhou Yaqin,Yu Dabing
(College of Internet of Things Engineering,Hohai University,Changzhou Jiangsu 213022,China)
Abstract:In the turbid underwater environment,due to the influence of multiple scattering and noise,the underwater imaging quality is greatly reduced.The existing significant target detection algorithms can’t meet the task requirements of target detection accuracy.Therefore,this paper proposed an underwater salient target detection algorithm based on polarization imaging and salient region self-compensation.It divided the proposed algorithm into two stages.Firstly it used the method of estimating backscattered light based on polarization angle to remove the influence of backscattering,and introduced guided filter for underwater noise,and then removed the fuzzy effect caused by forward scattering through PSF function.Secondly it used an improved raster scanning algorithm combined with local feature descriptors to identify foreground superpixels,generated salient regions based on foreground superpixels to optimize and compensate the network,and then combined with DeepLabv3+ network to generate the final segmentation map.This paper conducted multiple sets of comparative experiments in a turbid underwater environment.The results show that the proposed restoration algorithm can effectively enhance the target,improve the contrast and clarity of the target,and the proposed salient target detection algorithm can accurately detect the underwater salient target and retain the detailed information.Combining the advantages of the polarization imaging model,this algorithm can better overcome the underwater complex optical imaging environment,and quickly and accurately detect significant underwater targets.
Key words:salient target detection;turbid water body;polarization imaging;image restoration;deep learning;multiple scattering
0 引言
我國(guó)是一個(gè)海洋大國(guó),領(lǐng)海面積廣闊,所以水下活動(dòng),如海底探礦、海底沉船搜索、壩基裂縫檢測(cè)、水下管道檢修等都需要用到目標(biāo)檢測(cè)。其中,顯著目標(biāo)檢測(cè)是水下目標(biāo)檢測(cè)、識(shí)別以及跟蹤的關(guān)鍵[1]。水下顯著目標(biāo)檢測(cè)與傳統(tǒng)的視覺(jué)顯著目標(biāo)檢測(cè)一樣,不僅可以有效地聚焦于水下圖像的感興趣區(qū)域,而且有利于未來(lái)水下視覺(jué)技術(shù)的發(fā)展。因此,針對(duì)水下顯著目標(biāo)檢測(cè)的研究具有較高的實(shí)際應(yīng)用價(jià)值。
最早Atallah等人[2]利用顯著性相關(guān)概念進(jìn)行水下目標(biāo)檢測(cè),即利用尺度特征對(duì)聲納圖像中的物體進(jìn)行檢測(cè),除了對(duì)感興趣的目標(biāo)進(jìn)行定位外,仿真結(jié)果也證明該算法對(duì)圖像強(qiáng)度、尺度和對(duì)比度變化的魯棒性,為后續(xù)的研究奠定了初步的基礎(chǔ)。Wang等人[3]利用Itti概述的方法計(jì)算相應(yīng)水下圖像的顯著圖,解決了如何在水下光學(xué)圖像中同時(shí)進(jìn)行目標(biāo)檢測(cè)和分割的問(wèn)題。Huo等人[4]提出了一種對(duì)光學(xué)視頻中觀察到的目標(biāo)進(jìn)行目標(biāo)檢測(cè)和3D重建的系統(tǒng),利用顯著性來(lái)識(shí)別圖像中的顯著區(qū)域,通過(guò)得到的顯著區(qū)域來(lái)執(zhí)行前景對(duì)象分割,該方法能夠減少分割過(guò)程中的計(jì)算成本,并增強(qiáng)后續(xù)3D重建過(guò)程的魯棒性。隨著機(jī)器學(xué)習(xí)的發(fā)展,基于深度學(xué)習(xí)的顯著性檢測(cè)算法不斷被提出,如SupreCNN[5]、MDF[6]和ELD[7]等基于深度學(xué)習(xí)的顯著目標(biāo)檢測(cè)算法通常會(huì)融合人工特征到網(wǎng)絡(luò)中,這些特征信息使得算法能提取更有效的深度顯著性特征;而RFCN[8]和SRM[9]則是采用更具有魯棒性的特征提取網(wǎng)絡(luò)和全卷積網(wǎng)絡(luò),形成端到端的訓(xùn)練模型,增進(jìn)了模型的檢測(cè)準(zhǔn)確率;此外,一些顯著目標(biāo)檢測(cè)法將目標(biāo)的邊緣信息引入到網(wǎng)絡(luò)中以提高目標(biāo)輪廓檢測(cè)的準(zhǔn)確性,如AFNet[10]和EGNet[11]。
在強(qiáng)散射的水下環(huán)境,基于偏振成像技術(shù)的目標(biāo)檢測(cè)不僅能夠生成高質(zhì)量、高對(duì)比度的圖像,還能為水下場(chǎng)景中的物體提供更多的信息,對(duì)于提高目標(biāo)檢測(cè)的準(zhǔn)確性和效率具有重要意義。Guan等人[12]提出了一種偏振減方法,以正確估計(jì)水體散射噪聲與目標(biāo)信號(hào)的退偏振特性,實(shí)驗(yàn)結(jié)果表明,針對(duì)無(wú)散射參照的水下情況,可以檢測(cè)水中表面光滑的保偏目標(biāo);該方法需要確定兩個(gè)減因子,因此不適用于場(chǎng)景中多個(gè)不同材質(zhì)目標(biāo)的情況。Liu等人[13]提出一種基于波長(zhǎng)選擇的有源偏振成像技術(shù),該方法利用渾濁水中光散射對(duì)波長(zhǎng)的依賴關(guān)系來(lái)實(shí)現(xiàn)。根據(jù)波長(zhǎng)選擇性選擇紅光照明,以減少光傳播中的散射,并保證準(zhǔn)確估計(jì)偏振度,結(jié)果證明該技術(shù)能夠有效去除散射光,并恢復(fù)了目標(biāo)的細(xì)節(jié)信息。Han等人[14]利用光學(xué)相關(guān)性來(lái)確定偏振特性最優(yōu)圖像對(duì),通過(guò)比較兩幅圖像之間的相似度并用參數(shù)PCE(peak-to-correlation energy)來(lái)量化,從而得出最優(yōu)圖像對(duì)相似度最小的結(jié)論,經(jīng)驗(yàn)證該方法的提出提高了水下偏振成像的視覺(jué)性能、分辨率和精度,有效提升了目標(biāo)檢測(cè)的能力。
在實(shí)際應(yīng)用中,由于特殊的光學(xué)水下成像背景環(huán)境,水下圖像具有低對(duì)比度、低信噪比和色彩失真等特點(diǎn),傳統(tǒng)的顯著目標(biāo)檢測(cè)算法無(wú)法保證渾濁水下目標(biāo)檢測(cè)的準(zhǔn)確性。本文針對(duì)水下成像特點(diǎn)并結(jié)合基于深度學(xué)習(xí)的顯著目標(biāo)檢測(cè)算法,提出一種基于偏振成像和顯著區(qū)域自補(bǔ)償?shù)乃嘛@著目標(biāo)檢測(cè)算法。該方法利用引導(dǎo)濾波進(jìn)行水下去噪,采用基于偏振角估計(jì)后向散射的復(fù)原方法去除后向散射的霧化影響,并引入PSF函數(shù)去除前向散射造成的模糊效應(yīng);使用超像素算法過(guò)分割偏振復(fù)原后的圖像,再利用改進(jìn)柵格掃描的顯著性算法對(duì)目標(biāo)進(jìn)行快速定位,結(jié)合局部特征描述符來(lái)識(shí)別前景超像素,根據(jù)前景超像素生成的顯著區(qū)域來(lái)補(bǔ)償優(yōu)化DeepLabv3+網(wǎng)絡(luò),即可得到最終的結(jié)果。
1 本文算法
本文針對(duì)渾濁的水下環(huán)境提出一種基于偏振成像和顯著區(qū)域自補(bǔ)償?shù)乃嘛@著目標(biāo)檢測(cè)算法,如圖1所示,該算法分為圖像復(fù)原和顯著目標(biāo)檢測(cè)兩個(gè)階段。采用主動(dòng)的非偏振光源搭建水下偏振成像模型,結(jié)合改進(jìn)的偏振成像模型實(shí)現(xiàn)圖像復(fù)原,可以有效地抑制水下多重散射的影響,提高圖像的質(zhì)量;針對(duì)偏振復(fù)原后的圖像,采用一種基于顯著區(qū)域自補(bǔ)償網(wǎng)絡(luò)的水下顯著目標(biāo)檢測(cè)算法,以保證水下顯著目標(biāo)檢測(cè)的準(zhǔn)確性和效率。
1.1 融合偏振角分布估計(jì)的水下偏振成像模型的圖像復(fù)原
1.1.1 融合偏振角分布估計(jì)的渾濁水下偏振成像模型
光在水體中傳播時(shí)與水體發(fā)生相互作用,導(dǎo)致了光的衰減和散射。相機(jī)感光元件接收到的輻照強(qiáng)度由D(x,y)和B(x,y)兩部分組成。目標(biāo)的直接透射光D(x,y)源于相機(jī)視場(chǎng)中物體的光強(qiáng),以及被懸浮微粒吸收、散射而產(chǎn)生的衰減;B(x,y)稱為雜散光強(qiáng)或后向散射光強(qiáng),它是朝向相機(jī)的散射光。其中,(x,y)表示圖像空間位置的像素坐標(biāo)。相機(jī)的輻照強(qiáng)度I(x,y)可以表示為
直接透射光D(x,y)和后向散射光B(x,y)分別表示為
其中:A∞是指在渾濁的介質(zhì)中無(wú)窮遠(yuǎn)處的反向散射光強(qiáng);L(x,y)表示清晰場(chǎng)景下的輻照強(qiáng)度;t(x,y)表示通過(guò)介質(zhì)的透射率,描述了水中微粒對(duì)光的散射和吸收程度,定義為
其中:β表示水中微粒的光密度,本文假定在不同波長(zhǎng)下β為常數(shù),即t(x,y)只與Z(x,y)有關(guān);Z(x,y)表示圖像的空間位置(x,y)處與相機(jī)間的成像距離。
然而在真實(shí)水下環(huán)境中,影響成像質(zhì)量的因素不僅有介質(zhì)散射引起的衰減,還存在水下噪聲以及L(x,y)受到多重散射引起的模糊效應(yīng)等,綜合考慮這些因素提出如下成像模型:
由于模糊效應(yīng)可以通過(guò)圖像空間中的核函數(shù)的卷積表示,本文將基于廣義高斯分布的功率譜密度函數(shù)PSF[15]相應(yīng)地建模為hpsf(x,y),表示多重散射引起的模糊效應(yīng);N表示水中微粒造成的隨機(jī)噪聲。結(jié)合式(2)(3),式(5)中的模型可表示為
由上式推導(dǎo)得到如下表達(dá)式:
1.2 水下顯著目標(biāo)快速檢測(cè)
為了改善顯著目標(biāo)的檢測(cè),提出一種基于顯著區(qū)域自補(bǔ)償?shù)腄eepLabv3+網(wǎng)絡(luò),在不增加額外的卷積層、不過(guò)多引入網(wǎng)絡(luò)參數(shù)的條件下,實(shí)現(xiàn)具有高質(zhì)量的顯著目標(biāo)的檢測(cè)。該方法以DeepLabv3+[18]作為基準(zhǔn)網(wǎng)絡(luò),以前景超像素生成的顯著區(qū)域與原始圖像級(jí)聯(lián)形成一種四通道的輸入,用于強(qiáng)化水下目標(biāo)的顯著性檢測(cè)。
1.2.1 基于改進(jìn)柵格掃描算法的水下顯著目標(biāo)初步定位
傳統(tǒng)方法如基于測(cè)地線距離的方法[19]或基于擴(kuò)散的方法[20]均依賴于區(qū)域提取步驟,而這種區(qū)域抽象步驟限制了這類方法的效率。本文利用一種圖像邊界連通性的方法生成顯著圖來(lái)提高顯著目標(biāo)檢測(cè)的速度,并且具有更好的抗噪性能和去模糊能力。
假設(shè)偏振復(fù)原后圖像I的一條路徑π=〈π(0),…,π(k)〉是一系列相鄰的像素序列。對(duì)于給定的路徑代價(jià)函數(shù)Z和背景種子像素集合S,圖像距離變換就是計(jì)算復(fù)原后的圖像I中各個(gè)像素和背景種子像素集合S的距離圖M,對(duì)于每個(gè)像素點(diǎn)t,有
其中:π∈ΠS,t是連接S和t中種子像素的所有路徑的集合。
受最小化柵格距離MBD[21]啟發(fā),本文計(jì)算距離圖的路徑代價(jià)函數(shù)定義如下:
在計(jì)算圖像距離變換圖的過(guò)程中,利用光柵掃描或反光柵掃描的方法依次訪問(wèn)每個(gè)像素x,然后在像素鄰域的一半像素中訪問(wèn)每個(gè)相鄰像素y,并將像素y用于迭代最小化像素x處的路徑代價(jià),則路徑最小化操作表示如下:
其中:P(y)表示像素y的路徑;〈y,x〉表示從像素y到x的邊界;P(y)·〈y,x〉表示像素y的路徑,方向?yàn)閺南袼貀到像素x;H(y)和L(y)分別是路徑P(y)上的最大像素值和最小像素值。因此可以通過(guò)兩個(gè)輔助圖H和L來(lái)有效地計(jì)算Sal(Py(x)),這兩個(gè)輔助圖相當(dāng)于每個(gè)像素在當(dāng)前路徑上的最大值和最小值。
算法的流程為:a)給定圖像I和種子集S,初始化距離圖M,令M(x)=0,x∈S;b)設(shè)置路徑代價(jià)函數(shù);c)迭代光柵掃描、反光柵掃描;d)當(dāng)路徑分配改變時(shí),相應(yīng)地更新輔助圖H和L;e)將圖像邊界的像素設(shè)置為種子點(diǎn),使用上述步驟計(jì)算圖像上三個(gè)通道的MBD圖,再將所有通道的MBD圖相加構(gòu)成初步的顯著圖。
1.2.2 背景和前景超像素的識(shí)別
使用文獻(xiàn)[22]給出的超像素分割算法將基于偏振復(fù)原后的圖像分割成N個(gè)超像素,生成的過(guò)分割圖像如圖1所示。其中每個(gè)超像素包含了不同的紋理信息和顏色信息,且有助于去除不相關(guān)的細(xì)節(jié)信息。從超像素圖像中提取合適大小的面片,得到超像素的局部特征描述符OTC特征[23];局部特征描述符QTC特征可以沿著多個(gè)方向獲取面片的紋理,同時(shí)對(duì)于光照變化、幾何失真和局部對(duì)比度的差異具有較好的魯棒性,有利于水下圖像的信息提取。
結(jié)合上述所得的超像素和顯著目標(biāo)的提取,可以得到顯著性超像素和不顯著超像素性的預(yù)分割。對(duì)于每個(gè)超像素獲取顯著圖中的中間像素值,如果該中間像素值大于閾值T,則該超像素被分類為顯著超像素,否則歸類為不顯著超像素。將顯著超像素表示為前景超像素,將不顯著超像素表示為背景超像素。在分類的過(guò)程中會(huì)存在將部分顯著超像素劃分為背景超像素和不顯著超像素劃分為前景超像素的情況。為了克服這個(gè)問(wèn)題,本文使用自適應(yīng)模糊動(dòng)態(tài)K-均值算法將被分類為前景超像素的OTC特征進(jìn)行聚類分析,其基本思想是定義一個(gè)適應(yīng)度函數(shù)作為聚類中心的指標(biāo),調(diào)整聚類,直到各個(gè)聚類中心的適應(yīng)度函數(shù)達(dá)到平衡。
對(duì)于最初被分類為前景的超像素,計(jì)算該超像素和背景超像素OTC特征的聚類中心之間的歐幾里德距離f(cj),如果f(cj)gt;T,則該超像素被分類為前景超像素。重復(fù)上述過(guò)程以得到更加精確的前景超像素?;谏鲜龅男畔?duì)顯著圖進(jìn)行修改,使得只有前景的超像素區(qū)域具有顯著性,最后得到目標(biāo)的顯著區(qū)域。
1.2.3 基于顯著區(qū)域自補(bǔ)償?shù)腄eepLapv3+網(wǎng)絡(luò)模型
將上述所得目標(biāo)的顯著區(qū)域作為網(wǎng)絡(luò)模型的顯著區(qū)域補(bǔ)償與偏振復(fù)原后的圖像沿輸入的通道進(jìn)行級(jí)聯(lián),作為深度學(xué)習(xí)網(wǎng)絡(luò)的輸入。數(shù)學(xué)模型如下所示:
其中:cat代表級(jí)聯(lián)操作;Io(i,j)|r,g,b表示偏振復(fù)原后的圖像,Is(i,j)表示前景超像素生成的顯著區(qū)域,級(jí)聯(lián)后的輸入I(i,j)|r,g,b,s包含三個(gè)RGB通道和一個(gè)目標(biāo)的顯著區(qū)域通道。當(dāng)輸入通道變?yōu)?時(shí),對(duì)應(yīng)的圖像尺寸也相應(yīng)地變化為b×w×h×c,b代表批處理大小,w和h表示圖像的寬度和高度,c表示通道的個(gè)數(shù)。
編碼器和解碼器的結(jié)構(gòu)被廣泛應(yīng)用于圖像語(yǔ)義分割中,編碼器主要產(chǎn)生于深度神經(jīng)網(wǎng)絡(luò)中,且出現(xiàn)于分辨率較低的提取器中;解碼器指的是能夠完全恢復(fù)到原圖的部分。為了解決處理高分辨率圖像的耗時(shí)問(wèn)題,在DeepLabv3模型基礎(chǔ)上通過(guò)編碼和解碼架構(gòu)進(jìn)行改進(jìn),得到DeepLabv3+結(jié)構(gòu)模型,如圖3所示。
編碼器部分就是DeepLabv3網(wǎng)絡(luò),而網(wǎng)絡(luò)的解碼部分采用一個(gè)簡(jiǎn)單有效的模塊。DeepLabv3+采用將帶空洞卷積塊并連在一起作為編碼部分,編碼結(jié)構(gòu)的ASPP模塊連接在其后。DeepLabv3+應(yīng)用了深度可分離結(jié)構(gòu)的Xception卷積的加深結(jié)構(gòu)改進(jìn),在解碼器模塊也同樣應(yīng)用到,改進(jìn)后的Xception結(jié)構(gòu)模型如圖3所示。編碼器輸出的特征經(jīng)過(guò)4倍雙線性插值上采樣得到的特征層和對(duì)應(yīng)的經(jīng)過(guò)1×1卷積降通道得到的特征層進(jìn)行拼接,之后通過(guò)一個(gè)3×3的卷積對(duì)特征進(jìn)行細(xì)化,最后通過(guò)一個(gè)4倍的雙線性插值上采樣得到最后的輸出。
DeepLabv3+特別注重目標(biāo)邊緣的分割,優(yōu)化細(xì)分結(jié)果,可以通過(guò)對(duì)空洞卷積的大小選組從而確定要提取的編碼部分輸出特征分辨率的大小。這種編碼和解碼的架構(gòu)模型與DeepLabv3相比,具有更優(yōu)秀的性能和更精細(xì)的分割效果。
2 實(shí)驗(yàn)結(jié)果與分析
2.1 實(shí)驗(yàn)設(shè)置
為了驗(yàn)證所提出方法的有效性,本文進(jìn)行了真實(shí)的水下成像場(chǎng)景實(shí)驗(yàn),水下偏振成像裝置示意圖如圖4所示。
采用可調(diào)節(jié)波長(zhǎng)的水下潛水燈作為主動(dòng)照明光源,型號(hào)為JAUNT-D80F。成像設(shè)備采用一個(gè)型號(hào)LUCID_PHX050S的攝像機(jī),該攝像機(jī)可通過(guò)基于RGB的成像傳感器獲取水下圖像的偏振信息。為了模擬出接近實(shí)際的有懸浮顆粒的水下環(huán)境,在一個(gè)50 cm(長(zhǎng))×50 cm(寬)×80 cm(高)的水箱中倒入稀釋的牛奶溶液。實(shí)驗(yàn)表明,牛奶可以在長(zhǎng)時(shí)間的散射中模擬海水的散射特性。將實(shí)驗(yàn)對(duì)象浸入水中,通過(guò)攝像機(jī)獲得線偏振方向分別為0°、45°、90°和135°的四張圖片I0°(x,y)、I45°(x,y)、I90°(x,y)和 I135°(x,y),可以看出在渾濁的水下環(huán)境中獲取的原始水下圖像的可視性差,圖像的細(xì)節(jié)信息模糊。
本文應(yīng)用遷移學(xué)習(xí)的方法訓(xùn)練網(wǎng)絡(luò)模型,即對(duì)已訓(xùn)練完成的模型根據(jù)自己的需求進(jìn)行調(diào)整,幫助訓(xùn)練新的模型,從而在加快新模型學(xué)習(xí)效率的同時(shí)優(yōu)化模型,因此將公共數(shù)據(jù)集中訓(xùn)練好的模型應(yīng)用在本文的目標(biāo)檢測(cè)任務(wù)中。本文采用的主干網(wǎng)絡(luò)為ResNet101,預(yù)訓(xùn)練的權(quán)重從PyTorch下載。訓(xùn)練的網(wǎng)絡(luò)環(huán)境采用的開發(fā)語(yǔ)言為Python,利用其中的OpenCV、Numpy等庫(kù)文件對(duì)圖像進(jìn)行處理。通過(guò)PyTorch 1.4.0版本搭建網(wǎng)絡(luò)模型,訓(xùn)練中采用基于動(dòng)量的隨機(jī)梯度下降法作為優(yōu)化算法,采用交叉熵函數(shù)作為損失函數(shù)。
2.2 消融實(shí)驗(yàn)
為了驗(yàn)證本文中各個(gè)模塊的有效性,由于水下偏振圖像數(shù)據(jù)集的有限性,本節(jié)針對(duì)本文中制作的水下圖像數(shù)據(jù)集以基于ResNet為骨干網(wǎng)的改進(jìn)DeepLapv3+網(wǎng)絡(luò)為基線進(jìn)行消融實(shí)驗(yàn),消融模塊包括偏振復(fù)原效果分析和顯著區(qū)域自補(bǔ)償分析兩個(gè)部分。設(shè)置五組對(duì)比實(shí)驗(yàn),每次只有一個(gè)變量,其他參數(shù)配置不變。圖5所示為消融實(shí)驗(yàn)的部分對(duì)比,其中偏表示基于偏振成像的圖像復(fù)原,顯表示顯著區(qū)域補(bǔ)償。消融實(shí)驗(yàn)表明本文所引入的模塊都能在一定程度上改善目標(biāo)檢測(cè)的效果。
2.2.1 偏振復(fù)原效果分析
針對(duì)于本文中制作的水下圖像數(shù)據(jù)集進(jìn)行測(cè)試,相較于未經(jīng)過(guò)偏振復(fù)原的水下圖像測(cè)試集,偏振復(fù)原的預(yù)處理使得網(wǎng)絡(luò)的顯著目標(biāo)檢測(cè)在兩個(gè)評(píng)價(jià)指標(biāo)均獲得較大的性能提升,如圖6、7所示,F(xiàn)-measure 至少提升了69%,MAE至少下降了87%。視覺(jué)對(duì)比上,經(jīng)過(guò)偏振復(fù)原后的圖像質(zhì)量明顯得到了很大的提升,最終的顯著目標(biāo)也具有更清晰和完整的輪廓。
2.2.2 顯著區(qū)域自補(bǔ)償分析
針對(duì)于本文中制作的水下圖像數(shù)據(jù)集進(jìn)行測(cè)試,與基線模型相比,由圖6、7可得,顯著目標(biāo)初步定位的添加在兩個(gè)評(píng)價(jià)指標(biāo)上均帶來(lái)性能的提升,F(xiàn)-measure至少提升了56%,MAE至少下降了83%。視覺(jué)對(duì)比上,利用前景超像素生成的顯著區(qū)域作為網(wǎng)絡(luò)模型的輸入增加了預(yù)測(cè)目標(biāo)的準(zhǔn)確性,使得顯著目標(biāo)的檢測(cè)更為精準(zhǔn);另一方面,由于顯著目標(biāo)初步定位算法中涉及超像素的分割,超像素塊的增加可以使圖像被分割得越來(lái)越精準(zhǔn),但當(dāng)超像素塊達(dá)到一定的數(shù)量,其對(duì)實(shí)驗(yàn)結(jié)果的影響變小,甚至可能影響網(wǎng)絡(luò)的表現(xiàn)。因此,顯著區(qū)域補(bǔ)償是有限的,盡管作為網(wǎng)絡(luò)其中之一的輸入是有效的,但會(huì)隨著卷積的操作而淡化。
2.3 對(duì)比實(shí)驗(yàn)分析及結(jié)果
2.3.1 定性評(píng)估
為了測(cè)試和驗(yàn)證本文算法的有效性,將其與不同的圖像增強(qiáng)算法進(jìn)行了對(duì)比分析,包括文獻(xiàn)[24,25]的方法,L2UWE[26]、TIP[27]和TSA[28]三種傳統(tǒng)圖像復(fù)原的方法。圖8展示了在渾濁水下八組不同形狀以及不同材質(zhì)的目標(biāo)的對(duì)比圖像,其中原圖只取I0°(x,y)進(jìn)行展示。從圖8中可以看出,文獻(xiàn)[24]提出的偏振復(fù)原算法在渾濁水下效果不理想,增加了噪聲并且出現(xiàn)了局部過(guò)曝;文獻(xiàn)[25]提出的算法提高了圖像的對(duì)比度,但圖像存在的帷幔效應(yīng)沒(méi)有得到較好的解決,圖像的細(xì)節(jié)信息不清晰;L2UWE算法在低照度水下環(huán)境具有優(yōu)勢(shì),可以突出目標(biāo)的局部信息,但是目標(biāo)的色彩還原性沒(méi)有得到理想的效果;TIP算法提高了水下圖像的能見度和亮度,改善了細(xì)節(jié),但存在局部過(guò)曝;TSA采用顏色校正策略則能夠有效地減少偽影,提高了圖像的對(duì)比度以及進(jìn)行了色彩校正。但是在渾濁的水下環(huán)境中,存在大量的懸浮顆粒,嚴(yán)重降低了算法效果,以上算法并沒(méi)有較好地解決水下目標(biāo)的細(xì)節(jié)模糊問(wèn)題。本文算法通過(guò)改進(jìn)水下偏振成像模型能夠?qū)λ律⑸溥M(jìn)行有效抑制,并具有更好的抗噪性能和去模糊能力,因此在渾濁水質(zhì)中可以有效地增強(qiáng)目標(biāo),提高了目標(biāo)的對(duì)比度和信噪比,更有利于后續(xù)顯著目標(biāo)的提取。
此外將本文所提的顯著性目標(biāo)檢測(cè)算法與現(xiàn)有的檢測(cè)方法進(jìn)行實(shí)驗(yàn)對(duì)比,包括SaliencyWater[29]和PDP[30]兩種傳統(tǒng)的算法,三種深度學(xué)習(xí)的算法PFNet[31]、SINet[32]和SVAMNet[33]。顯著性目標(biāo)檢測(cè)的結(jié)果圖是灰度圖,采用OTSU閾值分割對(duì)生成的顯著圖進(jìn)行分割得到二值化結(jié)果,以便與本文的算法結(jié)果進(jìn)行對(duì)比。圖9(d)~(h)顯示的五種顯著性目標(biāo)檢測(cè)方法均是經(jīng)過(guò)OTSU閾值分割后的結(jié)果。本文提出的水下顯著目標(biāo)檢測(cè)算法與其他五種顯著目標(biāo)檢測(cè)算法均使用基于偏振復(fù)原后的渾濁水下圖像作為輸入。從圖9可以看出,傳統(tǒng)的顯著性檢測(cè)算法對(duì)水下噪聲敏感,魯棒性不高,出現(xiàn)了嚴(yán)重的過(guò)分割現(xiàn)象,導(dǎo)致水下目標(biāo)的細(xì)節(jié)信息被忽略掉,不適用于復(fù)雜水下環(huán)境中顯著目標(biāo)的檢測(cè)。深度學(xué)習(xí)的顯著性檢測(cè)算法能檢測(cè)出目標(biāo)的大致輪廓,在渾濁度更高的水下環(huán)境甚至無(wú)法完成顯著目標(biāo)檢測(cè)。相比之下本文算法對(duì)于光照不均勻、散射強(qiáng)以及噪聲等水質(zhì)因素具有較強(qiáng)的抗干擾能力,可以較好地檢測(cè)出大部分的水下目標(biāo),并且可以保留細(xì)節(jié)信息,對(duì)于高渾濁水下環(huán)境更具有優(yōu)勢(shì)。綜上,本文提出的算法與其他算法相比,該方法適用于渾濁的水下環(huán)境,利用偏振成像技術(shù)可以有效地提高在渾濁水下環(huán)境中目標(biāo)的可見度,并且保證了顯著目標(biāo)檢測(cè)的準(zhǔn)確性和效率;隨著渾濁度的增加,該算法的效果會(huì)更加明顯。
2.3.2 定量評(píng)估
圖像質(zhì)量評(píng)估是利用具體的指標(biāo)數(shù)值來(lái)衡量圖像質(zhì)量,圖像質(zhì)量評(píng)估可分為參考和無(wú)參考兩類。本文分別采用一種參考方法和一種無(wú)參考方法來(lái)評(píng)估本文算法的有效性。對(duì)于參考方法,本文引入了特征相似度(FSIM)來(lái)評(píng)估生成圖像和參考圖像之間的圖像相似度,F(xiàn)SIM值越高,復(fù)原算法越能保留圖像的結(jié)構(gòu)信息,圖像復(fù)原效果越好。對(duì)于無(wú)參考方法,本文使用自然圖像質(zhì)量評(píng)估器(NIQE)來(lái)評(píng)估圖像的質(zhì)量,其中較低的NIQE代表較高的圖像質(zhì)量。對(duì)于參考方法,從表1可以看出,本文提出的算法具有更有利的價(jià)值,可以在渾濁的水下環(huán)境提供更多的圖像信息;對(duì)于無(wú)參考方法,從表2可得到本文算法更具有優(yōu)勢(shì)。結(jié)果表明,經(jīng)本文算法處理后的水下圖像在對(duì)比度、細(xì)節(jié)和清晰度方面都有較明顯的提升,這與之前定性評(píng)估的結(jié)論比較一致。
為了定量分析各顯著目標(biāo)檢測(cè)算法的實(shí)驗(yàn)結(jié)果,采用F1-measure和MAE作為評(píng)價(jià)指標(biāo)。F1-measure是一種統(tǒng)計(jì)量,是精確率(presicion)和召回率(recall)的加權(quán)調(diào)和平均,當(dāng)F1越高時(shí),則檢測(cè)的效果越好;MAE表示對(duì)應(yīng)位置差值的絕對(duì)值之和,MAE越低,算法的效果越好。表3給出了各個(gè)算法的F1-measure值,表4給出了各算法的MAE值??梢钥闯?,本文算法的F1-measure值明顯高于其他對(duì)比方法,且MAE值均低于其他算法。表明了本文的顯著性目標(biāo)檢測(cè)算法效果更佳,應(yīng)對(duì)水下環(huán)境的各種因素干擾的魯棒性更強(qiáng)。
3 結(jié)束語(yǔ)
針對(duì)渾濁水下目標(biāo)檢測(cè)所面臨的顯著目標(biāo)提取較為困難的問(wèn)題,本文結(jié)合偏振成像技術(shù)提出了一種渾濁水質(zhì)中的顯著目標(biāo)檢測(cè)算法。通過(guò)改進(jìn)水下偏振成像模型,在基于偏振角估計(jì)后向散射的圖像復(fù)原基礎(chǔ)上,引入引導(dǎo)濾波進(jìn)行水下去噪和采用PSF函數(shù)抑制前向散射引起的模糊效應(yīng),能夠在很大程度上提高水下圖像的質(zhì)量和對(duì)比度,并為水下場(chǎng)景中的目標(biāo)提供了更多的細(xì)節(jié)信息;利用改進(jìn)MBD的水下顯著目標(biāo)快速定位的方法對(duì)水下目標(biāo)進(jìn)行準(zhǔn)確定位,再結(jié)合局部特征描述符來(lái)識(shí)別前景超像素,對(duì)于光照變化、幾何失真和局部對(duì)比度的差異具有較好的魯棒性,利用前景超像素生成的顯著區(qū)域優(yōu)化神經(jīng)網(wǎng)絡(luò)的輸入可以有效地提高顯著目標(biāo)檢測(cè)的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明,本文提出的算法能夠較好地克服強(qiáng)散射的水下環(huán)境對(duì)顯著目標(biāo)檢測(cè)的影響,提高了水下圖像的對(duì)比度,突出了目標(biāo)的邊緣等信息,并且保證了顯著目標(biāo)檢測(cè)的準(zhǔn)確性和效率。
未來(lái)將繼續(xù)優(yōu)化水下顯著目標(biāo)檢測(cè)算法,考慮到圖像退化的復(fù)原不足以解決水下圖像的退化問(wèn)題,自然環(huán)境中水下懸浮雜質(zhì)的遮擋也是水下環(huán)境感知過(guò)程中不可忽略的重要因素,尤其在懸浮雜質(zhì)度高的水下環(huán)境,會(huì)導(dǎo)致有效信息的丟失從而影響后續(xù)的目標(biāo)檢測(cè)。因此,尋求一種水下懸浮雜質(zhì)遮擋圖像修復(fù)的目標(biāo)檢測(cè)算法具有一定的實(shí)際意義。
參考文獻(xiàn):
[1]Wang Qiang,Wang Xiaowei,Pan Xiang.Adaptive sonar beamformer based on inverse QR decomposition and recursive least squares filter for underwater target detection[J].International Journal of Remote Sensing,2012,33(13):3987-3998.
[2]Atallah L,Shang C,Bates R.Object detection at different resolution in archaeological side-scan sonar images[C]//Proc of IEEE Conference on Europe Oceans.Piscataway,NJ:IEEE Press,2005:287-292.
[3]Wang Huibin,Dong Xin,Shen Jie,et al.Saliency-based adaptive object extraction for color underwater images[J].Applied Mechanics and Materials,2013,347-350:3964-3970.
[4]Huo Guanying,Wu Ziyin,Li Jiabiao,et al.Underwater target detection and 3D reconstruction system based on binocular vision[J].Sensors,2018,18(10):3570.
[5]He Shengfeng,Lau R W H,Liu Wenxi,et al.SuperCNN:a superpixelwise convolutional neural network for salient object detection[J].International Journal of Computer Vision,2015,115(3):330-344.
[6]Li Guanbin,Yu Yizhou.Visual saliency based on multiscale deep features[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC:IEEE Computer Society,2015:5455-5463.
[7]Lee G,Tai Y W,Kim J.Deep saliency with encoded low level distance map and high level features[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC:IEEE Compu-ter Society,2016:660-668.
[8]Wang Linzhao,Wang Lijun,Lu Huchuan,et al.Saliency detection with recurrent fully convolutional networks[C]//Proc of the 14th Euro-pean Conference on Computer Vision.Cham:Springer,2016:825-841.
[9]Wang Tiantian,Borji A,Zhang Lihe,et al.A stagewise refinement model for detecting salient objects in images[C]//Proc of IEEE International Conference on Computer Vision.Piscataway,NJ:IEEE Press,2017:4019-4028.
[10]Feng Mengyang,Lu Huchuan,Ding Errui.Attentive feedback network for boundary-aware salient object detection[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2019:1623-1632.
[11]Zhao Jiaxing,Liu Jiangjiang,F(xiàn)an Dengping,et al.EGNet:edge gui-dance network for salient object detection[C]//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway,NJ:IEEE Press,2019:8779-8788.
[12]Guan Jinge,Zhao Yong,Zeng Yongqiu,et al.Optical polarization imaging for underwater target detection with non-scatter background[J].Journal of Measurement Science amp; Instrumentation,2020,11(4):335-342.
[13]Liu Fei,Han Pingli,Wei Yi,et al.Deeply seeing through highly turbid water by active polarization imaging[J].Optics Letters,2018,43(20):4903-4906.
[14]Han Pingli,Liu Fei,Wei Yi, et al.Optical correlation assists to enhance underwater polarization imaging performance[J].Optics and Lasers in Engineering,2020,134(11):106256.
[15]Wang Rui,Li Rui,Sun Haiyan.Haze removal based on multiple scattering model with superpixel algorithm[J].Signal Processing,2016,127(10):24-36.
[16]Schechner Y Y,Narasimhan S G,Nayar S K.Polarization-based vision through haze[J].Applied Optics,2003,42(3):511-525.
[17]He Kaiming,Sun Jian,Tang Xiaoou.Guided image filtering[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2012,35(6):1397-1409.
[18]Chen L C,Zhu Yukun,Papandreou G,et al.Encoder-decoder with atrous separable convolution for semantic image segmentation[C]//Proc of the 15th European Conference on Computer Vision.Cham:Springer,2018:833-851.
[19]Wei Yichen,Wen Fang,Zhu Wangjiang,et al.Geodesic saliency using background priors[C]//Proc of the 12th European Conference on Computer Vision.Berlin:Springer,2012:29-42.
[20]Jiang Bowen,Zhang Lihe,Lu Huchuan,et al.Saliency detection via absorbing Markov chain[C]//Proc of IEEE International Conference on Computer Vision.Washington DC:IEEE Computer Society,2013:1665-1672.
[21]Strand R,Ciesielski K C,Malmberg F,et al.The minimum barrier distance[J].Computer Vision and Image Understanding,2013,117(4):429-437.
[22]Achanta R,Shaji A,Smith K,et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Trans on Pattern Analysis amp; Machine Intelligence,2012,34(11):2274-2282.
[23]Margolin R,Zelnik-Manor L,Tal A.OTC:a novel local descriptor for scene classification[C]//Proc of the 14th European Conference on Computer Vision.Cham:Springer,2014:377-391.
[24]Schechner Y Y,Karpel N.Recovery of underwater visibility and structure by polarization analysis[J].IEEE Journal of Oceanic Engineering,2005,30(3):570-587.
[25]Li Xiaobo,Hu Haofeng,Zhao Lin,et al.Polarimetric image recovery method combining histogram stretching for underwater imaging[J].Scientific Reports,2018,8(1):12430.
[26]Marques T P,Albu A B.L2UWE:a framework for the efficient enhancement of low-light underwater images using local contrast and multi-scale fusion[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2020:538-539.
[27]Li Chongyi,Guo Jichang,Cong Runmin,et al.Underwater image enhancement by dehazing with minimum information loss and histogram distribution prior[J].IEEE Trans on Image Processing,2016,25(12):5664-5677.
[28]Fu Xueyang,F(xiàn)an Zhiwen,Ling Mei,et al.Two-step approach for single underwater image enhancement[C]//Proc of International Symposium on Intelligent Signal Processing and Communication Systems.Piscataway,NJ:IEEE Press,2017:789-794.
[29]Huang Xiaoming,Zhang Yujin.Water flow driven salient object detection at 180 fps[J].Pattern Recognition,2018,76(4):95-107.
[30]Xiao Xiaolin,Zhou Yicong,Gong Yuejiao.RGB-‘D’ saliency detection with pseudo depth[J].IEEE Trans on Image Processing,2018,28(5):2126-2139.
[31]Li Hanchao,Xiong Pengfei,An Jie,et al.Pyramid attention network for semantic segmentation[EB/OL].(2018-11-25).https://arxiv.org/abs/1805.10180.
[32]Park H,Sjosund L,Yoo Y J,et al.SINet:extreme lightweight portrait segmentation networks with spatial squeeze module and information blocking decoder[C]//Proc of IEEE/CVF Winter Conference on Applications of Computer Vision.Piscataway,NJ:IEEE Press,2020:2066-2074.
[33]Islam M J,Wang Ruobing,De Langis K,et al.SVAM:saliency-guided visual attention modeling by autonomous underwater robots[EB/OL].(2020-11-13).https://arxiv.org/pdf/2011.06252.pdf.