劉曉陽，薛 純

(中國海洋大學(xué) 信息科學(xué)與工程學(xué)院，青島 山東 266100)

基于多尺度的水下圖像顯著性區(qū)域檢測(cè)

劉曉陽，薛 純

(中國海洋大學(xué) 信息科學(xué)與工程學(xué)院，青島 山東 266100)

圖像顯著性檢測(cè)在目標(biāo)識(shí)別、目標(biāo)跟蹤、視覺信息挖掘等研究中具有重要價(jià)值，而水下圖像研究又是海洋相關(guān)學(xué)科的基礎(chǔ)。文章針對(duì)水下圖像特性，提出一種結(jié)合Retinex圖像增強(qiáng)和超像素分割算法的多尺度顯著性區(qū)域檢測(cè)方法，以獲取均勻、清晰的顯著圖。在每個(gè)尺度上進(jìn)行超像素顯著性估計(jì)和貝葉斯概率估計(jì)，將不同尺度的顯著圖進(jìn)行加權(quán)求和與導(dǎo)向?yàn)V波，得到平滑且邊緣清晰的顯著圖。根據(jù)水下不同倍數(shù)的衰減距離建立數(shù)據(jù)集，驗(yàn)證了該算法具有較強(qiáng)的魯棒性。

圖像增強(qiáng)；超像素；貝葉斯估計(jì)；顯著性

0 引言

視覺注意指人類及其他靈長(zhǎng)類動(dòng)物在面對(duì)復(fù)雜場(chǎng)景時(shí)能夠快速地找到自己感興趣或比較顯著的區(qū)域，并對(duì)其進(jìn)行優(yōu)先處理，在很大程度上提高了視覺系統(tǒng)的信息處理效率。視覺注意機(jī)制是一個(gè)多學(xué)科多交叉的領(lǐng)域，受到許多學(xué)科研究者的關(guān)注，如：神經(jīng)科學(xué)、生理學(xué)、心理學(xué)以及計(jì)算機(jī)科學(xué)等。其中，將視覺注意引入到計(jì)算機(jī)領(lǐng)域稱為顯著性檢測(cè)，即檢測(cè)出圖像的顯著性信息，忽略冗余信息。視覺注意計(jì)算模型被應(yīng)用到很多計(jì)算機(jī)視覺領(lǐng)域，如圖像分割、目標(biāo)識(shí)別、視覺信息挖掘及視頻壓縮等[1]。顯著性檢測(cè)算法已有很多成型的模型，比如Itti等提出的顯著圖模型[2]、Harel 等提出的基于圖論的圖像顯著性分析算法(GBVS算法)[3]、Achanta等提出的兩種顯著圖模型(AC算法和IG算法)[4-5]以及Hou Xiaodi等提出的基于頻域空間分析的一種剩余譜方法(SR算法)[6]等。它們基于不同的理論基礎(chǔ)，非常具有代表性，且在計(jì)算機(jī)上易于實(shí)現(xiàn)，實(shí)驗(yàn)得到的效果比較好。

在水下成像系統(tǒng)中，由于水介質(zhì)對(duì)光的吸收作用和水中微粒對(duì)光的散射作用，使得水中圖像伴有較強(qiáng)的衰減和分辨率不足的特性。所以，現(xiàn)有的顯著性檢測(cè)模型雖然用于陸地上光學(xué)成像的顯著性檢測(cè)具有較好的效果，但是并不適用于水下光學(xué)成像的顯著性檢測(cè)。本文提出了一種結(jié)合Retinex圖像增強(qiáng)[7]和超像素分割算法[8]的多尺度顯著性區(qū)域檢測(cè)方法，使得水下圖像顯著性檢測(cè)得到了較好的效果。

1 Retinex圖像增強(qiáng)算法

由于水體對(duì)光的吸收效應(yīng)和散射效應(yīng)使得水下圖像有嚴(yán)重的非均勻亮度和細(xì)節(jié)模糊、信噪比很低、對(duì)比度明顯變差，整體偏藍(lán)或者偏綠，顏色深淺不一，而且亮度常常不均勻，所以，研究水下圖像需要先進(jìn)行圖像增強(qiáng)處理。本文選取基于色彩恒常性的Retinex圖像增強(qiáng)算法進(jìn)行水下圖像增強(qiáng)。

根據(jù)Retinex理論，人眼感知物體的亮度取決于環(huán)境的照明和物體表面對(duì)照射光的反射，其數(shù)學(xué)表達(dá)式為：

S(x,y)=R(x,y)×L(x,y)

(1)

式中：S(x,y)代表被觀察或照相機(jī)接收到的圖像信號(hào)；L(x,y)代表環(huán)境光的照射分量；R(x,y)表示攜帶圖像細(xì)節(jié)信息的目標(biāo)物體的反射分量。Retinex理論的目的就是從獲得的圖像中消除照射分量獲得物體的反射分量，即獲得物體的本來面貌。

將式(1)兩邊取對(duì)數(shù)，即：

log[R(x,y)]=log[S(x,y)]-log[L(x,y)]

(2)

其中，L(x,y)可通過對(duì)原始圖像S(x,y)做高斯模糊得到。

多尺度Retinex算法是單尺度Retinex算法的加權(quán)求和，既能實(shí)現(xiàn)圖像動(dòng)態(tài)范圍的壓縮，又能保持色感較好的一致性。其數(shù)學(xué)表達(dá)式為：

(3)

其中，N表示尺度的個(gè)數(shù),通常為3；ωi表示加權(quán)系數(shù)，各尺度權(quán)重之和必須為1，經(jīng)典取值為等權(quán)重。

2 多尺度水下圖像顯著性區(qū)域檢測(cè)

在顯著性檢測(cè)時(shí)，選擇超像素分割與高斯平滑，得到不同尺度下的超像素分割結(jié)果，在每個(gè)尺度上進(jìn)行超像素估計(jì)和貝葉斯概率估計(jì)，最后將不同尺度下得到的顯著圖進(jìn)行加權(quán)求和及導(dǎo)向?yàn)V波，最終得到平滑且邊緣清晰的顯著圖。

2.1 高斯濾波與SLIC超像素分割

2.1.1 高斯濾波

高斯濾波是一種線性平滑濾波，用一個(gè)模板掃描圖像中的每一個(gè)像素，用模板確定的鄰域內(nèi)像素的加權(quán)平均灰度值去替代模板中心像素點(diǎn)的值。其二維表達(dá)式為：

(4)

通過改變參數(shù)σ，可得到不同的平滑結(jié)果，σ越大，高斯濾波器的頻帶就越寬，平滑程度就越好。

2.1.2 SLIC超像素分割

SLIC算法基于像素間顏色相似性和空間位置的接近度對(duì)圖像進(jìn)行聚類產(chǎn)生人們期望數(shù)量的超像素(不超過圖像中像素的個(gè)數(shù))，計(jì)算量較小。其基本步驟為：

(1)初始化聚類中心。按照設(shè)定的超像素個(gè)數(shù)，在圖像內(nèi)均勻地分配種子點(diǎn)。假設(shè)圖片總共有N個(gè)像素點(diǎn)，預(yù)分割為K個(gè)相同尺寸的超像素，那么每個(gè)超像素的大小為s=N/K，則相鄰種子點(diǎn)的距離(步長(zhǎng))近似為S=sqrt(N/K)。

(2)在種子點(diǎn)的n×n鄰域內(nèi)重新選擇種子點(diǎn)(一般取n=3)。計(jì)算該鄰域內(nèi)所有像素點(diǎn)的梯度值，將種子點(diǎn)移到該鄰域內(nèi)梯度最小的地方。

(3)在每個(gè)種子點(diǎn)周圍的鄰域內(nèi)為每個(gè)像素點(diǎn)分配類標(biāo)簽，即屬于哪個(gè)聚類中心。期望的超像素尺寸為S×S，搜索范圍限制為2S×2S，可以加速算法收斂。

(4)距離度量。包括顏色距離和空間距離，對(duì)于每個(gè)搜索到的像素點(diǎn)，分別計(jì)算它與該種子點(diǎn)的距離，將最小值對(duì)應(yīng)的種子點(diǎn)作為該像素點(diǎn)的聚類中心。

(5)迭代優(yōu)化。不斷迭代直到誤差收斂，一般迭代次數(shù)取10。

(6)增強(qiáng)連通性。為避免出現(xiàn)多連通、超像素尺寸過小、單個(gè)超像素被切割成多個(gè)不連續(xù)超像素等情況，可新建一張標(biāo)記表，按照“Z”型走向(從左到右，從上到下順序)將不連續(xù)的超像素、尺寸過小超像素重新分配給鄰近的超像素，遍歷過的像素點(diǎn)分配給相應(yīng)的標(biāo)簽，直到所有點(diǎn)遍歷完畢。

2.2 超像素顯著度估計(jì)

針對(duì)每一個(gè)尺度下的分割圖，都通過三種顯著性策略來判斷某一塊超像素是否具有顯著性[9]。局部對(duì)比度：通過計(jì)算每塊超像素之間的歐氏距離來表示。中心偏離：通過計(jì)算超像素幾何中心與圖像幾何中心的空間距離來表示，靠近圖像中心的超像素更有可能具有顯著性。超像素完整性：通過計(jì)算某一塊超像素內(nèi)包含的圖像邊緣像素來表示，含有圖像邊緣像素越多的超像素區(qū)域越有可能不完整。具體公式如下：

(5)

(6)

(7)

2.3 計(jì)算觀測(cè)似然函數(shù)

運(yùn)用Harris角點(diǎn)檢測(cè)提取出圖像的顯著點(diǎn)，用凸包將邊緣顯著點(diǎn)之外的所有顯著點(diǎn)包圍進(jìn)來，若某一超像素區(qū)域與凸包的重疊部分大于設(shè)定的閾值，則將其標(biāo)記為前景，進(jìn)而將前景與背景分離；分別計(jì)算L、a、b三通道的觀測(cè)似然函數(shù)，進(jìn)行乘法運(yùn)算；最后，與上一步中得到的超像素顯著性函數(shù)相結(jié)合，得到最終顯著性函數(shù)。

在(L，a，b)三個(gè)通道上分別計(jì)算某一像素點(diǎn)z的觀測(cè)似然函數(shù)：

(8)

(9)

其中，NS1、NS0分別表示前景S1和背景S0的所有像素值，N1(zr)、N0(zr)分別表示r(z)=(l,a,b)在顏色空間統(tǒng)計(jì)直方圖上的值。進(jìn)而計(jì)算出每個(gè)像素點(diǎn)是前景還是背景的概率。

綜合上一步，將超像素顯著性估計(jì)與像素觀測(cè)似然函數(shù)相結(jié)合，得某一尺度下的像素顯著性函數(shù)：

pm(z)=

(10)

2.4 尺度加權(quán)求和

將多尺度下得到的顯著圖進(jìn)行加權(quán)求和，假設(shè)M個(gè)尺度，則對(duì)于像素點(diǎn)z的最終顯著性函數(shù)V(z)為：

(11)

3 實(shí)驗(yàn)結(jié)果與分析

在能見度為2.5 m的海水中獲取圖片，根據(jù)海水中能見度與衰減距離的關(guān)系，即能見度為3.5倍衰減距離，建立3組數(shù)據(jù)集，分別為目標(biāo)距CCD 1.5倍衰減距離、2.0倍衰減距離、2.5倍衰減距離，每組約80幅圖像，在數(shù)據(jù)集上驗(yàn)證算法的有效性。

圖1為1.5倍衰減距離(約1.5×0.7 m)下獲得的水下圖像。

圖1 1.5倍衰減距離(約1.5×0.7 m)下拍攝的圖像

3.1 水下圖像增強(qiáng)

本文選擇幾種經(jīng)典的圖像增強(qiáng)算法進(jìn)行比較，結(jié)果如圖2所示。

圖2 幾種經(jīng)典的圖像增強(qiáng)算法

如圖2所示，多尺度Retinex增強(qiáng)算法得到的增強(qiáng)效果對(duì)比度更強(qiáng)，對(duì)之后的顯著性檢測(cè)更有幫助，因此本文選擇多尺度Retinex增強(qiáng)算法對(duì)水下圖像進(jìn)行圖像增強(qiáng)。最大尺度為300，尺度數(shù)為3。

3.2 多尺度超像素分割

將增強(qiáng)后的圖像進(jìn)行多尺度超像素分割，通過改變SLIC尺度參數(shù)s和高斯平滑參數(shù)σ，得到不同尺度下的超像素分割結(jié)果。在超像素的小區(qū)域內(nèi)的像素具有極為相似的顏色和紋理信息，最大程度地保持了圖像中目標(biāo)原有的邊界結(jié)構(gòu)信息。圖3為一幅多尺度分割圖案。

圖3 一幅多尺度分割圖像

3.3 顯著區(qū)域檢測(cè)結(jié)果

在每一尺度上進(jìn)行超像素顯著性估計(jì)和貝葉斯顯著概率估計(jì)，進(jìn)行加權(quán)求和得到最終的顯著圖，最后再進(jìn)行導(dǎo)向?yàn)V波，最終得到平滑且邊緣清晰的顯著圖。圖4～圖6為幾組實(shí)驗(yàn)結(jié)果。

(1)圖4為1.5倍衰減距離(約1.5×0.7 m)時(shí)水下圖像顯著性檢測(cè)結(jié)果。

圖4 1.5倍衰減距離時(shí)水下圖像顯著性檢測(cè)

(2)圖5為2倍衰減距離(約2×0.7 m)時(shí)水下圖像顯著性檢測(cè)結(jié)果。

圖5 2.0倍衰減距離時(shí)水下圖像顯著性檢測(cè)

(3)圖6為2.5倍衰減距離(約2.5×0.7 m)時(shí)水下圖像顯著性檢測(cè)結(jié)果。

圖6 2.5倍衰減距離時(shí)水下圖像顯著性檢測(cè)

實(shí)驗(yàn)結(jié)果表明，本文算法在不同數(shù)據(jù)集上都取得了較好效果，進(jìn)而驗(yàn)證了其處理水下圖像顯著性檢測(cè)的有效性和魯棒性。

4 結(jié)論

本文主要研究水下圖像顯著性區(qū)域檢測(cè)，根據(jù)水下圖像特性結(jié)合圖像增強(qiáng)算法，獲取均勻、清晰的顯著圖；根據(jù)不同倍數(shù)的衰減距離，建立相應(yīng)數(shù)據(jù)集，驗(yàn)證了算法的有效性和魯棒性，為水下目標(biāo)識(shí)別、目標(biāo)跟蹤、視覺信息挖掘等研究奠定了基礎(chǔ)。

[1] 吳世東. 一種基于目標(biāo)先驗(yàn)信息的視覺跟蹤算法[J]. 微型

機(jī)與應(yīng)用, 2016, 35(4):46-49.

[2] ITTI L, KOCH C, NIEBUR E. A model of saliency based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259.

[3] HAREL J, KOCH C, PERONA P. Graph-based visual saliency[J]. Advances in Neural Information Processing Systems, 2007(19):545-552.

[4] ACHANTA R, ESTRADA F, WILS P, et al. Salient region detection and segmentation[C]. International Conference on Computer Vision Systems, 2008:66-75.

[5] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-tuned salient region detection[C]. IEEE International Conference on Computer Vision and Pattern Recognition, 2009:1597-1604.

[6] Hou Xiaodi, Zhang Liqing. Saliency detection: a spectral residual approach[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2007:1-8.

[7] 肖燕峰．基于Retinex理論的圖像增強(qiáng)恢復(fù)算法研究 [D]．上海：上海交通大學(xué)，2007.

[8] 阮士峰．基于超像素的圖像顯著性研究[D]．西安：西安電子科技大學(xué)，2014.

[9] Tong Na, Lu Huchuan, Zhang Lihe, et al. Saliency detection with multi-scale superpixels[J]. IEEE Signal Processing Letters, 2014, 21(9):1035-1039.

Underwater image saliency detection based on multi-scale

Liu Xiaoyang, Xue Chun

(College of Information Science and Engineering, Ocean University of China, Qingdao 266100, China)

Image saliency detection has important value in the research of target recognition, target tracking, visual information mining and so on, and the underwater image research is the basis of marine-related disciplines. According to the characteristics of underwater image, this paper proposes a saliency region detection algorithm to obtain uniform and clear saliency map combined with Retinex image enhancement and multi-scale analysis on superpixels. Superpixel saliency and Bayesian probability estimation are performed on each scale, the final smooth and sharp saliency map is optimized by weighted summation and a guided filter. According to the different multiples of underwater attenuation distance, datasets are established, which verifies the robustness of the algorithm.

image enhancement; super-pixel; Bayesian estimation; saliency detection

TP391

A

10.19358/j.issn.1674- 7720.2017.09.014

劉曉陽，薛純.基于多尺度的水下圖像顯著性區(qū)域檢測(cè)[J].微型機(jī)與應(yīng)用，2017,36(9)：45-48.

2016-01-15)

劉曉陽(1992-)，女，碩士研究生，主要研究方向：水下圖像處理。

薛純(1992-)，女，碩士研究生，主要研究方向：圖像拼接。