趙恩偉,溫金苗,楊鶴猛,伍小潔,張?jiān)?/p>
(1.天津航天中為數(shù)據(jù)系統(tǒng)科技有限公司,天津300301;2.民航中南地區(qū)空中交通管理局海南分局,???10141)
一種快速遙感影像海島自動(dòng)提取方法
趙恩偉1,溫金苗2,楊鶴猛1,伍小潔1,張?jiān)?
(1.天津航天中為數(shù)據(jù)系統(tǒng)科技有限公司,天津300301;2.民航中南地區(qū)空中交通管理局海南分局,???10141)
為有效提高基于遙感技術(shù)的海島調(diào)查中海島提取的效率,該文提出了基于多窄帶模型(Multi Narrow Band Model,MNBN)初始化的Grab Cut分割算法對(duì)高分辨率遙感圖像中的海島進(jìn)行提取。首先基于海面與陸地提取進(jìn)行海島初提取,再利用初提取結(jié)果建立多窄帶模型對(duì)Grab Cut進(jìn)行初始化來提高分割算法的速度。分析表明,該算法可有效完成海島提取,與其他自動(dòng)海島提取算法相比具有速度快、魯棒性高等優(yōu)點(diǎn)。
海島提取;高分辨率遙感圖像;Grab Cut;多窄帶模型;多尺度分割
隨著計(jì)算能力的不斷提升與圖像處理技術(shù)的不斷進(jìn)步,以C-V模型為代表的分割算法或模型也被應(yīng)用到海島提取中,如歐陽越等人提出了基于改進(jìn)的Snake模型或水平集的海岸線檢測算法[1-5]等在SAR圖像中應(yīng)用。對(duì)這些算法的引進(jìn)大部分是針對(duì)SAR圖像的,而作為目前在海島調(diào)查中應(yīng)用最為廣泛的高分辨率可見光遙感圖像卻很少涉及,其主要原因是由于高分辨率遙感圖像容量巨大,傳統(tǒng)的可變形模型[6]運(yùn)算時(shí)間過長,雖然在最近的研究中已經(jīng)有部分研究人員針對(duì)可變形模型進(jìn)行了改進(jìn),如提出應(yīng)用窄帶技術(shù)或稀疏矩陣方法進(jìn)行加速[7-9],但仍無法擺脫可變形模型本身能量函數(shù)優(yōu)化速度的瓶頸,而作為圖像分割領(lǐng)域目前研究熱點(diǎn)的圖切分/圖割技術(shù)[10-11],采用了基于組合數(shù)學(xué)的最大流-最小割的優(yōu)化思路,可以大大提高能量函數(shù)優(yōu)化的速度,同時(shí)由于其特有的全局性,可以大大降低能量函數(shù)收斂于局部最優(yōu)的可能性。這種全局優(yōu)化與高速的特點(diǎn)使其特別適用于遙感圖像的處理,為高分辨率圖像目標(biāo)提取提供了一個(gè)強(qiáng)有力的工具。
本文提出了先進(jìn)行全局初提取再根據(jù)初提取結(jié)果初始化多窄帶模型并將它應(yīng)用于Grab Cut算法中來完成高分辨率遙感圖像的海島自動(dòng)提取。根據(jù)高分辨率遙感圖像的特性,以Grab Cut算法為基礎(chǔ),利用多窄帶模型(Multi Narrow Band Model,MNBM)對(duì)Grab Cut進(jìn)行初始化,實(shí)現(xiàn)了Grab Cut在大容量高分辨率遙感圖像的應(yīng)用。最后以高分辨率的海洋遙感圖像的海島分割為例,對(duì)本文提出的基于多窄帶初始化模型的Grab Cut進(jìn)行了實(shí)驗(yàn)。
可變形模型、圖切分等先進(jìn)圖像分割算法在醫(yī)學(xué)圖像分割、視頻圖像目標(biāo)追蹤等圖像分割領(lǐng)域得到了廣泛應(yīng)用,但在高分辨率遙感圖像卻鮮見應(yīng)用。主要是由于拼接后的高分辨率遙感圖像成像范圍大,圖像的背景復(fù)雜且分割目標(biāo)占圖像的比例一般極小,無法應(yīng)用傳統(tǒng)可變形模型來解決。而圖切分算法作為目前圖像分割研究中新的熱點(diǎn)以其全局優(yōu)化的特性以及運(yùn)行速度快等優(yōu)勢,成為了相對(duì)于可變形模型更適合處理高分辨率遙感圖像的工具。
但傳統(tǒng)的圖切分也往往難以直接處理尺寸超大(一般大于2000×2000)的高分辨率遙感圖像。直接處理大的圖像,對(duì)計(jì)算平臺(tái)的內(nèi)存以及處理速度要求過高。為此本文采用了先全局初提取再居于精提取的多尺度分割算法框架,并將多窄帶模型初始化的Grab Cut應(yīng)用于精提取,以提高分割速度和準(zhǔn)確率。
1.1 全局初提取
本文針對(duì)可見光遙感影像中海島顏色特征,采用了基于海水色度與陸地亮度進(jìn)行聯(lián)合判斷的海島自適應(yīng)分割方法來實(shí)現(xiàn)全局初提取。全局初提取算法主要流程如圖1所示。
圖1 初提取算法流程圖
本文提出的全局初提取分為3個(gè)主要步驟:
①基于亮度的陸地分割。由于陸地在可見光遙感圖像中的亮度一般比較高,本文采用了基于亮度的自適應(yīng)閾值法實(shí)現(xiàn)陸地區(qū)域提取,即以圖像的平均灰度值乘以一個(gè)加權(quán)因數(shù)作為閾值來二值化圖像。
②基于色度的海面分割。本文利用色度進(jìn)行海面分割。首先將原遙感圖像由RGB空間轉(zhuǎn)化為HSV空間,提取其中的H分量(色度信息),而后計(jì)算整個(gè)圖像的H分量的平均值THo,再以TH為中心上下浮動(dòng)15%得到的閾值(Tu,Td)進(jìn)行海面提取,并利用數(shù)學(xué)形態(tài)學(xué)中的閉運(yùn)算對(duì)結(jié)果進(jìn)行修正。海面的空洞即為海島的候選提取結(jié)果。
③基于陸地和海面提取結(jié)果的綜合判定。通過海島候選分割結(jié)果的每一個(gè)連通域在陸地提取結(jié)果中的對(duì)應(yīng)位置是否重合來確定該連通域是否是海島,最后去除面積過小的連通域即可得到海島的初步提取結(jié)果。
1.2 基于MNBM初始化的Grab Cut算法
(1)Grab Cut基本理論
Grab Cut是基于Kmeans聚類算法與混合高斯模型(Gaussian Mixture Model,GMM)對(duì)Graph Cut改進(jìn)[12]的半自動(dòng)分割算法,而Graph Cut算法是Boykov等研究人員基于組合數(shù)學(xué)的理論而提出的[13-14]。Graph Cut將圖像分割的問題轉(zhuǎn)化為網(wǎng)絡(luò)的最小代價(jià)切分的問題。通過將像素點(diǎn)或子區(qū)域映射為網(wǎng)絡(luò)中的節(jié)點(diǎn),利用節(jié)點(diǎn)的不同標(biāo)記來表示背景或目標(biāo),設(shè)計(jì)網(wǎng)絡(luò)切割的能量函數(shù)來優(yōu)化分割結(jié)果,并利用Ford和Fulkerson證明的網(wǎng)絡(luò)流理論中的最大流/最小割定理來將能量函數(shù)的最小化問題轉(zhuǎn)化為網(wǎng)絡(luò)最大流的問題(該問題可以通過在較低多項(xiàng)式時(shí)間內(nèi)求解),從而求得能量函數(shù)的最小值并獲得此時(shí)網(wǎng)絡(luò)的標(biāo)記值,而此時(shí)網(wǎng)絡(luò)的標(biāo)記值則對(duì)應(yīng)著分割結(jié)果。
圖2 一個(gè)3×3圖像的圖切分的分割示例圖
Graph Cut的能量函數(shù)如下式所示:
式中,f為V的一個(gè)標(biāo)號(hào)f:P→L(L={0,1}),數(shù)據(jù)項(xiàng)Edata(f)用來衡量f和所觀察到的數(shù)據(jù)的不一致性,光滑項(xiàng)Esmooth(f)用來衡量f非分片光滑的程度,N表示相互作用的相鄰定點(diǎn)對(duì)。
Graph Cut可以通過圖2(a)所示的3×3圖像的分割來說明,網(wǎng)絡(luò)的權(quán)重通過邊緣的粗細(xì)來表示。首先對(duì)分割種子點(diǎn)進(jìn)行初始化,然后將待分割的圖像映射為s/t網(wǎng)絡(luò),并初始化網(wǎng)絡(luò)的節(jié)點(diǎn)之間的權(quán)重和標(biāo)記值圖2(b)。最后通過最大流/最小割算法來確定網(wǎng)絡(luò)的分割曲線圖2(c),圖像的分割結(jié)果如圖2(d)所示。
(2)Grab Cut算法的改進(jìn)
Grab Cut是一種半自動(dòng)的分割算法,需要人工的介入。本文通過構(gòu)建多窄帶初始化模型來實(shí)現(xiàn)Grab Cut的自動(dòng)化分割,通過向網(wǎng)絡(luò)邊權(quán)重引入設(shè)計(jì)的窄帶距離函數(shù)來抑制初始模型對(duì)Grab Cut的限制,提高分割的準(zhǔn)確率。
①多窄帶模型的構(gòu)建
窄帶可變形模型如圖3所示,與一般的可變形模型不同,窄帶可變形模型首先根據(jù)初始輪廓Γ生成一個(gè)環(huán)狀區(qū)域,稱之為“窄帶”,可變形模型的計(jì)算都在這個(gè)區(qū)域內(nèi)進(jìn)行,在圖像中窄帶以外的區(qū)域?qū)τ谟?jì)算沒有影響,因此窄帶可變形模型的計(jì)算量相對(duì)于傳統(tǒng)可變形模型的計(jì)算量大大降低。
圖3 多窄帶模型示意圖
其中,Bin為窄帶區(qū)域中在初始邊界以內(nèi)的區(qū)域,Bout為窄帶區(qū)域中在初始邊界以外的區(qū)域。需要注意的是這個(gè)窄帶區(qū)域并不是一成不變的,而是隨著邊界的演化而動(dòng)態(tài)變化的。
如圖3所示,左圖為多窄帶模型的輸入圖像,右側(cè)為輸出的多窄帶模型,其中Rin為內(nèi)部區(qū)域,代表屬于目標(biāo)區(qū)域的部分,Rring-in為內(nèi)部環(huán)形區(qū)域代表可能屬于目標(biāo)的部分,Rring-out為外部環(huán)形區(qū)域代表可能屬于背景的區(qū)域,Rout為外部區(qū)域代表可能屬于背景的區(qū)域。
在建立GMM時(shí)內(nèi)部區(qū)域以及內(nèi)部環(huán)形區(qū)域作為目標(biāo)區(qū)域處理,外部區(qū)域以及外部環(huán)形區(qū)域作為背景區(qū)域處理。在構(gòu)建s-t網(wǎng)絡(luò)時(shí),內(nèi)部區(qū)域所對(duì)應(yīng)的s-t網(wǎng)絡(luò)節(jié)點(diǎn)與源點(diǎn)的權(quán)重s-link設(shè)定為0,與匯點(diǎn)的權(quán)重t-link設(shè)定為無窮,而外部區(qū)域?qū)?yīng)的節(jié)點(diǎn)的s-link為無窮,t-link為0,而內(nèi)部環(huán)形區(qū)域?qū)?yīng)的節(jié)點(diǎn)權(quán)重則如下式所示:
其中,Si,j為點(diǎn)(i,j)與源點(diǎn)的權(quán)重,Ti,j為點(diǎn)(i,j)與匯點(diǎn)的權(quán)重,Ii,j為坐標(biāo)(i,j)所對(duì)應(yīng)的圖像值,GMMf為目標(biāo)的混合概率模型,GMMb為背景的混合概率模型。
②基于窄帶距離函數(shù)的Grab Cut網(wǎng)絡(luò)邊權(quán)重的優(yōu)化
添加窄帶距離函數(shù)來改進(jìn)網(wǎng)絡(luò)邊權(quán)重,窄帶距離函數(shù)的定義計(jì)算公式如下式所示:
圖4 精提取中基于多窄帶模型Grab Cut的流程圖
其中,di,j為窄帶距離函數(shù),ωi,j為優(yōu)化后的網(wǎng)絡(luò)邊權(quán)重。
優(yōu)化后的網(wǎng)絡(luò)邊權(quán)重能夠提高邊界演化的動(dòng)力,降低初始邊界對(duì)邊界演化的限制,提高分割準(zhǔn)確度。
(3)基于MNBM的Grab Cut算法在海島提取中的應(yīng)用
全局初步提取結(jié)果在局域精提取的應(yīng)用主要有以下兩個(gè)方面:局域區(qū)域的定位、窄帶可變形模型的初始化。局域精提取的流程圖如圖4所示。
多窄帶模型初始化Grab Cut算法的主要步驟:
①提取對(duì)應(yīng)的連通域;
②計(jì)算連通域的質(zhì)心與周長,并對(duì)局域圖像進(jìn)行定位和確定窗口的大??;
③提取對(duì)應(yīng)的局域圖像作為可變形模型應(yīng)用的臨時(shí)圖像;
④將初步提取結(jié)果構(gòu)建多窄帶模型;
⑤利用多窄帶模型初始化Grab Cut算法;
⑥最大流/最小割算法確定能量函數(shù)最小值并輸出分割結(jié)果;
⑦將各連通域的分割結(jié)果匯總,形成海島提取的結(jié)果。
2.1 實(shí)驗(yàn)數(shù)據(jù)與標(biāo)準(zhǔn)
實(shí)驗(yàn)數(shù)據(jù)是分辨率為2m×2m的可見光遙感圖像,圖像尺寸為1736×1442,實(shí)驗(yàn)區(qū)位于威海沿海地區(qū),圖像中有黑島、黃島、青島、牙石島、連林島等島嶼以及若干小型島礁。
為了定量地分析海島分割的效果,本文對(duì)高分辨率圖像中海島進(jìn)行人工分割,并將人工分割的結(jié)果作為分割標(biāo)準(zhǔn)并利用Dice Similarity Coefficient(DSC)來定量地標(biāo)定分割效果。DSC可以通過如下公式計(jì)算得到:
其中,A1為自動(dòng)分割結(jié)果,A2為人工分割結(jié)果。人工分割結(jié)果如圖5所示。
圖5 原始遙感圖像與處理結(jié)果
2.2 實(shí)驗(yàn)結(jié)果及分析
本文對(duì)拼接后的遙感圖像進(jìn)行分割和識(shí)別,其原始圖像、初提取結(jié)果、精提取結(jié)果、人工分割結(jié)果如圖5所示。其主要島嶼各階段處理結(jié)果的DSC系數(shù)如表1所示。
通過計(jì)算初提取和人工分割的相似程度,其DSC為91.6%,充分說明了本文提出的初提取算法的有效性。在多窄帶模型的內(nèi)環(huán)半寬ss2=6,外環(huán)半寬ss1=4,迭代次數(shù)為3時(shí)精提取的DSC達(dá)到了93.0%,海島識(shí)別后DSC達(dá)到了93.4%,相對(duì)于初提取有較大的提升,而且精提取不依賴于圖像的灰度色彩等參數(shù),有助于提高算法的魯棒性。
表1 主要島嶼的各階段處理結(jié)果
通過實(shí)驗(yàn)可發(fā)現(xiàn)分割算法所消耗的時(shí)間隨著迭代次數(shù)的增加是線性增加的,可通過直線擬合計(jì)算得到迭代一次的圖像分割時(shí)間,約為17秒(實(shí)驗(yàn)圖像的尺寸為1736×1442,主要海島數(shù)目5),相對(duì)于傳統(tǒng)可變形模型算法具有明顯的速度優(yōu)勢。
圖6顯示了分割準(zhǔn)確率隨著迭代次數(shù)的不同的變化情況,從圖像中可以看出由于本文提出的提取算法在極少的迭代次數(shù)的情況下即可達(dá)到穩(wěn)定的分割結(jié)果,需要的迭代次數(shù)較少,因此算法運(yùn)算速度相對(duì)于傳統(tǒng)的可變形模型等方法具有明顯的速度優(yōu)勢,更加適合于高分辨遙感圖像處理領(lǐng)域。
圖6 分割準(zhǔn)確率與迭代次數(shù)的關(guān)系
本文針對(duì)島礁等目標(biāo)提出了基于多窄帶模型初始化以及網(wǎng)絡(luò)權(quán)值優(yōu)化的Grab Cut分割算法,實(shí)現(xiàn)了島礁在高分辨率遙感圖像中的快速準(zhǔn)確分割和提取。理論分析和實(shí)驗(yàn)結(jié)果表明了本文提出的自動(dòng)海島提取方法的正確性和有效性。
[1]歐陽越,種勁松.基于改進(jìn)水平截集算法的SAR圖像海岸線檢測[J].遙感技術(shù)與應(yīng)用,2004(19):456-460.
[2]BALL J E,BRUCE L M.Level set segmentation of remotely sensed hyperspectral images[J].Geoscience and Remote Sensing Symposium,2005IGARSS'05Proceedings,5638-5642.
[3]MATTHEW S.A statistical active contour model for SAR image segmentation[J].Image and Vision Compution,1999,17(3/4):213-224.
[4]李雨謙,皮亦鳴,王金峰.基于水平集的SAR圖像與光學(xué)圖像的配準(zhǔn)[J].測繪學(xué)報(bào),2010,39(3):276-282.
[5]李林茹,高雙喜,曹淑服.基于小波變換和梯度矢量流Snake模型的ERS-1SAR圖像的海岸線探測[J].河北工業(yè)科技,2004,21(4):24-33.
[6]OSHER S,SETHIAN J A.Fronts propagating with curvature-dependent speed:algorithms based on Hamilton-Jacobi formulations[J].Journal of Computational Physics,1988,79(1):12-49.
[7]JULIEN M.Narrow band region-based active contours and surfaces for 2Dand 3Dsegmentation[J].Computer Vision and Image Understanding,2009,113:946-965.
[8]方江雄,屠恩美,楊杰,等.基于窄帶多區(qū)域水平集方法的遙感圖像分割[J].光譜學(xué)與光譜分析,2011(31):3001-3005.
[9]李傳龍,李穎,蘭國新.一種新的窄帶快速區(qū)域水平集C-V模型圖像分割方法[J].計(jì)算機(jī)科學(xué),2011,38(12):17-19.
[10]TYAGI M,BOYOLO F,MEHRA A,et al.A context-sensitive clustering techniqe based on Graph Cut initialization and expectation-maximization alogroithm[J].IEEE Geoscience and Remote Sensing Letters,2008,5(3):21-25.
[11]SUN F,AUTOM D,HE J.A normalized cuts based image segmentation method[J].Information and Computing Science,2000,ICIC'09,Second International Conference on,2000,2:333-336.
[12]CARSTEN R,VLADIMIR K,ANDREW B."GrabCut"-interactive foreground extraction using iterated graph cuts[J].ACM Transations Graph,2004,23(3):309-314.
[13]YURI Y B,MARIE-PIERRE J.Interactive graph suts for optimal boundary &region segmentation of objects in N-D images[J].Internation Conference on Computer Vision,Vacouver,Canada,July,2001,105-112.
[14]YURI Y B,OLGA V,RAMIN Z.Fast approximate energy minimization via graph cuts[J].IEEE Transations on Patten Analysis and Machine Intelligence,2001,23(11):1222-1239.
A Fast Method for Automatic Extraction of Island in Remote Sensing Imagery
ZHAO En-wei1,WEN Jin-miao2,YANG He-meng1,WU Xiao-jie1,ZHANG Zeng1
(1.Tian Jin Zhong Wei Aerospace Data System Technology Co.,Ltd,Tianjin300301;2.Air Traffic Management Bureau of Civil Aviation Hainan South Area Branch,Haikou410141)
Remote sensing technology is widely applied in island investigation in recent years.To improve the efficiency of island extraction,a new extraction method was proposed,which includes two main stages:global initial extraction based on color feature and local re-extraction based on grab cut algorithm.Speed and robustness of island extraction is improved by the proposed method compared with other island automatic extraction methods.
island extraction;high resolution remote sensing;Grab Cut;multi-narrow-band model;multi-scale segmentation
10.3969/j.issn.1000-3177.2015.06.012
TP751.1
A
1000-3177(2015)142-0063-04
2014—10—20
2014—11—27
海洋公益性行業(yè)科研專項(xiàng)經(jīng)費(fèi)項(xiàng)目資助(201405028)。
趙恩偉(1986—),男,碩士,研究方向?yàn)楣鈱W(xué)遙感圖像的分析、分割、提取以及模式識(shí)別。
E-mail:zhaoenwei@foxmail.com