趙冠雄,沈 汀
(1.中國(guó)科學(xué)院 遙感與數(shù)字地球研究所,北京100094;2.中國(guó)科學(xué)院大學(xué),北京100049)
目前合成孔徑雷達(dá) (synthetic aperture radar,SAR)圖像橋梁提取算法已經(jīng)有一些優(yōu)秀的成果。如:Lv等[1]提出一種用模糊支持向量機(jī)對(duì)圖像進(jìn)行分類,再對(duì)所有分類的區(qū)塊構(gòu)建距離空間,通過在距離空間中設(shè)定閾值來定位橋梁。Zhang等[2]人出了一種結(jié)合多尺度分解和區(qū)域分析的方法提取橋梁。Guiting Wang等[3]基于孔隙率并利用Canny算子邊緣修補(bǔ)算法來提取河流邊界,再利用河流與橋梁的空間關(guān)系提取出橋梁。Han等[4]首先利用紋理分析將河流分割出來,再根據(jù)橋梁形狀和位置的先驗(yàn)知識(shí)將橋梁檢測(cè)出來。Luo等[5]基于高斯馬爾科法隨機(jī)場(chǎng)模型支持向量機(jī)分類方法對(duì)河流進(jìn)行提取,再在處理后的圖像中提取橋梁主干。需要指出的是,大部分算法都需要人為的干預(yù)性或者階段性的中斷處理,如樣本區(qū)的訓(xùn)練、面積閾值的選取等,不能保證算法的自動(dòng)化提取,因此,不能滿足批量處理的要求。本文提取算法在灰度閾值和面積閾值方面都做了改進(jìn),并做到根據(jù)不同圖像自動(dòng)化處理,在橋梁提取階段縮小了搜索區(qū)域,減少了計(jì)算的復(fù)雜度,更符合實(shí)際工程化需求。
橋梁的灰度特征。橋梁一般由鋼筋水泥構(gòu)成,介電常數(shù)較高,加上垂直于橋梁入射會(huì)形成二面角反射,這些都會(huì)導(dǎo)致橋梁的后向散射增強(qiáng),使其灰度值在SAR圖像中呈現(xiàn)接近于白色的高亮度特征。
橋梁的空間幾何特征。橋梁多位于河流之上,并將河流分割成不連續(xù)的片段,橋梁兩側(cè)呈現(xiàn)出2條平行的直線并與河流主干線垂直,兩端多連接陸上交通,兩側(cè)則是水體。
由于SAR圖像中地物種類繁雜,不同地物的灰度值范圍會(huì)有交叉,僅僅通過單一的灰度特征是無法將橋梁或河流提取出來的。因此本文采用灰度特征與空間幾何特征相結(jié)合的方法提取河流與橋梁。
針對(duì)橋梁在SAR圖像中的灰度特征和空間幾何特征,本文的橋梁提取方法分為以下步驟:①SAR圖像預(yù)處理;②河流分割;③河流邊界及主干線的提??;④搜索區(qū)域的確定;⑤橋梁邊界集合的提取;⑥橋梁邊界擬合。算法流程如圖1所示。
圖像分割是整個(gè)橋梁提取過程的基礎(chǔ),而SAR圖像的斑點(diǎn)噪聲對(duì)分割效果有明顯的干擾作用,分割前要對(duì)圖像進(jìn)行預(yù)處理。兼顧算法效率和準(zhǔn)確度的情況下,本文采用了中值濾波進(jìn)行去噪,取得了較好的效果和執(zhí)行效率。為了得到更好的分割效果,采用直方圖均衡化處理來增強(qiáng)圖像的對(duì)比度。
根據(jù)橋梁是建立在河流之上的這一先驗(yàn)知識(shí),提取橋梁的第1步是先把河流分割出來。由于在SAR圖像的成像過程中,水體的后向散射系數(shù)很低,導(dǎo)致水體在SAR圖像中表現(xiàn)為接近黑色的低灰度區(qū)域,根據(jù)水體的這一特征可以進(jìn)行圖像分割處理。目前的圖像分割方法有閾值分割,區(qū)域分割,面向?qū)ο蟮姆指罘椒ǎ€有一些利用圖像的紋理特征,梯度特征等的分割方法,如ZHANG[6]基于梯度特征和費(fèi)舍爾準(zhǔn)則對(duì)圖像進(jìn)行分割,張紹明[7]等利用圖像的紋理特征進(jìn)行圖像的分割。
2.2.1 改進(jìn)的Otsu閾值
為了滿足自動(dòng)化提取的要求,本文針對(duì)水體在SAR圖像中的特征,采用改進(jìn)的Otsu(最大類間方差)閾值分割方法,可以根據(jù)不同的圖像自適應(yīng)地選取分割閾值。
Otsu算法也稱最大類間方差法,是一種自適應(yīng)的閾值選取方法,它根據(jù)圖像的灰度特性,將圖像分成目標(biāo)和背景2類。目標(biāo)和背景之間的類間方差越大,就說明分割出的2部分的差別越大,因此,取使目標(biāo)與背景的方差最大時(shí)的灰度值作為分割閾值。許向陽[8]用理論推導(dǎo)表明了Otsu算法得到的最佳閾值是以該閾值分割出的2類的均值的平均值。表明對(duì)于目標(biāo)和背景類內(nèi)方差差別較大的圖像來說,Otsu閾值將偏向方差較大的一類。
如圖2所示,根據(jù)河流在SAR圖像中的灰度特征,可以知道河流的灰度值多集中在灰度直方圖中灰度較低的狹窄區(qū)域,那么造成Otsu閾值會(huì)偏向于類內(nèi)方差較大的背景區(qū)域 (如圖2中灰度值93處),使許多非河流區(qū)域被錯(cuò)分到水域來,造成大量虛警。
方慶[9]對(duì)Otsu閾值做了一種簡(jiǎn)單的處理,它使Otsu算法得到的閾值T縮小一倍后再減去一個(gè)平移參數(shù)K得到最終的閾值,如下所示
但是,這個(gè)平移參數(shù)K的選取人為因素較大,針對(duì)不同圖像自適應(yīng)性較低。許向陽[8]提出了一種限定灰度范圍的Otsu方法。設(shè)用Otsu方法找出的閾值為T。將灰度值大于T的像素分到背景中。對(duì)于灰度級(jí)在 [0,T]的像素,再次使用Otsu準(zhǔn)則求出分割閾值T’作為最終的分割閾值。該方法能較好地提取出方差較小的目標(biāo),并且沒有人為選取因素的影響,做到了針對(duì)不同圖像的自適應(yīng)選取。例如,對(duì)原始圖像f(x,y)進(jìn)行分割,記g(x,y)為分割后的二值圖像,則分割結(jié)果如下所示
通過河流在SAR圖像直方圖中的表現(xiàn),發(fā)現(xiàn)這種方法很適合用來分割水體,因此,本文將這種用2次Otsu算法得到的灰度值T’作為分割閾值來初步分割水體,得到的二值圖像如圖3(b)所示。
圖3 圖像閾值分割效果
2.2.2 形態(tài)學(xué)處理
2.2.1 節(jié)得到的灰度閾值可以初步地分割出河流,但是僅灰度特征無法將河流與其他地物區(qū)完全分開,例如SAR圖像中的陰影區(qū)域,它們的灰度特征與河流極其相似,無法通過灰度特征將其區(qū)分開。
本文使用連通區(qū)塊的面積特征來進(jìn)一步處理。初步分割的結(jié)果是河流呈現(xiàn)大片的連續(xù)區(qū)域,而陰影等干擾信息則是瑣碎的小塊區(qū)域。首先用形態(tài)學(xué)的開運(yùn)算去除毛糙點(diǎn),并將相鄰很近的小碎塊連通起來。然后通過面積閾值將河流與小區(qū)塊區(qū)分開。面積閾值的選取是個(gè)難點(diǎn),這里既要保證自動(dòng)化的選取要求,又要保證剔除干擾的準(zhǔn)確性,由于河流中也可能存在較小的區(qū)域,如圖3(b)右上方的2條橋梁間的河流面積就比較小,很容易和陰影區(qū)域面積相混淆。為此,本文首先利用形態(tài)學(xué)的腐蝕膨脹算法將河流連通起來,使整條河流作為一個(gè)整體,而非單獨(dú)的片段。這一步是很有必要的:一是去除了孤立的極小干擾,如幾個(gè)像素大小的干擾區(qū)域;二是在面積維度上最大程度地區(qū)分了干擾信息和河流信息;三是為后續(xù)提取河流的主干線做準(zhǔn)備。
2.2.3 連通域標(biāo)記
為了計(jì)算河流和干擾信息的面積,首先要將各個(gè)連通區(qū)域標(biāo)記起來,再統(tǒng)計(jì)他們的面積和坐標(biāo)信息。在二值圖像中,2個(gè)像素連通是指它們相鄰且灰度值相等。2個(gè)像素相鄰叫做鄰接,鄰接性一般有2種:4鄰接和8鄰接 (如圖4所示),由此得到連通性也有2種:4連通和8連通。設(shè)一個(gè)坐標(biāo)為 (x,y)的像素p有2個(gè)水平和垂直的相鄰像素,他們的坐標(biāo)分別是 (x+1,y),(x-1,y),(x,y+1)和 (x,y-1)。若q∈N4(p),則p和q稱為4鄰接,同樣q∈N8(p),則p和q稱為8鄰接。連通域標(biāo)記法就是在此基礎(chǔ)上,將各個(gè)連通區(qū)域標(biāo)識(shí)為唯一的ID值。
對(duì)于任意前景像素p,與其相連的所有前景像素的集合稱為包含p的連接分量。采用4鄰接的稱為4連接分量,采用8鄰接的稱為8連接分量。
本文通過連通域標(biāo)記法對(duì)分割后的圖像進(jìn)行連通域標(biāo)記,分別統(tǒng)計(jì)出它們各自的面積。
2.2.4 自適應(yīng)選取面積閾值
通過連通域標(biāo)記法將圖像中的前景色標(biāo)記為各個(gè)獨(dú)立的連接分量并計(jì)算它們的面積。對(duì)這些面積進(jìn)行Otsu分析,得到一個(gè)面積閾值,通過該面積閾值剔除小的連通域。實(shí)現(xiàn)了面積閾值選取的自動(dòng)化。得到的圖像與2.2.2節(jié)閉運(yùn)算處理后的圖像做 “邏輯與”運(yùn)算得到如圖5所示的河流區(qū)域。
圖5 河流分割效果
對(duì)連通后的整條河流作形態(tài)學(xué)的圖像細(xì)化運(yùn)算,將河流減小為單個(gè)像素寬的線。細(xì)化操作的每次應(yīng)用都會(huì)從二值圖像物體的厚度中刪除1個(gè)或2個(gè)像素,重復(fù)執(zhí)行細(xì)化操作直到圖像停止變化為止。最終得到河流的主干線,如圖6(a)所示。
圖6 河流主干線及橋梁位置
對(duì)圖5做邊緣檢測(cè),得到河流邊界線并與河流主干線做圖像的邏輯與運(yùn)算得到若干交點(diǎn),根據(jù)交點(diǎn)間的距離信息對(duì)交點(diǎn)進(jìn)行配對(duì)兒處理,通過每對(duì)兒交點(diǎn)的中點(diǎn)即可確定橋梁的中心位置。如圖6(b)所示為河流邊界線和得到的橋梁中心點(diǎn)位置。
河流主干線和河流邊界的交點(diǎn)即為橋梁所在的點(diǎn),通過這2個(gè)交點(diǎn)可以確定一個(gè)矩形搜索區(qū)域,首先計(jì)算出過這2點(diǎn)的直線及其中垂線,通過平移得到一個(gè)搜索區(qū)域,如圖7所示。
圖7 中通過交點(diǎn)A(xa,ya),B(xb,yb)分別確定了2條直線,一條過A,B的直線和一條中垂線,它們的斜率分別記為k1和k2,則得到的直線分別為
式中:(xM,yM)——A,B的中點(diǎn),并且
對(duì)這2條直線分別進(jìn)行左右或上下平移,得到一個(gè)閉合區(qū)域,即為橋梁的搜索區(qū)域,若交點(diǎn)距離為d,則矩形的寬設(shè)置為3d,矩形的長(zhǎng)設(shè)置為10d,如圖8所示為得到的搜索區(qū)域。
圖8 搜索區(qū)域
2.5.1 計(jì)算最小距離
在橋梁的鄰域內(nèi),河流的邊界間以接近于最小距離的寬度呈現(xiàn)出2條近似平行的直線。首先提取河流的主干線,它與河流邊界的交點(diǎn)附近可以確定邊界集合對(duì)兒,從而縮小了搜索區(qū)域,同時(shí)解決了如何使河流邊界間兩兩配對(duì)兒的問題。
在搜索區(qū)域內(nèi)確定2個(gè)邊界集合,記為SA和SB,定義dist(A,B)為集合A,B的距離,則集合間的最小距離如下所示
然后根據(jù)集合間最小距離法,計(jì)算橋梁邊界集合Sa和Sb,即SA和SB集合間距離與其最小距離相接近的邊界點(diǎn)的集合,如下所示
式中:λ——距離容差,一般取1~3個(gè)像素。
2.5.2 最小二乘法擬合出橋梁邊界線
由2.5.1節(jié)中通過邊界間最小距離得到了橋梁兩側(cè)的邊界點(diǎn)集合Sa和Sb,我們可以通過對(duì)集合Sa和Sb做最小二乘線性擬合,得到橋梁的邊界直線。最小二乘擬合即通過 “最小化誤差的平方和”來尋找數(shù)據(jù)的最佳函數(shù)匹配,式 (7)為最小二乘的公式化描述。
在本應(yīng)用中要擬合的是直線,所以我們?nèi)≈本€方程如下所示
在數(shù)值計(jì)算領(lǐng)域,我們通常計(jì)算min Ax-b 的方法是對(duì)A進(jìn)行QR分解A=QR,解出其中的x。在式 (9)中我們用該方法解出其中的a1和a2,從而得到所求的擬合直線方程。
本文使用Sandia實(shí)驗(yàn)室的真實(shí)SAR圖像作為實(shí)驗(yàn)用圖,如圖9(a)所示,分辨率為1 m*1 m。橋梁邊界點(diǎn)集合提取效果如圖9(b)、圖10所示,橋梁邊界直線的擬合結(jié)果如圖11所示。圖中可以看出,本論文所提出的算法可以較好的提取出橋梁邊界,并且整個(gè)過程是自動(dòng)化完成的,無需人工干預(yù)。
圖9 原始SAR圖像與橋梁提取結(jié)果
圖10 提取結(jié)果細(xì)節(jié)展示
圖11 橋梁邊界直線擬合結(jié)果
論文針對(duì)高分辨率SAR圖像中橋梁的灰度特征和空間幾何特征,提出了一種高分辨率SAR圖像橋梁自動(dòng)提取算法,該算法的優(yōu)點(diǎn):①該算法在灰度閾值和面積閾值2方面保證了算法的自動(dòng)化;連通的河流保證了剔除陰影干擾的準(zhǔn)確性;②該算法通過提取河流主干線,縮小了搜索區(qū)域,提高了算法執(zhí)行效率;③同時(shí)在主干線區(qū)域內(nèi)搜索增強(qiáng)了算法的魯棒性,即使一些非河流區(qū)塊存在也不影響最終的提取效果;但是該算法也存在一些局限性,比如該算法僅適用于高分辨率影像,并沒有對(duì)不同分辨率做特殊處理,一種解決辦法可以參考戴光照[10]采用的中值圖像抽取算法,通過抽取比例來自適應(yīng)圖像分辨率??傮w來將,對(duì)與高分辨率SAR圖像橋梁的提取,該算法可以取得較好的效果,針對(duì)不足之處,將在后續(xù)工作中改進(jìn)。
[1]Lv Wentao,Yu Wenxian,Wang Junfeng,et al.Automatic bridge detection in SAR images based on fuzzy support vector machine and distance space [C]//Chengdu:IEEE CIE International Conference on Radar (Radar),2011:1847-1849.
[2]Zhang Xiongmei,Song Jianshe,Yi Zhaoxiang,et al.Extraction and recognition of bridges over water in high resolution SAR image [J].Advances in Multimedia,Software Engineering and Computing,2012,128:19-24.
[3]Wang Guiting,Huang Shan,Jiao Licheng.An automatic bridge detection technique for high resolution SAR images[C]//2nd Asian-Pacific Conference on Synthetic Aperture Radar,2009:498-501.
[4]Han Yu,Zheng Hong,Cao Qiong,et al.An effective method for bridge detection from satellite imagery [C]//2nd IEEE Conference on Industrial Electronics and Applications,2007:2753-2757.
[5]Luo J,Ming D,Liu W,et al.Extraction of bridges over water from IKONOS panchromatic data [J].International Journal of Remote Sensing,2007,28 (16):3633-3648.
[6]ZHANG Liping,HE Jinqi,Dai Hongliang,et al.A study of automation recognition of bridge in SAR image [C]//International Conference on Computer,Mechatronics,Control and E-lectronic Engineering,2010:391-394.
[7]ZHANG Shaoming,HE Xiangchen,ZHANG Xiaohu,et al.Auto-interpretation for bridges over water in high-resolution spaceborne SAR imagery [J].Journal of Electronics & Information Technology,2011,33 (7):1706-1712 (in Chinese).[張紹明,何向晨,張小虎,等.高分辨率星載SAR圖像水上橋梁解譯[J].電子與信息學(xué)報(bào),2011,33 (7):1706-1712.]
[8]XU Xiangyang,SONG Enmin,JIN Lianghai.Characteristic analysis of threshold based on Otsu criterion [J].Acta Electronica Sinica,2009,37 (12):2716-2719 (in Chinese).[許向陽,宋恩民,金良海.Otsu準(zhǔn)則的閾值性質(zhì)分析 [J].電子學(xué)報(bào),2009,37 (12):2716-2719.]
[9]FANG Qing,ZHANG Shunsheng,DUAN Chang.Dilation and erosion operation based bridge detection in SAR image [J].Fire Control Radar Technology,2011,40 (3):37-41 (in Chinese).[方慶,張順生,段昶.基于腐蝕和膨脹運(yùn)算的SAR圖像橋梁目標(biāo)檢測(cè)方法 [J].火控雷達(dá)技術(shù),2011,40 (3):37-41.]
[10]DAI Guangzhao,ZHANG Rong.A study of bridge recognition in high resolution SAR images [J].Journal of Remote Sensing,2007,11 (2):177-184 (in Chinese).[戴光照,張榮.高分辨率SAR圖像中的橋梁識(shí)別方法研究 [J].遙感學(xué)報(bào),2007,11 (2):177-184.]