王 昆,賈士軍,郎 博
(1.國(guó)核電力規(guī)劃設(shè)計(jì)研究院,北京100095;2.北京鐵科首鋼軌道技術(shù)股份有限公司,北京102206)
高分辨率遙感影像中人工目標(biāo)的分割一直是遙感圖像處理領(lǐng)域研究的熱點(diǎn),然而由于城市面貌的日新月異,以及人工地物的復(fù)雜多樣,如何快速、準(zhǔn)確、全自動(dòng)地提取目標(biāo)地物一直是遙感圖像處理領(lǐng)域的瓶頸。以建筑物為例,此類地物在圖像中極易受陰影、道路及樹木等其他地物的干擾,導(dǎo)致分割準(zhǔn)確性較低,因此越來(lái)越多的研究考慮加入人的先驗(yàn)知識(shí),以改善分割效果。
水平集是解決曲線演化問題的強(qiáng)有力工具,它可以將圖像本身的低層次視覺屬性信息與待分割目標(biāo)的先驗(yàn)知識(shí)有機(jī)結(jié)合,從而實(shí)現(xiàn)高精度的目標(biāo)分割。特別是自Chan和 Vese結(jié)合 Level-set思想和 Mumford-Shah[1]模型提出 C-V 水平集模型后[2],越來(lái)越多的學(xué)者將這一較新的理論引入到遙感圖像處理領(lǐng)域,并開展了一系列研究。Keaton等[3]和Niu[4]先后利用水平集方法對(duì)高分辨率影像(包括IKONOS多光譜、航空影像等)道路目標(biāo)的分割進(jìn)行了研究;Karantzalos對(duì)航空影像中建筑物目標(biāo)的水平集分割模型進(jìn)行了研究;楊耘等[5]利用多水平集分割模型開展了高分辨率遙感影像分類問題的研究;Bailloeul[6]初步研究了融合先驗(yàn)形狀特征的水平集分割模型。
以上一系列模型的研究充分證明了利用水平集理論實(shí)現(xiàn)高分辨率遙感影像目標(biāo)分割的可行性,為遙感影像目標(biāo)提取的研究開辟了一條新思路。目前,針對(duì)先驗(yàn)形狀知識(shí)的描述大多是通過(guò)預(yù)先建立目標(biāo)形狀的大量先驗(yàn)樣本,然后對(duì)樣本集進(jìn)行統(tǒng)計(jì)訓(xùn)練,而檢測(cè)影像中與之對(duì)應(yīng)形狀的目標(biāo),這類方法需要作大量的統(tǒng)計(jì)運(yùn)算,而且具有很大的局限性,僅能檢測(cè)樣本集中特定形狀的目標(biāo)[7]。然而對(duì)于規(guī)則建筑物,即使特定為矩形的,其形狀也是千變?nèi)f化。因此,本文在區(qū)域驅(qū)動(dòng)的C-V模型基礎(chǔ)上,利用水平集理論在形狀建模、恢復(fù)及自由拓?fù)渥兓矫娴膬?yōu)勢(shì),提出了一種在分割中利用先驗(yàn)形狀的約束檢測(cè)建筑物的水平集分割模型,從而為改善復(fù)雜高分辨率影像中建筑物提取的準(zhǔn)確性提供了一種新方法。
2001年,Chan和Vese提出了一種簡(jiǎn)化的Mumford-Shah模型,即經(jīng)典的C-V模型,它通過(guò)最小化能量函數(shù)的方式來(lái)演化曲線。設(shè)原圖像I(x,y)被活動(dòng)輪廓線C劃分為目標(biāo)ωo和背景ωb兩個(gè)區(qū)域,它們的平均灰度分別為co和cb,則C-V模型最終的圖像分割能量函數(shù)為[8]
式中,L(C)是閉合輪廓線C的長(zhǎng)度;So(C)是曲線C內(nèi)部區(qū)域的面積;μ、ν≥0、λo、λb>0 是各個(gè)能量項(xiàng)的權(quán)重系數(shù);前兩項(xiàng)為平滑項(xiàng)。
C-V模型利用了圖像的全局信息,通過(guò)最優(yōu)化能量函數(shù)(式(1))即可得到全局最優(yōu)的圖像分割結(jié)果[8]。
Chan和 Vese引入 Heaviside函數(shù) Hε(z)和Dirac函數(shù)δε(z)將能量函數(shù)規(guī)范化,并根據(jù)變分法以歐拉-拉格朗日方法推導(dǎo)出了求解式(1)、以水平集函數(shù)Φ表達(dá)的偏微分方程[8]
在高分辨率遙感影像中,微小的細(xì)節(jié)信息也會(huì)對(duì)目標(biāo)的準(zhǔn)確識(shí)別造成一定的干擾,因此需要采用圖像濾波技術(shù)來(lái)弱化或消除噪聲的干擾。然而基于傳統(tǒng)的空間域、頻率域卷積的圖像濾波方法(如低通濾波、中值濾波、小波等)往往會(huì)導(dǎo)致過(guò)度平滑,在消除區(qū)域內(nèi)部細(xì)節(jié)的同時(shí)也削弱了目標(biāo)重要的邊緣信息[9]。
本文采用一種總體變差法[10](total variation,TV)彌補(bǔ)了以上方法的不足。它是一種非線性尺度空間中基于異向擴(kuò)散的圖像濾波方法,通過(guò)最小化圖像I的總體變差來(lái)達(dá)到圖像濾波的目的,從而緩解建筑物屋頂內(nèi)部細(xì)節(jié)及周圍目標(biāo)的干擾,同時(shí)強(qiáng)化目標(biāo)邊界信息,提高區(qū)域同質(zhì)性。
本文中建筑物目標(biāo)的分割是基于矩形或矩形的組合這類普遍類型的目標(biāo)進(jìn)行研究的。通常在高分辨率遙感影像中,這類建筑物為規(guī)則的面狀目標(biāo),在空間上連續(xù)且有很高的緊致度;在光譜和紋理特征上,與背景存在一定反差;同時(shí)目標(biāo)邊界的方向角變化為零或呈直角?;谶@些人對(duì)建筑物目標(biāo)的先驗(yàn)形狀知識(shí),本文建立了一種先驗(yàn)形狀約束的水平集分割模型(SPLS模型),以剔除周圍小目標(biāo)地物對(duì)建筑物提取結(jié)果的影響。
本文研究的普遍類型的建筑物目標(biāo)在空間上具有連續(xù)性,且單條邊界的方向變化率為零,相鄰邊界相互垂直,局部特征表現(xiàn)比較規(guī)則,基于這種思想,通過(guò)分段檢測(cè)目標(biāo)邊界建立一種先驗(yàn)形狀。本算法是基于以下情況實(shí)現(xiàn)的:高分辨率影像中建筑物目標(biāo)的大多數(shù)邊界是未被干擾的,由此可利用這些未受干擾的邊界信息來(lái)恢復(fù)受干擾的目標(biāo)邊界,從而得到一條連續(xù)平滑的邊界。
利用水平集模型與時(shí)間相關(guān)的動(dòng)態(tài)性,對(duì)整個(gè)分割過(guò)程采用分時(shí)段提取的方法,具體的算法步驟如下:
1)建筑物邊界粗提取。在ΔT1時(shí)間段內(nèi),采用C-V模型,僅在圖像灰度的作用下對(duì)建筑物進(jìn)行粗分割,并提取初始邊界。
2)邊界擬合。對(duì)初始邊界采用最小二乘直線擬合,并記錄每條線段的起點(diǎn)、終點(diǎn)作為初始真實(shí)邊界點(diǎn)。
3)真實(shí)邊界點(diǎn)搜索。以某一線段開始,沿順時(shí)針方向依次遍歷步驟2)中得到的初始邊界點(diǎn),若相鄰兩條線段的夾角不在0°、90°或180°的閾值范圍內(nèi),則認(rèn)為該點(diǎn)為偽邊界點(diǎn),將其剔除;若相鄰兩條線段的夾角在90°的閾值范圍內(nèi),還需判斷該邊界點(diǎn)所在線段的長(zhǎng)度,當(dāng)它小于某一閾值時(shí),則認(rèn)為該點(diǎn)是偽邊界點(diǎn),將其剔除,這里具體閾值的大小要根據(jù)真實(shí)建筑物目標(biāo)的長(zhǎng)、寬值設(shè)定。最后對(duì)真實(shí)邊界點(diǎn)再次擬合,從而得到準(zhǔn)確的邊界。另外,當(dāng)該目標(biāo)中偽邊界長(zhǎng)度超過(guò)初始目標(biāo)邊界總長(zhǎng)度的一半時(shí),則認(rèn)為該目標(biāo)為非建筑物而將其剔除。
4)建立先驗(yàn)形狀。將得到的準(zhǔn)確邊界的內(nèi)部區(qū)域認(rèn)定為目標(biāo)區(qū)域,從而得到該區(qū)域的先驗(yàn)形狀,最后將其用水平集函數(shù)表示。
設(shè)ΔT1、ΔT2分別表示無(wú)先驗(yàn)形狀約束時(shí)初始分割及先驗(yàn)形狀產(chǎn)生后的曲線演化時(shí)間段。將上文建立的動(dòng)態(tài)先驗(yàn)形狀用一個(gè)與時(shí)間t、空間位置(x,y)有關(guān)的符號(hào)距離函數(shù) Ψ(x,y,t)表示,所求的目標(biāo)形狀用水平集函數(shù)Φ(x,y,t)表示,則用正規(guī)化函數(shù)表示的形狀項(xiàng)的約束能量為
上式表示目標(biāo)形狀與先驗(yàn)形狀的接近程度,通過(guò)這個(gè)形狀能量的約束驅(qū)動(dòng)曲線向真實(shí)目標(biāo)邊界演化。
將式(3)定義的形狀能量加入式(1)的能量函數(shù)中,則得到灰度圖像下先驗(yàn)形狀約束下的水平集分割模型
式中,co、cb表示影像中目標(biāo)與背景區(qū)域的各波段光譜均值;其他變量與前述相同。該式同樣適用于b波段的多光譜遙感影像I(I1,I2,…,Ib)。因此,該能量函數(shù)由圖像能量項(xiàng)、曲線約束項(xiàng)及形狀能量項(xiàng)共同構(gòu)成。在曲線演化過(guò)程中,圖像能量和形狀能量交替作用,驅(qū)動(dòng)曲線向目標(biāo)邊界移動(dòng)。
對(duì)該能量泛函也采用變分法、梯度下降法,可得其偏微分方程
另外,要獲得該式的定解必須要滿足Neumann邊界條件[8]。
為直觀地對(duì)比各方法的優(yōu)劣性,本文采用以下簡(jiǎn)單的精度評(píng)定方法。以矢量化得到的建筑物目標(biāo)為參照數(shù)據(jù)(其面積用B表示),假設(shè)各方法提取的建筑物結(jié)果中正確的面積為B1,錯(cuò)誤的面積為B2,漏檢的建筑物面積為B3。
1)完整性表示為
式(6)反映了某方法提取建筑物的能力,完整性越高,則漏檢的目標(biāo)越少。
2)正確率表示為
該值越高表示錯(cuò)檢的目標(biāo)越少。
3)總體精度[11]是在同時(shí)考慮漏檢和錯(cuò)檢情況下,對(duì)提取結(jié)果的一種整體評(píng)價(jià),表示為
為證明本文提出的SPLS模型的有效性,分別采用了兩組不同地區(qū)的0.6 m分辨率的QuickBird全色影像和0.2 m分辨率的航空影像進(jìn)行試驗(yàn)。這些影像包含了建筑物受周圍樹、道路等地物干擾,以及屋頂細(xì)節(jié)復(fù)雜等檢測(cè)中常見的問題。試驗(yàn)分別對(duì)eCognition軟件中的多尺度分割方法、C-V分割模型,以及本文中SPLS模型進(jìn)行了對(duì)比及分析。SPLS模型與C-V模型的參數(shù)取值見表1。
表1 水平集分割模型參數(shù)取值表
(1)試驗(yàn)一
QuickBird影像3種方法的分割結(jié)果對(duì)比如圖1所示。
圖1 QuickBird影像3種方法的分割結(jié)果對(duì)比
圖1中,(a)為原始影像其為0.6 m分辨率的QuickBird影像的大型廠房,大小為394像素×443像素;(b)為尺度 300、一致性0.3、緊致度0.5的eCognition分割結(jié)果;(c)為C-V模型分割結(jié)果,即無(wú)先驗(yàn)形狀約束下SPLS的初始分割結(jié)果;(d)為SPLS模型的分割結(jié)果。
根據(jù)上文描述的精度評(píng)價(jià)方法,本試驗(yàn)中3種方法的提取精度見表2。
表2 3種方法的分割提取精度評(píng)價(jià)表 (%)
從表2可以看出,對(duì)于單目標(biāo)的簡(jiǎn)單影像,本文中的SPLS模型較其他兩種方法在總體精度上都有不同程度的提高。特別是相對(duì)于C-V模型提高很大,主要是由于先驗(yàn)形狀的約束能夠?qū)-V模型中混分的目標(biāo)有效剔除,從而提高了目標(biāo)檢測(cè)的正確率;而相對(duì)于eCognition方法,主要是在完整性上有所提升,總體精度提高不大。
反映在圖像上,如圖1所示。由于先驗(yàn)形狀的加入使建筑物對(duì)周圍干擾具有一定的魯棒性,特別是對(duì)于灰度相近的地物。如在圖1(c)中,初始無(wú)先驗(yàn)形狀約束時(shí),左邊地塊也被誤分割為建筑物,而通過(guò)形狀的約束,它被有效地剔除了。相對(duì)于eCognition方法,SPLS模型可以同時(shí)分割出不同尺度的目標(biāo)地物,但是在先驗(yàn)形狀的建立上仍有一定誤差。
(2)試驗(yàn)二
航空影像建筑物提取結(jié)果對(duì)比如圖2所示。
圖2 航空影像建筑物提取結(jié)果對(duì)比
圖2中,(a)為原始影像其為珠海市某小區(qū)0.2 m分辨率的航空影像,大小為727像素×572像素;(b)為尺度 150、一致性 0.3、緊致度 0.5 的 eCognition分割結(jié)果;(c)為C-V模型分割結(jié)果;(d)為SPLS模型的分割結(jié)果。
本試驗(yàn)中3種方法的分割結(jié)果精度見表3。
表3 3種方法的分割提取精度評(píng)價(jià)表 (%)
該影像的特點(diǎn)為:分辨率超高,建筑物內(nèi)部細(xì)節(jié)復(fù)雜,周圍道路、陰影干擾嚴(yán)重。因此,從表3可以看出,3種方法對(duì)這類復(fù)雜影像的提取精度都不高,但是本文SPLS模型結(jié)果相對(duì)表現(xiàn)最佳,特別是在準(zhǔn)確率上,由于加入了人的先驗(yàn)形狀知識(shí),可以保證提取目標(biāo)的準(zhǔn)確性,且邊緣光滑、連續(xù),內(nèi)部區(qū)域平滑;并且可以消除一定的陰影干擾。但是對(duì)于大面積陰影遮擋及其他形狀相近的地物,無(wú)法取得較好結(jié)果。
綜上,該SPLS模型在充分利用圖像信息基礎(chǔ)上,加入了形狀特征的約束,在形狀描述上更接近于目標(biāo)真實(shí)形狀,一定程度上消除了內(nèi)部細(xì)節(jié)的干擾,提高了完整性及準(zhǔn)確性,且目標(biāo)邊界光滑,減少了后處理操作。但是仍然存在漏檢及錯(cuò)檢的情況,特別是對(duì)于大面積、多目標(biāo)地物的復(fù)雜影像,效果并不好;而且先驗(yàn)形狀的建立完全依賴初始分割結(jié)果,通用性不強(qiáng)。
由于水平集理論在多特征融合性及形狀建模方面具有較強(qiáng)的優(yōu)勢(shì),本文研究了一種規(guī)則建筑物的先驗(yàn)形狀特征,并且在隨曲線演化過(guò)程中將該先驗(yàn)形狀融入C-V模型中,改善了高分辨率遙感影像這類細(xì)節(jié)復(fù)雜影像中建筑物提取的準(zhǔn)確性,為多特征融合的研究提供了一定的參考。試驗(yàn)表明,該方法基本能保持與eCognition多尺度分割相近的精度。但是該方法僅利用了一種簡(jiǎn)單的形狀知識(shí),并且只適用于規(guī)則的矩形建筑物,在后續(xù)的研究中可以考慮加入語(yǔ)義、上下文等其他約束信息,從而更有效地改善建筑物目標(biāo)分割的準(zhǔn)確性和速度。
[1]MUMFORDD,SHAH J.Optimal Approximation by Piecewise Smooth Functions and Associated Varitional Problems[J].Communications on Pure and Applied Mathematics,1989,42(5):577-685.
[2]VESE L A,CHAN T F.A Multiphase Level Set Framework for Image Segmentation Using the Mumford and Shah Model[J].International Journal of Computer Vision,2000,50(3):271-293.
[3]KEATON T,BROKISH J.A Level Set Method for the Extraction of Roads from Multispectral Imagery[C]∥Applied Imagery Pattern Recognition Workshop.Malibu:[s.n.],2002:141-147.
[4]NIU X T.A Semi-automatic Framework for Highway Extraction and Vehicle Detection Based on a Geometric Deformable Model[J].ISPRS Journal of Photogrammetry and Remote Sensing,2006(61):170-186.
[5]楊耘,馬洪超,林穎,等.多水平集演化的高分辨率遙感影像分割[J].武漢大學(xué)學(xué)報(bào):信息科學(xué)版,2008,33(6):588-591.
[6]BAILLOEUL T.Active Contours and Prior Knowledge for Change Analysis:Application to Digital Urban Building Map Updating from Optical High Resolution Remote Sensing Images[EB/OL].2005-08-15.http:∥kepler.ia.ac.cn/profile/timothee.
[7]田昊,楊劍,汪彥明,等.基于先驗(yàn)形狀約束水平集模型的建筑物提取方法[J].自動(dòng)化學(xué)報(bào),2010,36(11):1502-1511.
[8]楊新.圖像偏微分方程的原理與應(yīng)用[M].上海:上海交通大學(xué)出版社,2003:80-103.
[9]楊耘.水平集框架下高分辨率遙感影像分類研究[D].武漢:武漢大學(xué),2008.
[10]蔣偉.基于分?jǐn)?shù)階偏微分方程的圖像去噪新模型[J].計(jì)算機(jī)應(yīng)用,2011,31(3):753-756.
[11]SHAN J,LEE SD.Quality of Building Extraction from IKONOSImagery[J].Journal of Surveying Engineering,2005,131(1):27-32.