王理根,張永忠,3

(1.蘭州交通大學(xué) 測繪與地理信息學(xué)院,蘭州 730070;2.蘭州市勘察測繪研究院,蘭州 730070;3.甘肅大禹九州空間信息科技有限公司 院士專家工作站,蘭州 730070)

0 引言

近年來,衛(wèi)星和無人機遙感技術(shù)發(fā)展迅猛,海量的遙感影像資源堆積在人們面前,但需要通過遙感影像去獲取特定信息的時候,往往由于缺少專業(yè)知識或人工工作量過大,使得遙感資源包含的信息無法被充分利用。建筑物是人類活動的重要載體,其分布能夠反映城市發(fā)展?fàn)顩r,建筑物信息可以廣泛應(yīng)用于城市規(guī)劃、區(qū)域變化檢測、城市人口估計等眾多領(lǐng)域[1],因此建筑物自動提取成為了遙感影像應(yīng)用研究的熱點方向。

遙感影像建筑物的自動提取往往需要結(jié)合多個領(lǐng)域的知識,是計算機視覺、人工智能和遙感信息處理與分析等領(lǐng)域的重要研究內(nèi)容[2]。基于建筑物典型的形狀、光譜等特征的檢測方法較早被研究,如Wang等[3]利用直線和角點提取建筑物輪廓,這種方法在建筑物輪廓較為規(guī)則的情況下能夠獲得比較好的提取效果,但其難以適應(yīng)復(fù)雜形狀的建筑物;Sun等[4]利用多種規(guī)則形狀相似性指數(shù)提取建筑物,該方法能夠處理多種形狀的建筑物,但其正確工作的前提是圖像分割不存在欠分割和過分割。這些方法在建筑物典型特征易于提取時表現(xiàn)良好,但實際遙感影像中的建筑物形態(tài)復(fù)雜,典型特征可能被破壞,導(dǎo)致方法提取精度下降。相較之下,機器學(xué)習(xí)的方法對各種環(huán)境和數(shù)據(jù)適應(yīng)性更強,Dilek等[5]基于已有建筑物數(shù)據(jù)庫,利用SVM分類器提取建筑物;Li等[6]利用條件隨機場模型獲取建筑物初始檢測,隨后融合顯著性線索最終提取出建筑物;張仕山等[7]利用模糊集方法,為多種建筑物特征定義概率分布函數(shù),并使用DS(dempster shafer)證據(jù)理論綜合多特征,得到建筑物檢測結(jié)果;何直蒙等[8]利用改進(jìn)的U-Net卷積神經(jīng)網(wǎng)絡(luò)來提取建筑物。但這些機器學(xué)習(xí)模型的訓(xùn)練依賴大量標(biāo)注數(shù)據(jù),而目前標(biāo)注數(shù)據(jù)的獲取仍主要依靠目視解譯。降低模型對標(biāo)注數(shù)據(jù)的需求就意味著節(jié)省大量人工勞動,許多研究在此方向做出了努力:Wang等[9]通過陰影和形狀約束檢測到部分建筑物區(qū)域后,將陰影、樹木和低矩形擬合值的區(qū)域作為負(fù)樣本,與檢測出的建筑物區(qū)域一起訓(xùn)練監(jiān)督分類器,但為保證建筑物不會被過分割,其圖像的分割過程需要人工修正;Gao等[10]通過陰影、植被、建筑物和裸地樣本訓(xùn)練SVM分類器,并實現(xiàn)了陰影、植被和建筑物樣本的自動提取,但成分復(fù)雜的裸地樣本仍然需要依靠人工提取。

如何減少建筑物提取過程的人工工作是本文研究的重點。針對建筑物樣本獲取的問題,本文提出了一種結(jié)合陰影與建筑物空間關(guān)系的正樣本自動提取模型,通過直線特征和與陰影方位關(guān)系的雙重限制,自動獲取到高精度的正樣本。在建筑物提取任務(wù)中負(fù)樣本包含的地物種類過多,難以自動獲取[11],所以本文采用了基于PU學(xué)習(xí)[12](positive-unlabeled learning)的Bagging-PU分類器[13],這種分類器只需要正樣本和未標(biāo)記樣本就能完成分類任務(wù),免去了負(fù)樣本提取的工作。最后,根據(jù)建筑物的形態(tài),本文提出了一種基于鄰域統(tǒng)計的二值化方法,從分類器輸出的概率標(biāo)簽中獲取建筑物區(qū)域。

1 研究方法

本文采用了面向地理對象圖像分析(geospatial object-based image analysis,GOBIA)方法。GOBIA方法主要研究如何分割遙感影像并產(chǎn)生有意義的地理影像對象,然后基于分割結(jié)果對影像進(jìn)行分析,是遙感與地理信息科學(xué)重要的研究領(lǐng)域[14]。相較于基于像素的分析方法,GOBIA方法能夠減少分析單元的數(shù)量,更貼近人視覺認(rèn)知模式,能夠在一定程度上克服“語義鴻溝”。由于GOBIA方法分析基本單元為分割對象,分割對象的特征是由分割對象內(nèi)部像素共同決定的,少量噪聲像素對整體特征影響不大,所以GOBIA方法具有一定的抵抗噪聲的能力[15]。本文提出的方法首先對遙感影像進(jìn)行分割,然后利用陰影與建筑物的空間關(guān)系提取出部分建筑物區(qū)域,結(jié)合分割結(jié)果生成面向?qū)ο蟮恼龢颖?隨后利用提取出的樣本訓(xùn)練Bagging-PU分類器,獲取分割對象的概率標(biāo)簽,然后經(jīng)過二值化處理得到最終建筑物提取結(jié)果。方法流程如圖1所示。

圖1 建筑物自動提取流程圖

1.1 圖像分割

GOBIA方法首先需要對圖像進(jìn)行分割,圖像分割質(zhì)量會很大程度上影響最終的分類結(jié)果[16]。圖像分割難以同時避免過、欠分割錯誤,欠分割會使分割出的對象包含多種地物,使得該對象無法被歸類,而過分割會使得地物的局部特征被分離出來,使分割對象的分布更加復(fù)雜。對比分割方法中存在的過和欠的問題,本文選取分割方法時,采用了“寧過不欠”原則。本文采用簡單線性迭代聚類分割算法(simple linear iterative clustering,SLIC)[17],在實驗了多種分割參數(shù)后確定分割區(qū)塊尺度參數(shù)為20像素,緊致度參數(shù)m為20,此時分割結(jié)果的邊緣擬合度較好,且能夠保證建筑物不會與其他地物混淆。

1.2 建筑物樣本自動提取

大部分建筑物擁有規(guī)則的輪廓特征,邊界多數(shù)由直線段構(gòu)成。建筑物有一定高度,在陽光下投射出的陰影也是建筑物存在的明顯證據(jù)[18-19]。根據(jù)建筑物的這些特征,本文提出了一種基于方向自適應(yīng)陰影景觀的建筑物樣本提取方法。

1)陰影檢測。首先將多波段圖像轉(zhuǎn)換為亮度圖,根據(jù)閾值對亮度圖進(jìn)行二值化提取陰影,然后通過形態(tài)學(xué)開閉操作排除噪聲,使陰影形態(tài)更完整。為進(jìn)一步排除其他低矮地物產(chǎn)生的陰影,設(shè)置建筑物陰影最短閾值L,排除在光照方向?qū)挾刃∮贚的陰影。本文根據(jù)實際情況,選取了閾值L為5 m。

2)建筑物與陰影邊界檢測。首先,采用LSD(line segment detector)[20]算法提取陰影邊界的直線段,剔除長度過短的,剩余的為備選線段。如圖2所示,根據(jù)與陰影的方位關(guān)系,備選線段可以分為3種:線段方向與光照方向一致的為陰影側(cè)邊(圖2中的藍(lán)色直線段)、背向光源的一側(cè)的邊界是陰影的末端(圖2中的黃色直線段)、朝向光源的一側(cè)的邊界才是尋找的建筑物與陰影的邊界(圖2中的紅色直線段)。

圖2 建筑物與陰影的邊界

3)方向自適應(yīng)陰影景觀法。為了獲取建筑物區(qū)域,對ALI[21]采用的陰影景觀方法(shadow landscapes method) 進(jìn)行改進(jìn),提出了一種自適應(yīng)方向陰影景觀法(shadow landscapes method with adaptive direction)。自適應(yīng)方向陰影景觀法對每一個建筑物邊界線段,構(gòu)建垂直于此邊界線段且面向光照的方向的線性結(jié)構(gòu)元素,根據(jù)建筑物實際尺寸和樣本提取的實際需求,線性結(jié)構(gòu)元素的尺寸設(shè)為4 m。用此線性結(jié)構(gòu)元素對線段做形態(tài)學(xué)膨脹操作,最后綜合所有線段的膨脹結(jié)果得到方向自適應(yīng)陰影景觀,如圖3藍(lán)色區(qū)域所示。

圖3 自適應(yīng)方向陰影景觀法提取結(jié)果

4)面向?qū)ο蟮慕ㄖ飿颖咎崛　Ｗ赃m應(yīng)陰影景觀法提取的結(jié)果是基于像素的,為了將其轉(zhuǎn)換為基于對象的樣本,統(tǒng)計每個分割對象內(nèi)像素總數(shù)Ni和陰影景觀像素數(shù)ni,按照比例ri=ni/Ni為分割對象分配標(biāo)簽labeli,計算如式(1)所示。

(1)

式中:標(biāo)簽為1代表建筑物樣本;標(biāo)簽為0代表未標(biāo)記樣本。

1.3 基于Bagging-PU分類器的建筑物提取

1) 樣本及特征提取。建筑物擁有區(qū)別于其他地物的光譜特征、紋理特征、高度特征。選擇以下幾種特征:計算分割對象各波段像素值的均值和方差作為光譜特征;生成具有旋轉(zhuǎn)不變性和灰度不變性的LBP紋理(local binary pattern)圖、與人類的視覺系統(tǒng)類似的gaber紋理圖,統(tǒng)計分割對象的兩種紋理直方圖作為紋理特征;采用分割對象的歸一化數(shù)字表面模型(normalized digital surface model,nDSM)的均值和方差作為高度特征。其中nDSM由DSM(digital surface model)數(shù)據(jù)自動生成,其獲取過程為:將原始DSM數(shù)據(jù)劃分為45 m×45 m的方格,選取區(qū)塊內(nèi)DSM統(tǒng)計值的0.1分位數(shù)作為區(qū)塊中心的DEM高程值,然后再對DEM重采樣使其與DSM分辨率保持一致(圖4(b)),最后用DSM減去DEM便可得到歸一化DSM(圖4(c))。

圖4 nDSM數(shù)據(jù)處理

2)Bagging-PU分類器及樣本訓(xùn)練。傳統(tǒng)分類器需要充足的正樣本和負(fù)樣本進(jìn)行訓(xùn)練,但是建筑物提取任務(wù)中負(fù)樣本包含的地物種類過多,難以自動獲取,在無法獲取負(fù)樣本的情況下使用PU-learning是更優(yōu)的選擇[22],其能夠利用大量易于獲取的無標(biāo)記樣本進(jìn)行學(xué)習(xí),相較于僅使用正樣本的單分類(one-class classification)方法,PU-learning方法效果往往更優(yōu)。本文采用了Bagging-PU分類器,這種分類器采用了偽標(biāo)簽方法,使得普通的二分類器也可用于PU-learning過程,但使用錯誤的標(biāo)簽訓(xùn)練會帶來學(xué)習(xí)偏差,所以這里引入了Bagging機制,通過隨機采樣使標(biāo)簽誤差隨機化,最后對多個子分類器得到的結(jié)果求平均,從而減弱了不準(zhǔn)確標(biāo)簽帶來的誤差。

1.4 基于鄰域統(tǒng)計的二值化處理

本文采用的機器學(xué)習(xí)模型輸出是多個子分類器輸出的均值,需要進(jìn)行二值化處理。考慮到建筑物的形態(tài)特征,本文提出了一種基于鄰域統(tǒng)計的二值化方法,先由分割對象生成鄰接圖,高于閾值T1的頂點值置為1,低于閾值T2的頂點值置為0,介于T1與T2之間的作為待判斷頂點,當(dāng)待判斷頂點的鄰接頂點中為1的頂點數(shù)量大于為0的頂點數(shù)量時該頂點值置為1,否則值置為0。當(dāng)閾值T1、T2分別設(shè)為0.2和0.5時二值化效果如圖5(c)所示。

圖5 基于鄰域統(tǒng)計的二值化

2 實驗與分析

2.1 實驗數(shù)據(jù)

采用國際攝影測量和遙感學(xué)會2D語義標(biāo)注大賽提供的ISPRS Vaihingen 語義標(biāo)記數(shù)據(jù)集,此數(shù)據(jù)集包含33張0.09 m分辨率的正射遙感影像,包含3個波段(NIR、R、G),并提供了相應(yīng)的DSM數(shù)據(jù)和包括建筑物在內(nèi)的地物覆蓋圖。

2.2 建筑物提取實驗

從數(shù)據(jù)集的33張影像上提取出7 981個建筑物樣本以及391 282個無標(biāo)簽樣本,以此訓(xùn)練Bagging-PU分類器。實驗中,Bagging-PU分類器抽樣次數(shù)T為100,每次未標(biāo)記樣本抽樣數(shù)量K=0.5×|P|,其中 |P| 為正樣本數(shù)量。子分類器選擇決策樹分類器。采用信息熵為分枝標(biāo)準(zhǔn),樹最大深度為30。實驗結(jié)果如圖6所示。

圖6 建筑物提取各步驟結(jié)果

圖6顯示了建筑物提取不同步驟的結(jié)果。從圖6(b)結(jié)果看到,自動提取的建筑物樣本其基于像素統(tǒng)計的精確率高達(dá)0.975,說明本文提出的自適應(yīng)方向的陰影景觀方法可以提取出良好的建筑物樣本,這為Bagging-PU分類器的訓(xùn)練提供了數(shù)據(jù)基礎(chǔ)。最終建筑物提取結(jié)果精確率和召回率分別能夠達(dá)到 0.850 和 0.886,表明該分類器可以應(yīng)用于建筑物檢測任務(wù)。

表1列出了部分圖像基于像素的評價?？梢钥闯霰疚姆椒ㄔ诓煌瑘D像上表現(xiàn)較為穩(wěn)定,33張影像總體F1分?jǐn)?shù)和IoU達(dá)到0.864和0.761,總體精度達(dá)到了0.928。

表1 建筑物提取結(jié)果評價

綜合目視結(jié)果和各評價指標(biāo)來看,本文提出的建筑物提取方法對復(fù)雜環(huán)境有一定的適應(yīng)能力,在圖6中可以看出許多建筑物在樣本提取階段由于自身形狀不規(guī)則或者陰影形態(tài)不完整并未被檢出,但在PU Learning提取階段仍然能被識別出來,獲得了較好的召回率。因為PU Learning分類器的輸入并不包含陰影或形狀特征,所以本文方法在樣本提取階段設(shè)置的較為嚴(yán)苛的陰影和形狀條件并不會使最終結(jié)果出現(xiàn)明顯偏差。

2.3 對照實驗

為了進(jìn)一步分析本文方法的合理性,設(shè)計了如下實驗。(1)將本文方法中基于對象的分析方法替換為基于像素的方法。(2)采用固定方向的陰影景觀方法提取建筑物樣本。(3)使用Tian等[23]提出的高度閾值方法提取建筑物樣本(使用歸一化植被指數(shù)制作植被掩膜,排除植被覆蓋區(qū)域,然后指定建筑物高度閾值,使用nDSM數(shù)據(jù)初步提取建筑物樣本),然后將提取出的樣本作為PU Bagging分類器的輸入。對照實驗結(jié)果如表2和表3所示。

由表3可知,面向地理對象的分析方法對比面向像素的方法F1分?jǐn)?shù)和IoU指標(biāo)分別提升了0.054和0.081,說明在本文場景中面向地理對象的分析方法優(yōu)于面向像素的方法,面向像素的分析方法不僅處理的數(shù)據(jù)量大大增加,提取結(jié)果也易受噪聲像素干擾。由表2可以看出,本文方法提取的樣本在數(shù)量和質(zhì)量上都高于固定方向陰影景觀方法,而最終的提取結(jié)果上看本文方法在F1分?jǐn)?shù)和IoU兩項指標(biāo)上也分別有0.018和0.027的提升。

由表2可以看出,高度閾值方法提取的樣本數(shù)量遠(yuǎn)高于本文方法,但樣本質(zhì)量卻并不高,樣本精確率較本文方法低了0.178,且由于采用高度閾值提取樣本在高度特征上存在明顯偏差,不符合PU Learning的隨機采樣假設(shè),所以此時PU Learning分類器無法再采用高度特征作為輸入,從而影響了最終的建筑物提取結(jié)果。

3 結(jié)束語

為了減少建筑物檢測任務(wù)所需的人工工作量,本文提出了一種不需要樣本輸入的建筑物自動檢測方法。在ISPRS Vaihingen數(shù)據(jù)集上的實驗表明方法在復(fù)雜環(huán)境下獲得了較為準(zhǔn)確的提取效果。本文建筑物提取方法對于陰影關(guān)系這種難以量化的特征采用了人工設(shè)計方法提取分析,而光譜、DSM等機器學(xué)習(xí)模型擅長處理的量化特征由分類器處理。根據(jù)數(shù)據(jù)的不同特性分別處理,能夠更好地利用遙感數(shù)據(jù)包含的豐富信息,提升數(shù)據(jù)自動化解譯效果。但本文方法也存在一些問題:檢測出的建筑物在邊緣仍然容易出現(xiàn)漏檢和錯檢,進(jìn)一步提高檢測效果可以結(jié)合建筑物的邊緣和形狀特征優(yōu)化檢測結(jié)果;對影像數(shù)據(jù)特征提取不夠深入,引入神經(jīng)網(wǎng)絡(luò)技術(shù)提取影像更深層次的特征信息可能是未來改進(jìn)的方向。