徐勝軍，歐陽樸衍，郭學(xué)源，Khan Taha Muthar

(1.西安建筑科技大學(xué) 信息與控制工程學(xué)院，西安 710055；2.清華大學(xué)建筑設(shè)計院有限公司，北京 100084)

0 引言

遙感圖像的分割是圖像分割領(lǐng)域中一項具有挑戰(zhàn)的任務(wù)。遙感圖像建筑物語義分割在國防安全、國土資源管理和土地規(guī)劃等方面有著重要的研究意義和應(yīng)用價值。

遙感圖像建筑物分割的實(shí)質(zhì)是通過提取有效的圖像特征，建立輸入圖像與輸出建筑物特征之間的映射關(guān)系。傳統(tǒng)遙感圖像分割方法[1-4]通過在特征空間的基礎(chǔ)上利用數(shù)學(xué)方法建立分割又模型，常用傳統(tǒng)方法有基于邊緣的分割方法、基于閾值的分割方法和基于區(qū)域的分割方法等。Li等[1]提出一種利用嵌入置信度的邊緣檢測器檢測邊緣信息，來提升對弱邊界的分割并有效減少遙感圖像建筑物的過度分割。Wang等[2]提出了一種基于多尺度特征區(qū)域融合和空間規(guī)則歸納的圖像特征提取方法，提升高空間分辨率遙感圖像分割精度。Deng等[3]提出了一種利用圖像的灰度直方圖確定閾值范圍的方法處理圖像，獲取遙感圖像分割結(jié)果。傳統(tǒng)方法分割遙感圖像過程中特征表達(dá)通常通過人工設(shè)計，對圖像表達(dá)多數(shù)為低層次特征，受多閾值選擇限制、圖像邊界信息不連續(xù)和遙感圖像空間關(guān)系應(yīng)用較少等因素影響較大。

近年來，利用深度學(xué)習(xí)算法實(shí)現(xiàn)建筑物自動分割得到廣泛關(guān)注。與傳統(tǒng)方法相比，深度學(xué)習(xí)算法[5-14]可以有效克服人工目視解譯，人工勞動成本高和效率低等問題，針對具體的遙感圖像分割問題自主學(xué)習(xí)合適的圖像特征，自動建立圖像到分割目標(biāo)間的映射關(guān)系。Lin等[5]提出了一種基于AlexNet[6]深度監(jiān)督策略的方法來提高AlexNet遙感場景分類模型中間層的泛化能力，細(xì)化圖像特征，有效解決過擬合等問題實(shí)現(xiàn)遙感圖像分割目的。Wang等[7]提出了一種基于ResNet(residual network,ResNet)[8]豐富層次信息提取圖像特征的方法，充分描述遙感圖像中的豐富語義信息提升圖像分割精度。Li等[9]提出了一種基于UNet(Unity Networking,UNet)[10]的帶有收縮路徑和擴(kuò)展路徑結(jié)構(gòu)的深度卷積網(wǎng)絡(luò)模型，改進(jìn)UNet結(jié)構(gòu)模塊連接方式來提升遙感圖像分割精度。Yang等[11]等提出了一種基于SegNet[12]應(yīng)用于遙感圖像建筑物提取的方法，實(shí)現(xiàn)高維特征的低維提取，解碼器網(wǎng)絡(luò)將低分辨率特征映射傳遞到高空間分辨率特征映射來實(shí)現(xiàn)遙感圖像建筑物的提取和分割。Xu等[13]提出一種基于端到端的全卷積神經(jīng)網(wǎng)絡(luò)FCN(fully convolutional networks,FCN)，將網(wǎng)絡(luò)通道分組，在不同任務(wù)通道上分別對圖像進(jìn)行特征提取并共享特征再進(jìn)行融合，提升圖像分割精度。

上述基于深度學(xué)習(xí)分割遙感圖像建筑物的幾種模型一定程度上可以提升圖像的分割效果，但對于遙感圖像中多尺度的建筑物無法完整自適應(yīng)提取，建筑物邊界所提取的特征存在不清晰和丟失等現(xiàn)象。針對以上問題，提出一種利用膨脹卷積提取特征并多尺度特征融合的深度網(wǎng)絡(luò)模型(multiscale- feature fusion deep neural networks with dilated convolution，MDNNet)，自動提取多尺度遙感圖像建筑物特征，解決傳統(tǒng)深度網(wǎng)絡(luò)模型提取遙感圖像建筑物受道路、樹木、陰影等因素影響提取目標(biāo)邊界特征不清晰和丟失等問題，提升建筑物分割精度。

1 MDNNet模型結(jié)構(gòu)

提出模型MDNNet以ResNet殘差網(wǎng)絡(luò)結(jié)構(gòu)中的ResNet101為基礎(chǔ)網(wǎng)絡(luò)模型，主要由膨脹卷積網(wǎng)絡(luò)模塊，多尺度特征融合模塊和特征解碼模塊組成。首先利用不同擴(kuò)張率的膨脹卷積獲取不同尺度的遙感圖像建筑物特征信息，提取過程不對圖像進(jìn)行下采樣處理可以避免由于分辨率降低造成圖像細(xì)節(jié)信息損失；其次從不同尺度融合圖像特征來獲取不同尺度的上下文信息，加強(qiáng)模型對不同尺寸大小建筑物目標(biāo)的提取能力；最終利用解碼模塊將經(jīng)過特征融合模塊的各級特征綜合利用，恢復(fù)圖像原有分辨率輸出分割結(jié)果，實(shí)現(xiàn)對目標(biāo)邊界的精細(xì)化分割。提出的MDNNet模型結(jié)構(gòu)如圖1所示。

圖1 MDNNet模型結(jié)構(gòu)

2 研究方法

2.1 RenNet101結(jié)構(gòu)

深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)中隨著網(wǎng)絡(luò)層數(shù)的逐漸增多，會出現(xiàn)誤差增高，梯度消失等現(xiàn)象，使得訓(xùn)練效果變差。ResNet殘差網(wǎng)絡(luò)在深度神經(jīng)網(wǎng)絡(luò)中增加殘差結(jié)構(gòu)，學(xué)習(xí)目標(biāo)是多個網(wǎng)絡(luò)層輸入和輸出間的殘差，其映射關(guān)系為：

fResNet(i,w)=fR(i,w)-i=hi-i

(1)

式中,i為網(wǎng)絡(luò)輸入，hi為網(wǎng)絡(luò)輸出，w為深度神經(jīng)網(wǎng)絡(luò)權(quán)重，fResNet為ResNet網(wǎng)絡(luò)輸入圖像和輸出特征之間的映射關(guān)系，fR(i,w)是常規(guī)網(wǎng)絡(luò)結(jié)構(gòu)入圖像和輸出特征之間的映射關(guān)系。訓(xùn)練結(jié)果在保證信息完整性的同時簡化學(xué)習(xí)目標(biāo)，輸入的變化可以反應(yīng)損失函數(shù)的變化產(chǎn)生較大梯度，避免梯度消失，加快訓(xùn)練過程中收斂速度。

ResNet的基礎(chǔ)模塊由Building block或bottleneck組成。Building block結(jié)構(gòu)包含一個殘差支路和short-cut支路，與傳統(tǒng)結(jié)構(gòu)相比多了一個short-cut支路。Building block結(jié)構(gòu)如圖2。

圖2 Building block結(jié)構(gòu)

Bottleneck通過一個1×1的卷積減少通道數(shù)，最后的1×1卷積來恢復(fù)通道數(shù)量，使結(jié)構(gòu)中輸出通道數(shù)輸入通道數(shù)相同。Bottleneck結(jié)構(gòu)如圖3。

圖3 Bottleneck結(jié)構(gòu)

ResNet101網(wǎng)絡(luò)整體模型由1×1、3×3、1×1的卷積堆疊而成，整體模型結(jié)構(gòu)如圖4。

圖4 ResNet101網(wǎng)絡(luò)結(jié)構(gòu)

2.2 膨脹卷積

在利用ResNet101提取遙感圖像特征時，連續(xù)的池化和其他采樣操作通過降低圖像尺寸的方法增大提取特征，使圖像分辨率損失從而丟失大量局部細(xì)節(jié)信息，不利于圖像邊緣信息提取。為了解決以上問題，當(dāng)利用殘差模塊使圖像分辨率縮小到原圖1/8時，在ResNet101中引入膨脹卷積模塊。模塊中利用不同擴(kuò)張率的膨脹卷積代替普通卷積來依次增大卷積核感受野。

膨脹卷積與普通卷積相比增添了一個“擴(kuò)張率(dilation rate，rate)”的參數(shù)，來定義卷積核處理數(shù)據(jù)時各值的間距，卷積內(nèi)剩下點(diǎn)的權(quán)重用0填充，使得在增加卷積感受野的同時不增加卷積的參數(shù)量。擴(kuò)張率的選取由圖像原始尺寸的大小和提取特征圖的大小來決定，分別以rate=6、rate=12、rate=18的擴(kuò)張率的膨脹卷積來從多個角度提取建筑物特征信息，具體結(jié)構(gòu)如圖5所示。

圖5 膨脹卷積結(jié)構(gòu)

膨脹卷積提取特征圖的大小會因膨脹卷積的擴(kuò)張率不同而改變，運(yùn)算如下：

k′=d(k-1)+1

(2)

h′=(h+2p-k′)/s+1

(3)

式中,s為步長，d為膨脹率，k為原始卷積尺寸，k′為膨脹卷積尺寸，為輸入特征圖的分辨率大小，h′為輸出特征圖分辨率大小,p為填充大小。

為了在訓(xùn)練過程中令每次權(quán)重的更新保持相同，克服隨著卷積層數(shù)增多，卷積運(yùn)算帶來的輸入和輸出的數(shù)據(jù)分布變化，降低訓(xùn)練難度，在每個卷積層輸入前增加BN(Batch Normalization)層，將數(shù)據(jù)轉(zhuǎn)化成均值為0和方差為1 的規(guī)范形式。BN層的運(yùn)算如表1所示。

表1 BN層運(yùn)算表

γ的初始值為1，β的初始值為0，變化率如下：

(4)

(5)

(6)

(7)

(8)

(9)

引入膨脹卷積后的ResNet101 卷積層通過依次增大擴(kuò)張率使得卷積核的感受野依次增大，獲取不同尺度的遙感圖圖像特征信息；膨脹卷積在不增加參數(shù)量的基礎(chǔ)上擴(kuò)大感受野，不需要下采樣降低圖像的分辨率，利于較高層語義特征的學(xué)習(xí)。

2.3 多尺度融合

在遙感圖像建筑物特征提取時，在利用膨脹卷積提取的多尺度特征無法精確對不同尺寸大小的建筑物完成自適應(yīng)的識別，為了進(jìn)一步對膨脹卷積提取的多尺度特征分析，將膨脹卷積提取的特征放入多尺度特征模塊，對重疊的不同尺度特征通過全局平均池化進(jìn)行特征融合生成不同空間分辨率的特征，有效利用圖像空間上下文信息。

多尺度特征融合結(jié)構(gòu)包含1×1的普通卷積核采樣率rate分別為6、12、18的膨脹卷積，輸出通道為256，最后包含一個BN層。多尺度特征融合結(jié)構(gòu)如圖6所示。

圖6 膨脹卷積結(jié)構(gòu)

膨脹卷積提取的第i層特征的輸出為：

(10)

式中，第i層的卷積輸入為X(i)，輸出為Z(i)，權(quán)重參數(shù)為b(i)。膨脹卷積輸出的各級特征Z(i)經(jīng)過多尺度特征融合多個層次特征，模塊中帶有4個基礎(chǔ)全局平均池化單元，根據(jù)遙感圖像的分辨率和被提取建筑物的分辨率大小的不同進(jìn)行調(diào)整，全局池化后特征圖的分辨率大小分別為1×1、3×3、6×6和12×12。由于全局池化后獲取的特征權(quán)重較大，通過卷積核為1×1的卷積層減少輸出的通道數(shù)，減小權(quán)重后的特征圖通道數(shù)是經(jīng)過N次多尺度特征融合的1/N。A(i)為第i層多尺度融合特征，各層輸出尺寸如表2。

表2 多尺度特征融合輸出表

2.4 特征解碼

遙感圖像通過膨脹卷積提取特征和多尺度特征融合對特征融合后，利用特征解碼模塊將各層特征圖的空間分辨率恢復(fù)到與輸入多尺度特征融合模塊相同的分辨率。特征解碼模塊為下采樣的逆過程。遙感圖像分割過程中，圖像的輸入為向量為X=x1,x2,…xmT，輸出向量為Y=y1,y2,…ynT，解碼模塊輸出的損失函數(shù)為Q，則卷積的方向傳播如下：

(11)

(12)

式中,C為遙感圖像輸入輸出的卷積矩陣，Cij為矩陣C第i行第j列元素，Call,i=C1,i…Cm,i,解碼模塊輸出為：

(13)

通過解碼模塊將不同尺度的特征圖和原始特征圖恢復(fù)到輸入圖像的原始尺寸，輸出遙感圖像建筑物分割結(jié)果。

3 實(shí)驗結(jié)果與分析

3.1 實(shí)驗數(shù)據(jù)

實(shí)驗基于Linux操作系統(tǒng)，采用2個NVIDIA TitanV Volta 12 G顯卡作為GPU處理單元，32 G內(nèi)存，CPU Inter E5處理器，pytorch-1.0.2的深度學(xué)習(xí)框架,Nvidia公司CUDA8.0GPU運(yùn)算平臺及cuDNN6.0深度學(xué)習(xí)GPU加速庫。實(shí)驗選取WHU Building change detection dataset遙感圖像數(shù)據(jù)集驗證提出模型的有效性，數(shù)據(jù)集包含建筑物、樹木、道路、湖泊、草地等多類地表物，圖像的原始空間分辨率為0.075米。將原始圖片裁剪成像素大小為512×512的8 189張含有遙感圖像建筑物的圖片，為了避免選區(qū)樣本的偶然性并有效評估提出模型的泛化能力，將裁剪的圖片中4 736張作為訓(xùn)練集，1 036張作為驗證集，2 416張作為測試集。

提出網(wǎng)絡(luò)模型初始化權(quán)值來自在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的結(jié)果，其他參數(shù)初始值為零，通過梯度下降法訓(xùn)練模型，迭代總次數(shù)為250 000，基本學(xué)習(xí)率為0.01，每迭代5 000次學(xué)習(xí)率下降0.1倍，學(xué)習(xí)率變換如下：

lr′=lr×(1-i/m)power

(14)

式中,lr′為變換后的學(xué)習(xí)率，lr變換前的學(xué)習(xí)率，i當(dāng)下迭代次數(shù)，m迭代總次數(shù)，power是多項式的冪來控制學(xué)習(xí)率衰減。

3.2 分割性能定量分析

為了對提出模型進(jìn)行量化分析，對比不同方法分割結(jié)果，采用像素準(zhǔn)確率(pixel accuracy, PA)、平均交并比(mean Intersection over Union, mIoU)和召回率(Recall Rate，Recall)作為定量評價指標(biāo)。

評價指標(biāo)像素準(zhǔn)確率PA表示正確識別出建筑物占真實(shí)建筑物的比例，指標(biāo)的計算公式如下：

(15)

式中,k為識別類別總數(shù)，pij為像素類i被預(yù)測為像素類j的總量，pii為像素類i，的像素被預(yù)測為像素類i的總量。

評價指標(biāo)平均交并比mIoU表示圖像真實(shí)值集合與圖像預(yù)測值集合的交集和并集的比例，指標(biāo)的計算公式如下：

(16)

式中,k為識別類別總數(shù)，nii表示第i類實(shí)際類別預(yù)測結(jié)果為j的像素點(diǎn)數(shù)量，ti為i類的像素點(diǎn)總數(shù)，pi為i類預(yù)測結(jié)果的總像素數(shù)量。

評價指標(biāo)召回率Recall表示在不考慮遙感圖像背景時，分割建筑物的像素點(diǎn)與真實(shí)標(biāo)注像素點(diǎn)比例，指標(biāo)的計算公式如下：

(17)

其中:Bseg為圖像分割中與標(biāo)注圖像相比正確分割的像素點(diǎn)數(shù)量，Iunseg為與標(biāo)注圖像系相比未正確分割的像素點(diǎn)數(shù)量。

為了驗證提出模型的有效性，對比幾種不同模型之間的量化指標(biāo)差異，對比模型包括：FCN模型[15]、ResNet模型[8]和ResNetCRF(ResNet Conditional Random Fields，ResNetCRF)模型[16]，訓(xùn)練過程如圖7～9所示。

圖7 PA訓(xùn)練過程

圖8 mIoU訓(xùn)練

圖9 Recall訓(xùn)練過程

不同方法網(wǎng)絡(luò)模型大小與訓(xùn)練速度如表3所示。

表3 網(wǎng)絡(luò)模型大小與訓(xùn)練時間

不同方法遙感圖像分割性能定量分析如表4所示。

表4 實(shí)驗結(jié)果性能評價指標(biāo)對比

從表3、表4可以看出，提出模型與對比模型相比較取得了最高的像素準(zhǔn)確率(PA)、最高的平均交并比(mIoU)和最高的召回率(Recall)，且在訓(xùn)練時長上僅高于ResNet模型。實(shí)驗結(jié)果表明，提出模型通過膨脹卷積增大遙感圖像感受野限制特征圖分辨率損失；通過多尺度特征融合獲取上下文特征信息形成不同分辨率的特征圖等可有效提升遙感圖像建筑物的分割精度。

3.3 對比實(shí)驗結(jié)果分析

不同方法建筑物分割結(jié)果圖如圖10所示。

圖中10(a)列為分辨率為512×512的遙感圖像，(b)列為地表真實(shí)值，(c)列為FCN模型分割結(jié)果，(d)列為ResNet模型分割結(jié)果，(e)列為ResNet模型分割結(jié)果，(f)列為MDNNet模型分割結(jié)果。

圖10 遙感圖像分割結(jié)果

FCN模型分割圖像主要是將模型網(wǎng)絡(luò)中間層的含有較高分辨率的特征圖和反卷積操作輸出的特征圖融合，對提取建筑物的細(xì)節(jié)信息不夠明顯，分割結(jié)果中建筑物之間存在多數(shù)粘連現(xiàn)象且該模型不能有效識別建筑物邊界，存在對樹木、道路等誤分割。ResNet模型分割圖像建立以解碼器-編碼器模塊為基礎(chǔ)的深度學(xué)習(xí)框架，解碼器模塊以自動提取建筑物的特征，編碼器模塊采用反卷積實(shí)現(xiàn)對特征圖的上采樣完成對建筑物的分割。分割結(jié)果表明該模型有效抑制建筑物間出現(xiàn)的粘連現(xiàn)象，但對目標(biāo)提取結(jié)果細(xì)節(jié)表達(dá)不明顯，建筑物邊緣信息不夠完整。ResNetCRF模型在ResNet模型的基礎(chǔ)上增加全連接條件隨機(jī)場對參數(shù)同步訓(xùn)練，分割結(jié)果中看出全連接條件隨機(jī)場可以有效彌補(bǔ)下采樣過程細(xì)節(jié)損失，使建筑物輪廓更清晰，但建筑物邊界細(xì)節(jié)上仍與真值圖相比差異較大，存在部分問分割現(xiàn)象，且模型訓(xùn)練時間高于其他對比模型。以上3種模型由于對多尺度特征提取建模不充分，對不同尺寸大小建筑物的自適應(yīng)提取能力有限。

MDNNet模型通過在ResNet101模型中引入膨脹卷積提取建筑物特征，有效抑制目標(biāo)特征圖分辨率過低從而保留更多建筑物邊緣細(xì)節(jié)特征信息，利用多尺度特征融合模塊使得模型可以獲取多個尺度建筑物特征信息，對不同尺寸大小的建筑物完成自適應(yīng)提取，分割結(jié)果表明對于較大型建筑物的分割也更加完整，與其他模型相比誤分割現(xiàn)象較少，建筑物邊界輪廓更加清晰完整。

4 結(jié)束語

本文提出的MDNNet模型應(yīng)用于遙感圖像建筑物分割領(lǐng)域中，在ResNet101殘差網(wǎng)絡(luò)模型中增加膨脹卷積，并利用多尺度特征融合獲取多個尺度的建筑物特征信息。該模型有效提升建筑物邊緣輪廓特征分割精度，實(shí)現(xiàn)對不同尺寸大小建筑物的自適應(yīng)提取。在WHU Building change detection dataset數(shù)據(jù)集進(jìn)行實(shí)驗，實(shí)驗結(jié)果表明本文提出方法在分割精度上明顯優(yōu)于FCN、ResNet和ResNetCRF對比實(shí)驗?zāi)Ｐ?，分割結(jié)果圖中建筑物邊緣信息的完整性且對不同尺寸大小建筑物的分割效果均明顯提升。