劉恒恒,張春森,葛英偉,史 書
(1.西安科技大學(xué)測繪科學(xué)與技術(shù)學(xué)院,陜西 西安 710054)
基于深度學(xué)習(xí)不僅能實現(xiàn)建筑物的精提取,而且通過卷積神經(jīng)網(wǎng)絡(luò)提取影像特征避免了人為手動設(shè)計特征的繁瑣,極大的節(jié)省了人力,并且相對于人工提取效率有著極大的提升[1]。
本文以UNet模型為基礎(chǔ),融入密集空洞空間金字塔池化層獲取影像多尺度特征,并使用1×1卷積降低特征圖的維度,提出一種新的網(wǎng)絡(luò)DenseASPP-Unet,在更大的范圍內(nèi)獲取了影像更多的尺度特征,提升了建筑物的提取精度[2-7]。
UNet是繼承FCN編碼-解碼等優(yōu)點,在FCN基礎(chǔ)上進(jìn)行改進(jìn)的網(wǎng)絡(luò),最早應(yīng)用于醫(yī)學(xué)領(lǐng)域。UNet網(wǎng)絡(luò)能夠在很少訓(xùn)練集的情形下產(chǎn)生精確的影像分割,跳躍連接結(jié)構(gòu)將編碼階段的高分辨率特征與上采樣融合,輸出生成更精確的結(jié)果。其網(wǎng)絡(luò)編碼-解碼結(jié)構(gòu)對稱,編碼階段提取影像特征,解碼階段恢復(fù)影像尺寸和位置信息,跳躍連接通過特征通道融合可以獲取多尺度特征。圖1為U-Net網(wǎng)絡(luò)結(jié)構(gòu)。
圖1 U-Net網(wǎng)絡(luò)結(jié)構(gòu)
空洞卷積可以在不影響特征空間分辨率的情況下擴(kuò)大特征感受野,空洞空間金字塔池化(ASPP)將不同擴(kuò)張率的空洞卷積組合在一起,獲取多尺度的特征。DenseASPP相比ASPP具有更密集的并行和級聯(lián)空洞卷積,能在更大的范圍內(nèi)獲取影像更多的尺度特征。通過一系列的空洞卷積組合,越靠后的神經(jīng)元獲取越大的感受野,并且不會發(fā)生ASPP的核退化問題。圖2所示為DenseASPP結(jié)構(gòu)。
圖2 DenseASPP結(jié)構(gòu)
DenseASPP為6個層級并聯(lián),第一層級直接將特征圖傳到輸出位置;第二層級經(jīng)過擴(kuò)張率為3的3×3空洞卷積傳到輸出;第三層級將特征圖與第二層級的輸出融合,然后經(jīng)過擴(kuò)張率為6的3×3空洞卷積傳到輸出;第四層級將特征圖與第二、三層級的輸出融合經(jīng)過擴(kuò)張率為12的3×3空洞卷積傳到輸出;第五層級將特征圖與第二、三、四層級的輸出融合經(jīng)過擴(kuò)張率為18的3×3空洞卷積傳到輸出;第六層級將特征圖與第二、三、四、五層級的輸出融合經(jīng)過擴(kuò)張率為24的3×3空洞卷積傳到輸出;最終將所有層級輸出融合實現(xiàn)多尺度特征融合。
DenseASPP-Unet網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,在UNet的基礎(chǔ)上,每個卷積層后接BN層[8]及RELU激活函數(shù),在第4次下采樣后添加dropout正則化[9]防止過擬合。跳層并聯(lián)密集空洞空間金字塔池化層,并將密集空洞空間金字塔池化層后的輸出特征圖通過1×1卷積降維至與輸入特征圖相同。將通過跳躍連接的卷積獲取的特征圖,下采樣后上采樣獲取的特征圖以及密集金字塔池化獲取的特征圖在解碼階段進(jìn)行融合,獲取圖像多尺度特征。
圖3 DenseASPP-Unet
本文利用Inria開源建筑物航空影像數(shù)據(jù)集,其覆蓋不同的城市住宅區(qū)810 km2,空間分辨率為0.3 m[10],影像如圖4所示。
圖4 inria建筑物數(shù)據(jù)集
數(shù)據(jù)的預(yù)處理包括裁剪、訓(xùn)練集和測試集的劃分、數(shù)據(jù)增強(qiáng)。裁剪是將影像裁剪成適合卷積神經(jīng)網(wǎng)絡(luò)輸入512×512大小的子圖,然后將裁剪的子圖以5:2:2劃分為訓(xùn)練集、驗證集和測試集,最后對訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)。
本文深度學(xué)習(xí)實驗均基于tensorflow深度學(xué)習(xí)框架,python編程語言實現(xiàn),采用Adam優(yōu)化器,實驗初始學(xué)習(xí)率為10-4,最低學(xué)習(xí)率不低于10-5,超參數(shù)為β1=0.9,β2=0.999,δ=10-8。
本文選取常用的4個評價指標(biāo)(交并比IoU、準(zhǔn)確率Precision、召回率Recall、F1分?jǐn)?shù))來評價精度,計算公式如式(1)~(4)所示。
式中,TP為真值是正,模型判定為正;TN為真值是負(fù),模型判定為負(fù);FP為真值是負(fù),模型判定為正;FN為真值是正,模型判定為負(fù)。
為了驗證DenseASPP-UNet網(wǎng)絡(luò)的性能,將DenseASPP-UNet網(wǎng)絡(luò)與FCN-8s,SegNet、UNet網(wǎng)絡(luò)做對比。從圖5可以看出,F(xiàn)CN-8s算法提取的建筑物結(jié)果很粗糙;SegNet算法提取的建筑物邊界不清晰;U-Net算法提取建筑物邊界相對SegNet清晰,但依然不夠平滑、完整,且存在很多噪音;DenseASPP-UNet相比其他深度學(xué)習(xí)算法提取建筑物的邊界更加清晰、平滑、完整。
圖5 DenseASPP-Unet與其他深度學(xué)習(xí)方法提取建筑物結(jié)果對比
為定量評價DenseASPP-UNet的有效性,統(tǒng)計各方法的準(zhǔn)確率(Precision)、召回率(Recall)、F1分?jǐn)?shù)和交并比(IoU),其精度對比如表1所示。
表1 DenseASPP-Unet與其他深度學(xué)習(xí)算法精度評定對比
從表1可以看出,DenseASPP-UNet在準(zhǔn)確率、召回率、F1分?jǐn)?shù)、交并比與其他深度學(xué)習(xí)方法相比,DenseASPP-UNet是最優(yōu)的,相比于UNet,DenseASPP-UNet在準(zhǔn)確率、召回率、F1分?jǐn)?shù)和交并比分別提升了5.296%、1.085%、3.03%、5.019%;相比于SegNet,DenseASPP-UNet在準(zhǔn)確率、召回率、F1分?jǐn)?shù)和交并比分別提升了4.233%、9.369%、7.687%、12.234%;相比于FCN-8s,DenseASPP-UNet在準(zhǔn)確率、召回率、F1分?jǐn)?shù)和交并比分別提升了17.316%、1.193%、10.454%、15.193%;相比于FCN-8s、Seg-Net、UNet,DenseASPP-UNet在準(zhǔn)確率、召回率、F1分?jǐn)?shù)及交并比都有很大的提升,證明了DenseASPP-UNet的有效性。
本文提出一種新的網(wǎng)絡(luò)DenseASPP-Unet,以UNet模型為基礎(chǔ),跳層并聯(lián)密集空洞空間金字塔池化層,并行和級聯(lián)空洞卷積,在更大的范圍內(nèi)獲取了影像更多的尺度特征,實現(xiàn)了影像多尺度特征的融合,并通過1×1卷積降低特征圖的維度,減少了模型的參數(shù)量。通過Inria開源建筑物航空影像數(shù)據(jù)集驗證并使用深度學(xué)習(xí)常用精度評價指標(biāo)準(zhǔn)確率、召回率、F1分?jǐn)?shù)及交并比對DenseASPP-Unet及其他深度學(xué)習(xí)方法進(jìn)行精度評定,實驗表明DenseASPP-Unet相比其他深度學(xué)習(xí)方法建筑物提取精度有很大的提升。