何代毅,施文灶,林志斌,喬星星,劉芫汐,林耀輝

1(福建師范大學 福建省光電傳感應用工程技術研究中心,福州 350117)

2(福建師范大學 醫(yī)學光電科學與技術教育部重點實驗室,福州 350007)

3(福建師范大學 福建省光子技術重點實驗室,福州 350007)

1 引言

基于遙感影像建筑物提取的基礎理論研究始于20世紀80年代,隨著遙感衛(wèi)星技術的進步,高分辨率遙感影像在地面目標地自動提取中得到了廣泛應用.高分辨率遙感影像具有更加精細豐富的信息,建筑物是其中最普遍且最復雜的地物信息之一.建筑物提取是城市遙感影像的主要研究方向,一方面,建筑物的精確提取有利于遙感影像在城市規(guī)劃[1]、智慧城市建設等領域的深入應用和擴展,對遙感影像制圖、城市變化監(jiān)測、三維建模、地理信息系統(tǒng)的數(shù)據(jù)獲取、城市空間數(shù)據(jù)庫的更新和建設“數(shù)字化城市”具有重要的應用價值;另一方面,遙感影像中紋理和特征豐富,建筑物的檢測和分割提取方法種類繁多,過程具有很大相似性和通用性,可以為其他圖像的目標檢測和語義分割提供借鑒,因此建筑物提取方法的研究具有重要的科學意義.

然而,遙感影像含有豐富的地物信息,建筑物在遙感影像中多以面目標的形式存在,城區(qū)和鄉(xiāng)村綠化區(qū)域較多[2],綠色植被對于建筑物的覆蓋和干擾嚴重,且建筑物類型和形態(tài)等復雜多樣,這些均對建筑物提取帶來了極大的挑戰(zhàn).

近年來,研究者嘗試使用多種方法來實現(xiàn)遙感影像中建筑物的自動提取,遙感影像的大規(guī)模使用,對遙感信息和地物信息的處理與分析提出了更多的要求和挑戰(zhàn).傳統(tǒng)基于手動提取特征的方法在需要人工動態(tài)調整各種參數(shù)和閾值,方法的魯棒性和泛化能力較差.利用深度卷積神經(jīng)網(wǎng)絡可以從大量數(shù)據(jù)中自動學習特征,具有高效的特征表達能力.然而基于深度卷積神經(jīng)網(wǎng)絡的方法,也存在著計算效率低,提取結果的準確率低、邊界不完整等問題.

傳統(tǒng) Mask-RCNN 網(wǎng)絡基于TensorFlow 作為后端的Keras 深度學習框架搭建而成,由于框架的制約,網(wǎng)絡的性能不能夠很好地發(fā)揮出來.基于PyTorch 框架搭建網(wǎng)絡,其體現(xiàn)出的優(yōu)勢不僅僅是PyTorch 相比于以TensorFlow 作為后端的Keras 框架的優(yōu)勢,更表現(xiàn)為Mask-RCNN 網(wǎng)絡在全新的框架下性能的提升.計算機顯存資源利用效率更高,計算的速度和精確度也得到了顯著提升.而且新的框架不僅便于調試,高度模塊化,搭建模型十分方便,數(shù)據(jù)參數(shù)在CPU 與GPU 之間遷移十分靈活.

針對遙感影像提取建筑物現(xiàn)有相關的研究成果的缺陷和不足,本文提出了一種采用全新開源的PyTorch深度學習框架和基于Mask-RCNN 改進的網(wǎng)絡結構模型的實例分割算法,更加高效與魯棒地實現(xiàn)了建筑物的自動精確分割和提取.

2 算法原理與網(wǎng)絡調整

2.1 網(wǎng)絡結構

本文采用的深度學習分割算法基于由He KM于2017年提出Mask-RCNN 實例分割算法.算法網(wǎng)絡來源于Faster-RCN 和全卷積網(wǎng)絡(Fully-Convolutional Network,FCN),作者在此基礎上新增了改進措施.在Faster-RCNN 網(wǎng)絡的基礎上新增了一個任務分支完成目標物體的像素實例分割任務,網(wǎng)絡輸出最終包含了3 個任務分支,分別是目標的分類、目標框的坐標及目標區(qū)域的二值掩碼實例分割,算法結構流程圖如圖1所示.

圖1 算法結構流程圖

圖1中分類和回歸部分都是由基于區(qū)域的目標檢測網(wǎng)絡Faster-RCNN[3]完成,目標區(qū)域的像素分割由FCN[4]完成.從圖1可以看出,對于輸入的圖片,首先進行的是將圖片輸入到殘差網(wǎng)絡(ResNet)中進行特征提取,得到的主干特征圖(Feature Map)通過區(qū)域生成網(wǎng)絡(Region Proposal Network,RPN)提取可能存在的目標區(qū)域(Region Of Interest,ROI).這些ROI 經(jīng)過ROIAlign 層被映射成固定維數(shù)的特征向量,其中兩個分支經(jīng)過全連接層進行分類和目標框的回歸[5],另一個分支經(jīng)過全卷積運算進行上采樣得到了分割區(qū)域的圖片.

算法網(wǎng)絡訓練采用的多任務損失函數(shù),通過學習減小損失函數(shù)的值,直到獲得全局最優(yōu)解.損失函數(shù)包含分類誤差、目標框回歸誤差和掩碼誤差.

2.2 Mask-RCNN 的調整和優(yōu)化

傳統(tǒng)的Mask-RCNN 網(wǎng)絡功能強大,網(wǎng)絡的主要模塊RPN 存在著運算量大,效率不高的問題,FPN 網(wǎng)絡特征圖中的最高層級特征和較低層級特征之間的路徑太長,不利于信息的有效融合;Mask 預測僅在單個視野上執(zhí)行,無法獲得更加多樣化的信息,針對于特殊目標的檢測和分割效果欠佳.本文在繼承Mask-RCNN優(yōu)點的同時,根據(jù)遙感影像中建筑物的特殊性,對網(wǎng)絡做了以下改進.

2.2.1 RPN 網(wǎng)絡的改進

RPN 網(wǎng)絡采用9 種面積尺寸各異的目標框來估算原始目標在每個滑動窗口上位置上的大小,本文考慮訓練集遙感影像尺寸大小,分別修改為64×64、128×128、256×256,長寬比皆為1:1.調整后能夠提高小目標的檢測和分割效果,提高目標框的檢出率.

針對RPN 網(wǎng)絡采用3×3 的固定滑動窗口掃描特征圖提取候選框帶來重復的估計目標和計算的問題,本文提出了一種改進的RPN 網(wǎng)絡,結構如圖2所示.將固定的滑動窗口修改為固定尺寸分割,分割后每一個窗口同樣經(jīng)過不同尺寸的候選框提取出ROI,之后的處理和原RPN 網(wǎng)絡相同.由于采用固定尺寸分割,改進后的RPN 大大減少了估計目標區(qū)域,多種分割方法相當于構建了多種尺度的RPN,計算的效率更高,使用更少的內存空間.

圖2 改進的RPN 運行機制

2.2.2 FPN 網(wǎng)絡的改進

特征金字塔網(wǎng)絡(Feature Pyramid Networks,FPN)的提出是為了更好地實現(xiàn)頂層和底層特征圖的融合和各個階段的特征有效利用,Mask-RCNN 中使用自頂向下的方式將高層級的特征與低層級的特征混合,從而提高FPN 中所有具有合理分類能力的特征.

本文使用自底而上的思想進一步融合特征[6],使得高層級特征獲得低層級特征的路徑變短,如圖3(a)到圖3(b)的虛線所示,創(chuàng)建自底向上的增強路徑,用于縮短信息路徑,改進的FPN 網(wǎng)絡利用自底向上特征中存儲的精確定位信號,提升特征金字塔架構.

圖3 改進的FPN 網(wǎng)絡結構

2.2.3 新增微全連接層支路和掩模mask 的改進

在建筑物提取試驗中,對于小型的建筑物,Mask-RCNN 網(wǎng)絡的提取結果較好;而在提取大建筑物時,大建筑物由于縮放比例過高而損失了大量細節(jié)信息,掩膜mask 的邊界存在不太完整和精確之處.本文將原始網(wǎng)絡中mask 大小14×14 像素與28×28 像素分別修改為40×40 與80×80 像素.

Mask-RCNN 網(wǎng)絡中負責預測mask 的組件是一個輕量級、易實現(xiàn)的分支,mask 分支的輸入是每個候選區(qū)域融合后的池化特征網(wǎng)格,如圖4所示,主分支(傳統(tǒng)的FCN 支路)是4 個連續(xù)的卷積層和一個反卷積層.其中每個卷積層核大小為3×3 通道為256 個,后面再接一個上采樣2 倍的反卷積層,用于預測每個類別mask 的二進制像素值.

圖4 mask 組件與全連接層融合

本文使用一條支路從conv3 連接到全連接層,中間過兩個3×3 大小卷積層conv4_fc,conv5_fc.Conv5_fc卷積層通道數(shù)減半以減少計算量,mask 大小設置為40×40 和80×80.全連接層產(chǎn)生的向量再重塑成和FCN 預測的mask 同樣的空間尺寸.最終與FCN 的輸出相加得到最終預測.全連接層用于預測類不可知的背景或前景 mask,不僅效率高,而且允許更多樣本訓練全連接層的參數(shù),泛化能力更強.

為了捕捉每個提議的不同視圖,用微小的全連接層來增加掩模預測,全連接層與最初使用的FCN 具有互補的特性,通過融合這兩種觀點的預測,信息的多樣性會增加,產(chǎn)生質量更好的掩模效果.

2.3 基于全新的PyTorch 框架搭建網(wǎng)絡

PyTorch 是由Facebook 于2017年初首次推出開源的神經(jīng)網(wǎng)絡框架,Mask-RCNN Benchmark 是一個完全由PyTorch 1.0 寫成,快速、模塊化的Faster R-CNN和Mask-RCNN 組件.該組件旨在讓用戶更容易地創(chuàng)建一種模型,實現(xiàn)對圖片中目標的識別與分割.利用Mask-RCNN Benchmark 開源項目,結合經(jīng)過預處理的IAILD 數(shù)據(jù)集,通過監(jiān)督學習和遷移學習的方式,結合網(wǎng)絡的預訓練權重訓練網(wǎng)絡,保存最終的訓練權重,利用預測函數(shù)預測和分割遙感影像中建筑物,實現(xiàn)遙感影像中的建筑物提取.

3 建筑物自動提取流程

3.1 總體流程

本文的建筑物提取流程如圖5所示,具體步驟為:(1)獲取遙感影像;(2)對遙感影像進行預處理;(3)對預處理后遙感影像進行拓展、裁剪,得到大小為512×512的3 通道子圖像;(4)裁剪得到的遙感影像訓練集和驗證集隨機分成4 個子數(shù)據(jù)集;(5)利用標注工具labelme標注訓練集和驗證集中的遙感影像;(6) 設置網(wǎng)絡參數(shù)、調整網(wǎng)絡配置,如初始化學習率,Epoch 數(shù)目等;(7)載入預訓練權重開始訓練網(wǎng)絡,保存訓練得到的權重結果;(8)載入訓練得到的結果權重,讀取測試集圖片得到二值掩模圖片;(9)將二值掩模圖片和建筑物標記二值圖像進行像素的顏色處理;(10)對處理結果進行性能評估和對比.

圖5 遙感影像建筑物提取流程

3.2 遙感影像中建筑物自動提取的兩個階段

Mask-RCNN 是一種多任務的深度神經(jīng)網(wǎng)絡,提取建筑物的過程分為兩個階段:第1 階段,Mask-RCNN主干網(wǎng)絡(即ResNet101 和FPN)提取遙感影像的特征圖,隨后使用RPN 生成目標的候選框,并對候選框篩選得到感興趣區(qū)域.第2 階段,對每個感興趣區(qū)域做類別的分類和預測、目標框的回歸和目標建筑物的二值掩膜分割.

3.3 Mask-RCNN 算法步驟

(1)網(wǎng)絡讀取一幅經(jīng)過預處理后的圖片;將其輸入到一個預訓練好的主干網(wǎng)絡(即ResNet101 和FPN)中,獲得對應的圖像特征圖的集合.(2)對特征圖集中的每一點設定預定數(shù)量的ROI,最后獲得多個最佳的候選ROI.(3)將候選的ROI 送入RPN 網(wǎng)絡進行前景或背景的二值分類和邊框回歸,過濾一部分候選的ROI.(4)對剩余ROI 進行ROIAlign 操作,即先將原圖和特征圖的像素對應起來,隨后將特征圖和固定的特征對應起來.(5)最后,對ROI 進行N 類別的分類、位置的預測,目標框回歸.通過改進的分割網(wǎng)絡進行mask 的預測和語義的分割,得到二值的掩模圖像.具體步驟如圖6.

圖6 改進的Mask-RCNN 算法步驟

4 數(shù)據(jù)集的制作及預處理

4.1 數(shù)據(jù)源與數(shù)據(jù)集

本文實驗采用的遙感影像數(shù)據(jù)源為法國國家信息與自動化研究所提供的Inria 航空影像標簽公開數(shù)據(jù)集(Inria Aerial Image Labeling Dataset,IAILD 數(shù)據(jù)集).該數(shù)據(jù)集包含180 張5000×5000 像素,空間分辨率為0.3 米的航空正射彩色圖像,數(shù)據(jù)集中每張圖片的覆蓋面積大約是405 平方公里.這些遙感影像覆蓋了五個不同的城市居民點,從人口稠密地區(qū)(如美國舊金山的金融區(qū))到高山城鎮(zhèn)(如美國利恩茨和奧地利蒂羅爾小鎮(zhèn)).

在神經(jīng)網(wǎng)絡訓練的過程中,往往對輸入圖像的大小需要進行調整,首先是為了滿足擁有固定節(jié)點數(shù)的全連接層的神經(jīng)網(wǎng)絡的輸入要求,其次是對于不同規(guī)則大的圖片,為了使輸入的圖片不進行壓縮,減輕過高的縮放比例帶來的信息損失;而且如果圖片尺寸太大,直接使用會造成計算速度緩慢甚至顯卡內存溢出等問題.

本文把數(shù)據(jù)集隨機劃分為3 部分:訓練集(150張)、驗證集(5 張)、測試集(25 張).為了契合神經(jīng)網(wǎng)絡的需要、遙感影像信息和計算機內存資源的有效利用,統(tǒng)一數(shù)據(jù)集中遙感影像的大小,將5000×5000 像素影像使用黑色像素在四周邊緣填充60 像素,填充后遙感影像樣本如圖7所示,影像大小拓展為5120×5120.隨后利用大小為512×512、步長為512 的滑動窗口,將影像裁剪為10 行10 列,得到100 張512×512 大小的3 通道遙感影像.將數(shù)據(jù)集中的所有影像填充后裁剪,最終,得到了訓練集(15000 張)、驗證集(500 張)、測試集(2500 張),裁剪后的訓練集和測試集中包含不同傳感器不同城市,不同風格、用途、尺度的遙感影像建筑物樣本,樣本的增加既增強了分割模型的學習泛化能力,也緩解了數(shù)據(jù)樣本的重復學習產(chǎn)生的過擬合問題.樣本示例如圖8、圖9所示.

圖7 原始遙感影像四周邊緣填充60 黑色像素

圖8 不同風格、用途、尺度的建筑物樣本

圖9 數(shù)據(jù)集中不同傳感器不同城市的遙感影像建筑物樣本

為了更好地進行網(wǎng)絡的訓練和效果的調試,將訓練集和測試集影像分為4 個子數(shù)據(jù)集,各個數(shù)據(jù)集的影像均為處理后的512×512 大小的3 通道遙感影像,其訓練集、驗證集影像數(shù)量如表1所示.實驗過程中可以選擇4 個不同量級的數(shù)據(jù)集,既可用于評估模型的準確率,還可驗證本文方法的魯棒性和泛化能力.

表1 數(shù)據(jù)集說明

4.2 遙感影像預處理

由于衛(wèi)星的飛行速度、軌道高度、傳感器的瞬時視角等原因[7],在將數(shù)據(jù)進行建模前,必須先對其進行影像的預處理.

4.2.1 高斯濾波

遙感影像噪聲的來源主要有兩個方面,在采集過程中,圖像傳感器CMOS 在采集圖像中受傳感器材料屬性、電子器件的結構和工作環(huán)境的影響引入的各種噪聲[8];另外在傳輸過程中也會受到多種噪聲污染.本文采用空間域濾波中的高斯濾波,可以平衡對圖像的噪聲的抑制和對圖像的模糊.

4.2.2 直方圖均衡化

本文采用了限制對比度的自適應直方圖均衡化技術,該技術將圖像分割為小的區(qū)域后進行直方圖均衡化,并對局部對比度進行了限幅,這個特性也應用到全局直方圖均衡化中.該技術克服了自適應直方圖均衡化噪聲過度放大的問題,使得圖像細節(jié)更加清晰.

4.2.3 影像增強

本文采用的影像增強技術包括鄰域增強和主成分分析等算法,鄰域增強能夠用于去噪、圖像平滑、銳化等相關操作.主成分分析可用于消除特征中向量中各個特征之間的相關性,進行特征的選擇,還可用來進行高光譜圖像數(shù)據(jù)的壓縮和信息融合,訓練影像的增強,緩解了模型的過擬合風險[9].

5 實驗與算法評價

5.1 實驗過程

本文實驗使用開源的PyTorch 學習框架,使用Python語言編程實現(xiàn)算法網(wǎng)絡,硬件環(huán)境為聯(lián)想Think Station P900 工作站,配備有NVIDIA GeForce GTX TITAN X顯卡(12GB)、64 位Ubuntu16.04 操作系統(tǒng).

本文采用遷移學習方法,將COCO2014 數(shù)據(jù)集訓練得到的權重模型作為本文建筑物自動提取算法模型的預訓練模型,在此預訓練模型的基礎上訓練遙感數(shù)據(jù)集[8].遷移學習不僅減少了訓練數(shù)據(jù)且提升了訓練效率,遷移學習的模型泛化能力更好,有效提升檢測模型的整體檢測精度和模型性能.

本文選取數(shù)據(jù)集1 進行學習訓練,將epoch 數(shù)值設置為5,batch size 值設置為8,每個epoch 設置步數(shù)為10000,利用Adam 算法進行網(wǎng)絡優(yōu)化,學習率設置為0.00001,所有參數(shù)根據(jù)正太分布進行初始化.整個過程在訓練大概20 小時后損失函數(shù)不再下降,停留在1.070左右.

5.2 評價指標

為了定量評價遙感影像提取算法的綜合性能,本文分別采用式(1)～式(4)的平均查全率(mRecall)、平均查準率(mPrecision)、平均準確率(mAP)和F1[10]分數(shù)對測試集影像進行評價.k為隨機選取的k組測試影像,Pij為測試的準確率,Pii為正確提取的準確率.

TP(True Positive)代表本文算法和人工標注法均提取到建筑物.FN(False Negative)代表本文算法未提取到建筑物而人工標注法能提取到建筑物.FP(False Positive)代表本文算法能提取到建筑物而人工標記法未提取到建筑物.

為了驗證本文方法與主流提取算法有著較大的優(yōu)勢,使用基于SVM[11]、FCN[12]、U-net[13]、Mask-RCNN[14]等建筑物提取方法對IAILD 數(shù)據(jù)集進行了測試.本文也測試了幾個開源的數(shù)據(jù)集以驗證本文方法在不同開源數(shù)據(jù)集中的泛化能力和魯棒性.

由表2可知,相比于SVM、FCN、U-net 和Mask-RCNN 算法,本文算法的是個評價指標在數(shù)值上均有5%以上的提高,表明本文方法的總體效果更佳,性能優(yōu)異,有效性、準確性和魯棒性明顯提高.

表2 在IAILD 數(shù)據(jù)集上各種算法的比較(%)

與本文的數(shù)據(jù)集相比,Massachusetts 數(shù)據(jù)集的質量和分辨率要低很多,而且存在著很多錯誤標簽,其中的平均查全率和平均查準率比本文數(shù)據(jù)集相差甚遠,這對神經(jīng)網(wǎng)絡在精確分割提取建筑物產(chǎn)生了負面影響.WHU 和DOTA 是兩個大場景、高分辨率的遙感建筑物數(shù)據(jù)集,數(shù)據(jù)集中包含不同用途、不同色彩、不同大小的建筑物,這為神經(jīng)網(wǎng)絡的訓練提供了豐富的數(shù)據(jù)來源.綜合對比來看(表3),4 個評價指標的高分數(shù)說明本文方法的性能優(yōu)異,精確性、魯棒性和網(wǎng)絡的泛化性能均有不俗的表現(xiàn).

表3 在不同開源數(shù)據(jù)集中的性能表現(xiàn)(%)

5.3 實驗結果分析

圖10隨機展示了5 組利用本文方法對IAILD 數(shù)據(jù)集中奧斯汀和芝加哥地區(qū)建筑物的提取結果,其中圖10中第1、2、4 為奧斯汀地區(qū)遙感影像,第3 和5為芝加哥地區(qū)遙感影像.(a)為原始影像,(b)為對應的建筑物標記,(c)為建筑物提取結果掩模覆蓋圖,(d)為本文建筑物提取結果,(e)為(b)和(d)的對比結果,可以發(fā)現(xiàn)各個類型的建筑物均大部分可以很好地提取出來.其中使用深藍色表示TP(True Positive),即預測結果為建筑物,實際樣本也為建筑物;使用紅色表示FP(False Positive),即實際樣本為非建筑物,但預測結果為建筑物;用綠色表示FN(False Negative),即實際樣本為建筑物,預測結果為非建筑物;最終將所有建筑物的預測結果用分類圖來表示.

圖10 奧斯汀和芝加哥地區(qū)建筑物提取結果

本文測試所用的IAILD 測試集試驗區(qū)中建筑物有五種,隨機選取奧斯汀地區(qū)和芝加哥地區(qū)建筑物試驗,兩個地區(qū)選擇的背景是基于奧斯汀郊區(qū)和芝加哥城區(qū),從兩個不同地區(qū)的不同建筑物大小分析對比本文方法的有效性和精確性.

以圖10奧斯汀地區(qū)為例,數(shù)據(jù)集中的奧斯汀地區(qū)主要以郊區(qū)為主,郊區(qū)植被茂盛建筑物與周圍環(huán)境信息混淆,建筑物分散且以中小型建筑物為主,植被覆蓋對于建筑物的影響較大,從圖10(b)(d)(e)對比可知,本文方法對中型建筑物提取較好,對于小型建筑物也能很好地提取出來,但對被植被覆蓋的建筑物提取效果欠佳.芝加哥城區(qū)建筑物覆蓋密集且相對集中,主要以大型建筑物為主,植被覆蓋影響較小,對比發(fā)現(xiàn)可知,本文方法對密集型大型建筑物均能很好的提取出來.為了更加直觀地觀察提取結果對比,如圖11所示,特選取1 張尺寸為1024×1024 的對比效果圖.

綜合圖10和圖11及所有測試集圖片結果分析,本文方法具有較好的網(wǎng)絡的泛化性能和魯棒性,對IAILD數(shù)據(jù)集中的不同地區(qū)、不同地域、不同類型的建筑物均能取得很好的提取效果;但對于數(shù)據(jù)集中大型建筑物和植被覆蓋的建筑物提取時也存在著空洞現(xiàn)象,邊緣毛糙,漏檢問題依然存在.分析主要原因為數(shù)據(jù)集影像數(shù)量的不足、迭代次數(shù)設置影響、網(wǎng)絡模型的缺陷和數(shù)據(jù)集標記的誤差等,在以后的研究中要著力解決這些問題.

圖11 大尺寸奧斯汀建筑物提取結果樣張

6 總結

本文將遙感影像中建筑物提取與深度學習相結合,提出了一種基于PyTorch 框架改進的Mask-RCNN 網(wǎng)絡提取方法,為建筑物提取提供了一種有效的新方案.研究結果表明,本文提出的方法對于復雜類型的建筑物不僅能高效準確快捷地提取,而且提取結果的mAP等評價指標均有較高的得分;和其它算法的提取結果進行對比,本文方法的精確性、魯棒性和泛化能力均優(yōu)于對比算法.實現(xiàn)本文方法參數(shù)的最佳設置、訓練影像標記的規(guī)范化以增強邊緣提取效果、使其適應較大地理區(qū)域內中大型建筑物的提取、支持城市規(guī)劃等相關業(yè)務是后續(xù)的研究目標.