熊風(fēng)光，董 彪，張 鑫，劉歡樂，韓 燮，況立群

(1.中北大學(xué) 大數(shù)據(jù)學(xué)院，山西 太原 030051； 2.中北大學(xué) 山西省視覺信息處理及智能機(jī)器人工程研究中心，山西 太原 030051)

0 引 言

隨著圖像處理及計(jì)算機(jī)視覺學(xué)科的發(fā)展，對圖像、視頻這些可視媒體的信息實(shí)現(xiàn)分類、定位及分割，并根據(jù)這些信息分析邏輯關(guān)系，已成為現(xiàn)在計(jì)算機(jī)領(lǐng)域的研究熱點(diǎn)。高分遙感影像紋理和特征豐富，且建筑物是地表人類聚集的常見地物，實(shí)現(xiàn)該類目標(biāo)的檢測識別在現(xiàn)代工業(yè)、城市規(guī)劃等領(lǐng)域具有重要的應(yīng)用價(jià)值[1-3]，傳統(tǒng)的矩形識別框已無法滿足對不規(guī)則遙感建筑物的精確檢測需求，在原先“分類+回歸”模式下的檢測已經(jīng)不適用，基于Faster RCNN的Mask RCNN以“分類+回歸+分割”的特性廣泛應(yīng)用于遙感建筑物的檢測當(dāng)中。國內(nèi)外對此已有相關(guān)研究，如文獻(xiàn)[4]提出一種基于Mask RCNN算法的建筑物檢測分割方法，將對象檢測、對象分類、邊界框定位和語義分割相結(jié)合達(dá)到像素級的檢測分割；文獻(xiàn)[5]將Mask RCNN算法中區(qū)域建議網(wǎng)絡(luò)(RPN)損失函數(shù)進(jìn)行優(yōu)化，減少預(yù)測框坐標(biāo)與實(shí)際目標(biāo)的位置偏差，提取到更精確的船舶坐標(biāo)信息。遙感領(lǐng)域的重要任務(wù)之一就是從圖像中檢測地表建筑物，但由于遙感圖像本身由于設(shè)備的局限性，導(dǎo)致缺乏紋理信息，且目標(biāo)建筑物形狀不規(guī)則，故本文借鑒深度學(xué)習(xí)的思想，參考國內(nèi)外相關(guān)學(xué)者對于Mask RCNN算法的改進(jìn)，以FPN和RPN網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)及掩膜mask的參數(shù)優(yōu)化為研究方向，充分利用空間信息，有效抑制干擾像素，實(shí)現(xiàn)更完整的模型提取[6]。

1 相關(guān)工作

RCNN類算法首先對樣本分割，得到大量包含目標(biāo)的區(qū)域，然后再輸入特征提取網(wǎng)絡(luò)，因此該類算法作為基于區(qū)域檢測的代表算法。這類算法通過神經(jīng)網(wǎng)絡(luò)對樣本提取特征，對特征映射反復(fù)訓(xùn)練并不斷調(diào)整參數(shù)，得到訓(xùn)練模型，再根據(jù)該網(wǎng)絡(luò)模型實(shí)現(xiàn)分類識別[7,8]。國外學(xué)者首先提出RCNN思想，將檢測問題劃分成定位與分類兩個階段，并以此設(shè)計(jì)出相關(guān)算法[9]，該算法在公共數(shù)據(jù)集中達(dá)到較高準(zhǔn)確率，并對之后基于RCNN的改進(jìn)及應(yīng)用提供了思路；之后有學(xué)者借鑒RCNN思想，簡化特征提取，在池化層中計(jì)算感興趣區(qū)域，有效加快了檢測速度，這就是Fast RCNN算法，但是由于產(chǎn)生候選區(qū)域?qū)е掠?xùn)練時間過長，不利于模型收斂[10]；之后有研究人員針對Fast RCNN進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化，提出Faster RCNN算法，在卷積神經(jīng)網(wǎng)絡(luò)中生成多尺度特征，然后進(jìn)一步篩選出多尺度特征圖的預(yù)測框，加快模型收斂，提高檢測效率[11]；有研究人員在文獻(xiàn)中指出，將語義分割與目標(biāo)檢測結(jié)合，提出一種新的檢測框架，這就是Mask RCNN算法，增加mask掩膜用來分割目標(biāo)，并且優(yōu)化之前的池化操作，抑制非目標(biāo)像素的干擾，既保證了高精度檢測率，又實(shí)現(xiàn)語義分割的任務(wù)，尤其對于人體數(shù)據(jù)集表現(xiàn)良好[12]。

YOLO(you only look once)系列是基于端到端的目標(biāo)檢測算法，該類算法不產(chǎn)生候選框，在神經(jīng)網(wǎng)絡(luò)中完成特征提取，實(shí)現(xiàn)對目標(biāo)的分類及定位的同時預(yù)測。國外研究人員提出Yolo v1算法，文獻(xiàn)中采用深層網(wǎng)絡(luò)提取特征，由于對分類和定位同時處理，因此大大加快了檢測時間[13]；但由于Yolo v1算法在檢測精度上存在不足，許多學(xué)者對此進(jìn)行研究，有相關(guān)文獻(xiàn)提出Yolo v2算法，作者首先提高預(yù)訓(xùn)練分類網(wǎng)絡(luò)的分辨率，并移除了全連接層，采用先驗(yàn)框預(yù)測類別和坐標(biāo)，既提升了定位的準(zhǔn)確度，同時保持分類的準(zhǔn)確度[14]；有研究團(tuán)隊(duì)提出Yolo v3算法，優(yōu)化特征圖的提取，加快神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，運(yùn)行速度達(dá)到22.2 ms，且mAP為28.2%，在檢測精度及檢測速度上都有了明顯提高[15]。

本文以不規(guī)則的遙感建筑物為研究對象，為提高檢測分割效果，對Mask RCNN算法中FPN和RPN網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)及掩膜mask的參數(shù)優(yōu)化展開研究，提出一種改進(jìn)的Mask RCNN檢測算法。

2 改進(jìn)Mask RCNN算法

本節(jié)首先對Mask RCNN算法作出相關(guān)介紹，并結(jié)合本文所做工作的創(chuàng)新性展開說明，主要針對網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)優(yōu)化，提出一種新的網(wǎng)絡(luò)結(jié)構(gòu)用于本文檢測場景。

2.1 Mask RCNN原理

Mask RCNN算法結(jié)合了檢測與分割，以RCNN檢測網(wǎng)絡(luò)為基礎(chǔ)，多尺度提取特征，再通過候選框?qū)μ卣鲌D篩選，不僅可以對目標(biāo)實(shí)現(xiàn)分類定位，而且通過添加掩膜mask對檢測目標(biāo)實(shí)現(xiàn)分割[16]，也就是把人或其它對象從圖像中檢測出來，并對每個檢測到的目標(biāo)實(shí)例生成一個分割遮罩[17,18]，檢測流程如圖1所示。

圖1 Mask RCNN檢測流程

首先，對輸入圖片預(yù)處理，在檢測網(wǎng)絡(luò)中，圖片以二維矩陣形式存儲；在特征金字塔網(wǎng)絡(luò)(FPN)中，不同尺度的卷積核與圖像二維矩陣做內(nèi)積運(yùn)算，得到不同尺度特征圖；然后，根據(jù)特征圖中每一點(diǎn)實(shí)現(xiàn)預(yù)測，得到大量感興趣區(qū)域(ROI)，在RPN網(wǎng)絡(luò)中對這些ROI篩選，進(jìn)一步提取得到最有可能的目標(biāo)區(qū)域；接著，對這些目標(biāo)區(qū)域?qū)崿F(xiàn)ROI Align操作，即對特征向量統(tǒng)一尺度；最后對特征向量進(jìn)行映射，得到3個輸出分支，實(shí)現(xiàn)分類、定位及分割任務(wù)。

2.2 改進(jìn)Mask RCNN

原Mask RCNN算法雖然在檢測及分割方面都表現(xiàn)良好，但是對于遙感領(lǐng)域的應(yīng)用仍存在不足，遙感圖像本身背景復(fù)雜，視角特殊，這給計(jì)算機(jī)視覺檢測任務(wù)帶來極大困難，因此結(jié)合應(yīng)用場景做分析改進(jìn)。首先FPN網(wǎng)絡(luò)基于特征金字塔，通過不同尺度的分辨率對輸入樣本實(shí)現(xiàn)特征提取，得到多尺度的特征圖，再對特征圖完成融合，但是自頂向下的特征融合過程十分繁瑣，導(dǎo)致有效信息丟失，檢測精度下降；其次RPN網(wǎng)絡(luò)通過候選區(qū)域?qū)μ卣鲌D實(shí)現(xiàn)初步預(yù)測，得到大量候選框，并對部分越界或偏移值大的候選框去除，進(jìn)一步提升精度，加快模型收斂，但是RPN網(wǎng)絡(luò)候選框長寬比不適合本文研究場景，導(dǎo)致計(jì)算冗余；而原算法中mask掩膜對遙感影像的分割效果表現(xiàn)不好，由于目標(biāo)與背景輪廓存在遮擋等情況，導(dǎo)致像素丟失，無法提取目標(biāo)輪廓。

對于Mask RCNN算法的應(yīng)用，許多研究人員已提出很多相關(guān)的應(yīng)用及改進(jìn)。如文獻(xiàn)[19]以車輛為數(shù)據(jù)集，對殘差網(wǎng)絡(luò)(ResNet)進(jìn)行優(yōu)化，并調(diào)整區(qū)域建議網(wǎng)絡(luò)(RPN)中錨點(diǎn)的比例和閾值，提高了平均檢測精度；文獻(xiàn)[20]中提出一種優(yōu)化的ROI Align操作，在雙線性插值基礎(chǔ)上調(diào)節(jié)閾值，顯著提高指針式儀表識別讀數(shù)的準(zhǔn)確性，同時在光照不均等自然環(huán)境下具有較好的魯棒性。

本文的創(chuàng)新性主要有三方面：對FPN網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)，保留語義信息，完善特征融合，有效提高檢測準(zhǔn)確率；簡化RPN網(wǎng)絡(luò)結(jié)構(gòu)，對先驗(yàn)框聚類分析，減少算法計(jì)算量，加快模型收斂；優(yōu)化掩膜mask參數(shù)，抑制干擾像素，增強(qiáng)對目標(biāo)像素的提取能力。

2.2.1 FPN網(wǎng)絡(luò)的改進(jìn)

FPN網(wǎng)絡(luò)是Mask RCNN算法中的主干網(wǎng)絡(luò)，基于多尺度金字塔，以不同分辨率模擬人眼由遠(yuǎn)及近的觀察效果，可以得到對樣本提取的不同尺度特征圖，這種由不同尺度組成的提取網(wǎng)絡(luò)被稱為金字塔，實(shí)現(xiàn)對不同尺寸目標(biāo)的完整特征提取。FPN網(wǎng)絡(luò)通過上述提取方式得到不同尺度的特征，又通過自頂向下的方式實(shí)現(xiàn)特征融合，在金字塔不同層特征融合的過程中開始預(yù)測，并最后對預(yù)測結(jié)果進(jìn)行融合。

在本文遙感數(shù)據(jù)集應(yīng)用場景中，只有建筑物這一類目標(biāo)，該方法特征融合過于繁瑣，首先需要對不同尺度的特征圖做統(tǒng)一操作，得到相同尺度特征圖，再對特征圖做預(yù)測，最后融合預(yù)測結(jié)果，但由于特征圖分辨率的多次縮放，導(dǎo)致?lián)p失了大量有效信息，不適用于本文遙感數(shù)據(jù)集，故本文不經(jīng)過橫向連接，直接在每一層進(jìn)行相應(yīng)的預(yù)測，再對預(yù)測結(jié)果做空洞卷積，提高精確定位，避免原算法中為擴(kuò)大感受野導(dǎo)致分辨率下降，最后對預(yù)測結(jié)果融合，修改網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 修改后的FPN網(wǎng)絡(luò)結(jié)構(gòu)

經(jīng)實(shí)驗(yàn)驗(yàn)證，本文通過改進(jìn)FPN網(wǎng)絡(luò)，保留了完整語義信息，優(yōu)化預(yù)測結(jié)果的融合，有效提高了檢測精度和目標(biāo)的檢出率。

2.2.2 RPN網(wǎng)絡(luò)的改進(jìn)

針對本文采用的遙感圖像訓(xùn)練數(shù)據(jù)集，RPN網(wǎng)絡(luò)的候選框尺寸并不適用，對同一尺度特征圖重復(fù)計(jì)算，產(chǎn)生冗余預(yù)測框，且預(yù)測框與真實(shí)框的位置信息及尺寸相差較大，導(dǎo)致模型收斂難度較大，故針對本文數(shù)據(jù)集，通過特征相似性，對候選框聚類分析，將長寬設(shè)定為64×64、128×128、256×256，減少計(jì)算量，提高目標(biāo)的檢測和分割效果，提高目標(biāo)框的檢出率，結(jié)構(gòu)如圖3所示。

圖3 修改后的RPN網(wǎng)絡(luò)結(jié)構(gòu)

經(jīng)實(shí)驗(yàn)驗(yàn)證，改進(jìn)RPN網(wǎng)絡(luò)對于目標(biāo)的位置信息更加準(zhǔn)確，可以提取到置信度更高的ROI區(qū)域，簡化了計(jì)算量，加快了模型的收斂。

2.2.3 掩膜mask的改進(jìn)

掩膜mask是一種用于圖像分割的操作，通過設(shè)置閾值對樣本進(jìn)行劃分，得到不同像素區(qū)域，再對這些像素區(qū)域做邏輯運(yùn)算，區(qū)域內(nèi)像素與預(yù)測框像素接近的設(shè)置為目標(biāo)像素，其它判斷為干擾像素，從而實(shí)現(xiàn)對目標(biāo)的突出或隱藏。

在本文遙感數(shù)據(jù)集中，遙感圖像本身顏色信息缺乏，目標(biāo)像素與背景像素差異不大，且目標(biāo)建筑物形狀不規(guī)則，導(dǎo)致掩膜mask對目標(biāo)輪廓無法精細(xì)區(qū)分，造成目標(biāo)缺失。故通過對原算法中14×14與28×28的mask掩膜調(diào)參，得到適合本文遙感建筑物數(shù)據(jù)集適用的參數(shù)：32×32與64×64像素，結(jié)構(gòu)如圖4所示。

圖4 修改后的mask像素值

經(jīng)實(shí)驗(yàn)驗(yàn)證，通過調(diào)節(jié)mask掩膜參數(shù)有利于提取更多細(xì)節(jié)信息，提高掩膜效果，有效優(yōu)化建筑物的分割效果。

3 實(shí) 驗(yàn)

本節(jié)表明實(shí)驗(yàn)數(shù)據(jù)集來源，對實(shí)驗(yàn)結(jié)果進(jìn)行評估，并通過大量樣例分析，與多種檢測算法橫向?qū)Ρ龋?yàn)證本文工作的優(yōu)越性。

3.1 數(shù)據(jù)集制作

本文使用的數(shù)據(jù)集來自SpaceNet數(shù)據(jù)集中的AOI_2_Vegas，在原數(shù)據(jù)集基礎(chǔ)上對圖像重新裁剪及篩選，使用標(biāo)注工具labelme進(jìn)行標(biāo)注，標(biāo)注類別為建筑物(building)，以此作為本文的數(shù)據(jù)集；labelme是一個圖形界面的圖像標(biāo)注工具，利用該標(biāo)注工具，手動完成各種形狀(矩形、圓形、不規(guī)則形狀等)標(biāo)注，得到標(biāo)注圖像及對應(yīng)文件，如圖5所示，對建筑物進(jìn)行標(biāo)注。

圖5 標(biāo)注目標(biāo)

3.2 實(shí)驗(yàn)平臺

本文開發(fā)平臺為臺式機(jī)，配置為Intel i9-9700H處理器，2070顯卡，16 GB內(nèi)存，開發(fā)環(huán)境為Python 3.6，Pytorch 1.3；本文對相關(guān)參數(shù)不斷調(diào)整，如學(xué)習(xí)率調(diào)整至0.0001，最后迭代次數(shù)為25 000～30 000次時，loss值趨于穩(wěn)定，如圖6所示。

圖6 訓(xùn)練過程

3.3 結(jié)果評估

3.3.1 樣例分析

本文基于Mask RCNN算法，針對不規(guī)則建筑物檢測難度大的問題進(jìn)行研究，通過改進(jìn)FPN網(wǎng)絡(luò)和RPN網(wǎng)絡(luò)，并調(diào)節(jié)mask掩膜參數(shù)，加強(qiáng)對不規(guī)則建筑物的檢測，有效解決該應(yīng)用場景中的問題。經(jīng)過本文改進(jìn)算法檢測，選取形狀不規(guī)則、背景復(fù)雜度高的建筑物檢測場景做樣例分析，檢測樣例如圖7所示。

圖7 本文方法檢測樣例

從檢測結(jié)果可以看出，對圖7樣例場景中不規(guī)則的建筑物做到了很好的檢測分割效果，在有道路、樹木等干擾信息的場景中也做到了精準(zhǔn)分割，尤其對于目標(biāo)建筑物的空隙分割效果良好。故本文對Mask RCNN算法進(jìn)行了有效改進(jìn)，通過修改FPN和RPN網(wǎng)絡(luò)結(jié)構(gòu)及優(yōu)化mask掩膜參數(shù)提高了對不規(guī)則建筑物的檢測分割能力。

3.3.2 評價(jià)指標(biāo)

本文采用平均檢測精度(mAP)、平均檢測時間(time)、回歸率(recall)作為檢測評價(jià)指標(biāo)。其中精度和召回率分別定義為

(1)

(2)

式(1)表示目標(biāo)的平均檢測準(zhǔn)確率，precision為樣本準(zhǔn)確率，N是樣本總數(shù)，是目標(biāo)檢測領(lǐng)域常見的評價(jià)指標(biāo)，直觀反映檢測效果；式(2)表示回歸率，其中相關(guān)變量表示檢測正確與誤檢的樣本數(shù)，評價(jià)算法收斂程度；并對算法的平均檢測時間time做對比分析，評估算法效率。

3.3.3 實(shí)驗(yàn)對照

本文選取遙感場景中常見的場景，如背景復(fù)雜度高的場景(a)和建筑物空隙分割效果差的場景(b)，并與相同場景下原Mask RCNN算法檢測結(jié)果做對比，如圖8所示。

圖8 對照檢測結(jié)果

對檢測結(jié)果做定性分析，在背景復(fù)雜度高的場景(a)中，對于相同目標(biāo)的檢測，本文改進(jìn)算法(article method)相比原Mask RCNN算法的檢測精度有較明顯提高；在建筑物之間的空隙分割效果差的場景(b)中，本文改進(jìn)算法(article method)對不規(guī)則目標(biāo)建筑物的檢測分割效果很好，對細(xì)節(jié)信息做到了很好的語義分割。

實(shí)驗(yàn)對照如下：本文改進(jìn)算法(article method)與原Mask RCNN算法、Yolo v3算法、以及Faster RCNN算法和最新的Yolo v4算法做效率分析，見表1。

表1 效率分析

由表1可知，首先在平均檢測精度(mAP)方面，本文改進(jìn)算法(article method)平均精度為99.80%，相比原Mask RCNN算法98.26%、Yolo v3算法86.47%、Yolo v4算法98.01%、Faster RCNN算法97.54%，本文提出的改進(jìn)算法表現(xiàn)良好；再對時間效率方面進(jìn)行分析，本文改進(jìn)算法(article method)為1.19 s，檢測速度較基于端到端的Yolo v3算法0.32 s和 Yolo v4算法0.28 s較慢，但優(yōu)于同樣基于區(qū)域檢測的原Mask RCNN算法1.48 s和Faster RCNN算法2.09 s；在召回率(recall)方面，本文改進(jìn)算法(article method)為97.88%，相比原Mask RCNN算法96.23%、Yolo v3算法84.69%、Yolo v4算法95.98%、Faster RCNN算法96.14%，本文改進(jìn)算法高于其它算法，依然表現(xiàn)良好。

本文通過對Mask RCNN算法改進(jìn)得到一種適合遙感不規(guī)則建筑物的網(wǎng)絡(luò)模型，有效改善了該類目標(biāo)的檢測分割效果，提高了檢測精度。因此，可認(rèn)為本文基于Mask RCNN的改進(jìn)算法(article method)優(yōu)于其它算法。

4 結(jié)束語

本文對Mask RCNN算法改進(jìn)FPN和RPN網(wǎng)絡(luò)結(jié)構(gòu)，并對掩膜mask參數(shù)優(yōu)化，提出適用于遙感領(lǐng)域建筑物的檢測算法。實(shí)驗(yàn)結(jié)果表明，本文提出的改進(jìn)Mask RCNN算法表現(xiàn)良好，不僅檢測精度高，計(jì)算量小，且加強(qiáng)了目標(biāo)的分割效果。但對于遙感影像中飛機(jī)等空中目標(biāo)仍無法做到精確分割，故下一步擬解決該類目標(biāo)的檢測分割問題。