鄧 燁，丁 濤

（1.安徽理工大學(xué)空間信息與測(cè)繪工程學(xué)院，安徽 淮南 232001；2.礦山采動(dòng)災(zāi)害空天地協(xié)同監(jiān)測(cè)與預(yù)警安徽省教育廳重點(diǎn)實(shí)驗(yàn)室，安徽 淮南 232001）

近年來(lái)，無(wú)人機(jī)技術(shù)發(fā)展勢(shì)頭迅猛，無(wú)人機(jī)影像在生活中的使用快速增加。無(wú)人機(jī)具有時(shí)效性高、便捷、成本低等優(yōu)點(diǎn)，利用其拍攝影像及采用影像進(jìn)行地物提取有著較大的優(yōu)勢(shì)。相較于衛(wèi)星遙感影像，無(wú)人機(jī)影像具有分辨率較高、受云層等遮擋影響小的優(yōu)點(diǎn)；相較于普通影像，無(wú)人機(jī)影像對(duì)地物細(xì)節(jié)描述更細(xì)致、含有更多的有用信息，傳統(tǒng)的影像分類方法很難有效且精確地從航拍影像中提取建筑物信息。數(shù)字城市的重要地理要素之一就是建筑物，是各類城市專題圖的重要內(nèi)容，建筑物的自動(dòng)獲取對(duì)于社會(huì)公眾、各行各業(yè)的應(yīng)用都具有重要的意義。建筑物要素的快速提取是我國(guó)基礎(chǔ)地理信息建設(shè)中一項(xiàng)十分重要的內(nèi)容。

隨著近年來(lái)信息技術(shù)的快速發(fā)展，計(jì)算機(jī)處理性能大幅提升，全卷積神經(jīng)網(wǎng)絡(luò)在影像語(yǔ)義分割及目標(biāo)識(shí)別領(lǐng)域取得了十分顯著的成果。Hosseiny等[1]提出了一種基于分段距離的色調(diào)、色飽和度、強(qiáng)度（HSI）異常檢測(cè)方法，該方法利用分割區(qū)域的統(tǒng)計(jì)特性來(lái)抑制誤報(bào)。鐘城等[2]提出了一種卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）與生成式對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）的組合模型。陸煜斌等[3]提出了一種基于殘差網(wǎng)絡(luò)的改進(jìn)流量分類算法，緩解了傳統(tǒng)卷積網(wǎng)絡(luò)因?qū)哟翁顚?dǎo)致難以訓(xùn)練的問(wèn)題。

目前，對(duì)于圖像分類，研究者們利用全卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)建立模型，已經(jīng)取得了較理想的成果。于洋等[4]提出了一種結(jié)合全卷積神經(jīng)網(wǎng)絡(luò)與數(shù)字地表模型（Digital Surface Model，DSM）數(shù)據(jù)的無(wú)人機(jī)影像建筑物自動(dòng)提取方法。劉文濤等[5]在全卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)中使用了特征復(fù)用和特征增強(qiáng)。朱巖彬等[6]提出以SegNet模型為基礎(chǔ)，結(jié)合U-Net模型的模型。傳統(tǒng)的建筑物提取方法沒(méi)有充分利用建筑物的紋理、形狀等特征，對(duì)建筑物與其背景之間的空間關(guān)系建模能力不足，對(duì)于復(fù)雜建筑物的提取容易出現(xiàn)遺漏和錯(cuò)誤的情況。因此，傳統(tǒng)建筑物以及地物分類算法并未取得巨大突破[7]。

1 無(wú)人機(jī)影像建筑物提取研究方法

1.1 全卷積神經(jīng)網(wǎng)絡(luò)

全 卷 積 網(wǎng) 絡(luò) （Fully Convolutional Networks，F(xiàn)CN）是2015年加利福尼亞大學(xué)伯克利分校（UC Berkeley）的Jonathan Long等在 《Fully Convolutional Networks for Semantic Segmentation》一文中提出的一種框架，用于圖像語(yǔ)義分割。經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)的接受域是一定的，導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)識(shí)別不同尺度對(duì)象的能力差，由于高分辨率影像中的建筑物都以不同尺度出現(xiàn)，因此運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)對(duì)尺度不同的建筑物進(jìn)行提取，結(jié)果會(huì)產(chǎn)生很大的差異。由于卷積網(wǎng)絡(luò)對(duì)建筑物邊界不敏感，會(huì)破壞影像中建筑物邊界的完整性，而全卷積神經(jīng)網(wǎng)絡(luò)可以做到輸入圖像和輸出圖像大小一致，保存了圖像的精度，因此人們逐漸用全卷積神經(jīng)網(wǎng)絡(luò)代替卷積網(wǎng)絡(luò)提取影像中的建筑物[8]。U-Net模型屬于全卷積網(wǎng)絡(luò)中一個(gè)熱門(mén)的網(wǎng)絡(luò)結(jié)構(gòu)，它在醫(yī)療圖像分割中取得了很大的進(jìn)步，具有結(jié)構(gòu)簡(jiǎn)單等優(yōu)點(diǎn)，許多的研究人員將其運(yùn)用在影像建筑物提取中[9]。

1.2 U-Net模型

U-Net模型是2015年提出的語(yǔ)義分割模式，用于提取圖像特征，最初用于醫(yī)學(xué)領(lǐng)域，因其網(wǎng)絡(luò)的形狀類似“U”而得名。由于醫(yī)療圖像數(shù)據(jù)較少，設(shè)計(jì)網(wǎng)絡(luò)模型不宜過(guò)大，因此U-Net模型適用于較少數(shù)據(jù)的圖像提取[10]。通過(guò)擴(kuò)展卷積，U-Net模型可以使輸入和輸出的圖像尺寸保持一致。U-Net模型包括編碼器和編碼程序共同構(gòu)成的網(wǎng)絡(luò)。U-Net的解碼器可以看作是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，它通過(guò)對(duì)圖像進(jìn)行卷積和采樣工作來(lái)獲取圖像的明顯特征。UNet解碼器是一個(gè)上采樣的過(guò)程，它使最終輸出圖像的大小與輸入圖像的大小保持一致。U-Net模型基本架構(gòu)見(jiàn)圖1。

圖1 U-Net模型基本架構(gòu)

由圖1可知，U-Net模型結(jié)構(gòu)共有5層。圖中的箭頭①表示開(kāi)始對(duì)卷積圖像進(jìn)行卷積的操作；箭頭②表示跳躍連接層；箭頭③表示對(duì)圖像進(jìn)行下采樣操作；箭頭④表示對(duì)圖像進(jìn)行上采樣操作。跳躍連接層連接圖像的深層特征和淺層特征（邊界、顏色、紋理等信息），能夠很好地保護(hù)圖像的特征。經(jīng)典U-Net模型架構(gòu)總共有5層，含有9層卷積層，每一層卷積都會(huì)對(duì)圖像進(jìn)行兩次卷積運(yùn)算，每一次卷積運(yùn)算使用大小為3×3的卷積核，其個(gè)數(shù)為64個(gè)。U-Net模型中分別使用4次下采樣和4次上采樣運(yùn)算。假設(shè)輸入U(xiǎn)-Net模型的圖像大小為572×572，原圖像經(jīng)過(guò)兩次卷積運(yùn)算后得到64個(gè)圖像，圖像大小為568×568；再對(duì)圖像進(jìn)行第一次下采樣操作，下采樣后得到64個(gè)圖像，大小為284×284。原圖像經(jīng)過(guò)5組卷積和4次上采樣后圖像大小變?yōu)?8×28，個(gè)數(shù)變?yōu)? 024個(gè)。先將第5組卷積后的圖像進(jìn)行第一次上采樣，上采樣后的圖像與第4次下采樣的圖像合并，再對(duì)合并的圖像通過(guò)3次卷積、上采樣、跳躍連接后使圖像輸出。在U-Net模型中，卷積和下采樣以及上采樣計(jì)算中激活函數(shù)為線性整流函數(shù)（Rectified Linear Unit，ReLU），它能使訓(xùn)練速度加快。U-Net模型最后利用1×1的卷積來(lái)輸出提取后的影像，激活函數(shù)使用Sigmoid或Softmax。

2 無(wú)人機(jī)影像建筑物提取實(shí)驗(yàn)與分析

采用美國(guó)德克薩斯州奧斯?。ˋustin）市無(wú)人機(jī)攝影測(cè)量的正射影像作為驗(yàn)證數(shù)據(jù)集，此數(shù)據(jù)集包含大量植被和建筑物，用于驗(yàn)證本文方法對(duì)建筑物區(qū)域數(shù)據(jù)集提取的效果。

2.1 數(shù)據(jù)來(lái)源

本文使用的開(kāi)源數(shù)據(jù)是法國(guó)國(guó)家信息與自動(dòng)化研究所 （Institut National de Recherche en Informatique et en Automatique，INRIA）公開(kāi)的圖像數(shù)據(jù)集。該圖像數(shù)據(jù)集覆蓋區(qū)域?yàn)?個(gè)城市，分別為奧斯?。ˋustin）、芝加哥（Chicago）、基薩普（Kitsap）、維也納（Vienna）、西蒂羅爾（West Tyrol），面積共計(jì)810 km2。5個(gè)城市的建筑物分布、風(fēng)格各不相同，奧斯汀的建筑物分布不規(guī)則且遮擋嚴(yán)重；芝加哥的建筑物分布交錯(cuò)縱橫間隙?。换_普的建筑物分布散亂；維也納有許多圓形建筑物；西蒂羅爾的建筑物比較集中化。5個(gè)城市的影像用于訓(xùn)練數(shù)據(jù)集。該圖像數(shù)據(jù)集包含360張影像，影像格式為T(mén)IFF，大小均為5 000×5 000，分辨率為0.3 m。圖像覆蓋各種城市影像，從人口密集的城市到人口稀少、植被茂密的高山城鎮(zhèn)。該數(shù)據(jù)集中了180張被人工標(biāo)注的圖像，另外180張圖像作為模型的線上測(cè)試集使用，本次實(shí)驗(yàn)使用標(biāo)記好的180張圖像作為數(shù)據(jù)集。

2.2 滑窗采樣

為了提高運(yùn)算速率和降低對(duì)配置的需求，一副超大影像在輸入模型之前一般要進(jìn)行裁剪操作，裁剪方式主要有兩種：滑窗采樣和隨機(jī)采樣。滑窗采樣是以固定的大小和步長(zhǎng)依次按照一定順序在影像中滑動(dòng)，對(duì)超大影像進(jìn)行裁剪；隨機(jī)采樣是指在影像中生成隨機(jī)點(diǎn)，以隨機(jī)點(diǎn)為中心以一定的角度裁剪出符合樣本大小的影像。考慮到本文數(shù)據(jù)集比較大，要充分使用所有數(shù)據(jù)，因此本實(shí)驗(yàn)采用滑窗采樣，滑動(dòng)步長(zhǎng)和滑動(dòng)窗口均設(shè)置為224像素。

2.3 數(shù)據(jù)增強(qiáng)

為了增加訓(xùn)練樣本的數(shù)據(jù)量，提高模型的泛化能力以及模型的穩(wěn)健性，一般要對(duì)樣本進(jìn)行數(shù)據(jù)增強(qiáng)。本次實(shí)驗(yàn)對(duì)數(shù)據(jù)進(jìn)行了下列操作。

1）旋轉(zhuǎn)操作。將一半的影像進(jìn)行90°的整數(shù)倍旋轉(zhuǎn)。

2）翻轉(zhuǎn)操作。將一半的影像進(jìn)行水平或者垂直翻轉(zhuǎn)。

3）歸一化。將影像中的灰度值進(jìn)行歸一化。歸一化的方式有兩種：一種是將影像上像素點(diǎn)的灰度值除以255，另一種是將灰度值除以127.5再減去1。本次實(shí)驗(yàn)使用第二種方法將影像中像素灰度值進(jìn)行歸一化。

2.4 劃分?jǐn)?shù)據(jù)集

使訓(xùn)練所獲得的模型符合平移和旋轉(zhuǎn)不變性，滑動(dòng)窗口將180張影像裁剪成108 000張大小為224×224的影像，并進(jìn)行數(shù)據(jù)增強(qiáng)處理，處理后的影像創(chuàng)建訓(xùn)練集與測(cè)試集，比例為8∶2。其中，訓(xùn)練集主要應(yīng)用于培訓(xùn)模型，測(cè)試集主要應(yīng)用于培訓(xùn)模型分辨能力，驗(yàn)證集主要應(yīng)用于網(wǎng)絡(luò)結(jié)構(gòu)，控制模型復(fù)雜度參數(shù)的確定。

2.5 實(shí)驗(yàn)設(shè)備和搭載環(huán)境

本實(shí)驗(yàn)在Window 10系統(tǒng)上完成，基于Tensorflow 2.1版本深度學(xué)習(xí)框架。Tensorflow是一個(gè)相對(duì)成熟且性能強(qiáng)大的深度學(xué)習(xí)庫(kù)，具有強(qiáng)大的可視化功能，是被運(yùn)用得最廣泛的靜態(tài)框架。

本實(shí)驗(yàn)使用GPU版本的Tensorflow，實(shí)驗(yàn)耗時(shí)40 h，計(jì)算機(jī)相關(guān)參數(shù)見(jiàn)表1。

表1 計(jì)算機(jī)配置參數(shù)

2.6 實(shí)驗(yàn)結(jié)果

使用U-Net模型深度遷移學(xué)習(xí)對(duì)無(wú)人機(jī)影像建筑物進(jìn)行提取，結(jié)果見(jiàn)圖2，可視化地對(duì)實(shí)驗(yàn)結(jié)果和標(biāo)簽圖像進(jìn)行分析。實(shí)驗(yàn)結(jié)果表明，本文所用方法確實(shí)可以較為有效準(zhǔn)確地提取出建筑物的信息，且不受建筑物分布密集程度和建筑物類型的約束。

圖2 部分實(shí)驗(yàn)識(shí)別結(jié)果

由圖2可知，本文所用方法可以有效地提取實(shí)驗(yàn)場(chǎng)景中建筑物的位置，而不受建筑物分布密度和類型的限制，矩形建筑物提取效果較好，邊緣清晰。同時(shí)，由于網(wǎng)絡(luò)結(jié)構(gòu)本身進(jìn)行下采樣和上采樣的操作過(guò)程，導(dǎo)致建筑物的提取結(jié)果中邊界會(huì)存在不完整或者模糊的現(xiàn)象。而且，建筑物周圍的樹(shù)木遮擋也會(huì)對(duì)其識(shí)別和提取造成一定的影響[11]。

2.7 評(píng)價(jià)指標(biāo)

本文所采用的評(píng)價(jià)指標(biāo)有：準(zhǔn)確（Accuracy）率RA、精確（Precision）率RP、召回（Recall）率RR，對(duì)于本次實(shí)驗(yàn)，本文給出一些評(píng)價(jià)指標(biāo)的定義[12]。

真陽(yáng)性（True Positives，TP）ITP：對(duì)于標(biāo)簽中的建筑物，模型能預(yù)測(cè)為建筑物的數(shù)量。

真陰性（True Negatives，TN）ITN：對(duì)于標(biāo)簽中的非建筑物，模型能預(yù)測(cè)為非建筑物的數(shù)量。

假陽(yáng)性（False Positives，F(xiàn)P）IFP：對(duì)于標(biāo)簽中的非建筑物，模型能預(yù)測(cè)為建筑物的數(shù)量。

假陰性（False Negatives，F(xiàn)N）IFN：對(duì)于標(biāo)簽中的建筑物，模型能預(yù)測(cè)為非建筑物的數(shù)量。

準(zhǔn)確率RA是指在單標(biāo)簽分類任務(wù)中，每個(gè)樣品只有一種確定類別，預(yù)測(cè)這個(gè)類別就是正確分類，沒(méi)有預(yù)測(cè)這個(gè)類別就是錯(cuò)誤分類，表達(dá)式為

精確率RP是指真實(shí)存在的“真正”的樣本，確定是“真的”所占比重，表達(dá)式為

召回率RR是指在所有實(shí)際確實(shí)為真樣本的情況下，樣本被判為“真的”所占比重，表達(dá)式為

為了更好地評(píng)價(jià)提取結(jié)果，采用以上評(píng)價(jià)指標(biāo)進(jìn)行分析。評(píng)價(jià)結(jié)果見(jiàn)表2。

表2 建筑物提取結(jié)果評(píng)價(jià) （%）

3 結(jié)束語(yǔ)

本文利用語(yǔ)義分割U-Net模型完成對(duì)正射影像中建筑物的提取，針對(duì)目標(biāo)區(qū)域數(shù)據(jù)太少等問(wèn)題，使用深度遷移學(xué)習(xí)的方法在開(kāi)源數(shù)據(jù)集訓(xùn)練U-Net模型，通過(guò)遷移學(xué)習(xí)對(duì)無(wú)人機(jī)正射影像中的建筑物進(jìn)行提取。實(shí)驗(yàn)結(jié)果顯示，該模型可以盡量恢復(fù)不同地物，特別是建筑物邊界等細(xì)節(jié)，能較精確地提取建筑物信息。然而，在建筑和植物紋理類似的情況下，仍然存在著錯(cuò)誤提取的情況。同時(shí)，全卷積神經(jīng)網(wǎng)絡(luò)存在下采樣操作導(dǎo)致提取邊界模糊的問(wèn)題，下一階段將提高模型精度，以改善提取結(jié)果。