雷榮智，楊維芳，蘇小寧

（1.蘭州交通大學(xué) 測(cè)繪與地理信息學(xué)院，甘肅 蘭州 730070；2.甘肅省地理國(guó)情監(jiān)測(cè)工程實(shí)驗(yàn)室，甘肅蘭州 730070；3.地理國(guó)情監(jiān)測(cè)技術(shù)應(yīng)用國(guó)家地方聯(lián)合工程研究中心，甘肅蘭州 730070）

近年來(lái)，隨著“建設(shè)社會(huì)主義新農(nóng)村”和“鄉(xiāng)村振興”等惠農(nóng)惠民政策的實(shí)施[1]，農(nóng)村土地利用和規(guī)劃工作也在緊鑼密鼓地進(jìn)行中，地物識(shí)別和分類(lèi)在土地利用和規(guī)劃中起著至關(guān)重要的作用，是觀察農(nóng)村土地變化和經(jīng)濟(jì)發(fā)展的重要手段[2]。

基于此，文中提出一種基于改進(jìn)YOLO-v3 的無(wú)人機(jī)遙感圖像建筑物和農(nóng)田目標(biāo)檢測(cè)算法，該算法引入SPP（Spatial Pyramid Pooling）層和PAN 結(jié)構(gòu)對(duì)YOLO-v3 網(wǎng)絡(luò)進(jìn)行改進(jìn)。添加SPP 層，使得網(wǎng)絡(luò)能夠在多種尺度學(xué)習(xí)圖像的特征，同時(shí)在YOLO-v3 原生FPN（Feature Pyramid Networks）基礎(chǔ)上添加PAN結(jié)構(gòu)，增加語(yǔ)義特征，提高識(shí)別精度。實(shí)驗(yàn)結(jié)果表明，與原生的YOLO-v3 算法相比，改進(jìn)后的YOLO-v3 網(wǎng)絡(luò)對(duì)建筑物和農(nóng)田的識(shí)別更快速、更準(zhǔn)確，具有一定的優(yōu)勢(shì)。

1 算法原理

1.1 算法簡(jiǎn)介

YOLO 算法是使用深度神經(jīng)網(wǎng)絡(luò)對(duì)對(duì)象的位置進(jìn)行檢測(cè)和分類(lèi)的算法，其優(yōu)點(diǎn)有檢測(cè)速度足夠快，而且相較其他算法，準(zhǔn)確率也較高[3]。YOLO 算法的工作模式是對(duì)目標(biāo)對(duì)象的邊界框直接預(yù)測(cè)，將目標(biāo)區(qū)域預(yù)測(cè)和目標(biāo)類(lèi)別預(yù)測(cè)兩個(gè)步驟合二為一[4]。

在以往的檢測(cè)算法中，檢測(cè)模型的核心原理都是使用分類(lèi)器對(duì)目標(biāo)圖像的不同切片進(jìn)行評(píng)判。YOLO 算法則將對(duì)象檢測(cè)定義為一個(gè)回歸問(wèn)題，直接將原始圖像分割成不重合的網(wǎng)格[5]，然后對(duì)于每個(gè)網(wǎng)格，網(wǎng)絡(luò)預(yù)測(cè)邊界框及其與每個(gè)類(lèi)別相對(duì)應(yīng)的概率，最后對(duì)于每個(gè)類(lèi)的對(duì)象，應(yīng)用非最大抑制（Non Max Suppression）方法過(guò)濾出置信度小于閾值的邊界框?；谏鲜龇治觯梢哉J(rèn)為特征圖的每個(gè)元素也是對(duì)應(yīng)原始圖像的一個(gè)小方塊，利用每個(gè)元素可以預(yù)測(cè)中心點(diǎn)在該小方格內(nèi)的目標(biāo)[6]，這就是YOLO算法的樸素思想。YOLO-v3 算法作為YOLO 算法中經(jīng)典的一代，在以往的結(jié)構(gòu)上做出了改進(jìn)，增加了多尺度檢測(cè)和更深的網(wǎng)絡(luò)結(jié)構(gòu)Darknet53，上述的改進(jìn)是YOLO 算法最主要的改進(jìn)，其他的變動(dòng)都是對(duì)網(wǎng)絡(luò)的細(xì)節(jié)進(jìn)行微調(diào)。

1.2 算法原理

YOLO 的主要思想是利用單獨(dú)的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,CNN）進(jìn)行預(yù)測(cè)，YOLO 網(wǎng)絡(luò)的工作原理是使輸入的圖像經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)的重重變換后變?yōu)橐粋€(gè)輸出的張量[7]。

下面以最初的YOLO-v1 算法為例介紹YOLO 系列算法。YOLO-v1 算法的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)源于卷積神經(jīng)網(wǎng)絡(luò)，其主體結(jié)構(gòu)由24 個(gè)卷積層和兩個(gè)全連接層構(gòu)成，卷積層負(fù)責(zé)提取圖像特征，全連接層負(fù)責(zé)每個(gè)類(lèi)別位置的檢測(cè)[8]，提供概率信息，最后輸出層使用線性函數(shù)作為激活函數(shù)，其他層的激活函數(shù)都是Leaky ReLU。

YOLO 算法的優(yōu)點(diǎn)在于速度非?？?，將目標(biāo)檢測(cè)的流程進(jìn)行簡(jiǎn)化，化為回歸問(wèn)題。測(cè)試時(shí)將新的圖像輸入至神經(jīng)網(wǎng)絡(luò)中進(jìn)行預(yù)測(cè)。其次，YOLO 在進(jìn)行預(yù)測(cè)時(shí)，會(huì)對(duì)圖像進(jìn)行全面推理[9]。在目標(biāo)檢測(cè)的背景誤檢方面，YOLO 的誤檢數(shù)量比Faster R-CNN 少了一半。由于YOLO 具有高度泛化能力，因此在應(yīng)用于新領(lǐng)域或碰到意外輸入時(shí)，不易出現(xiàn)故障[10]。文中使用目前較成熟的YOLO-v3 算法作為基礎(chǔ)網(wǎng)絡(luò)，YOLO-v3 由三個(gè)主體結(jié)構(gòu)組成，主要包括輸入層、基礎(chǔ)網(wǎng)絡(luò)和三個(gè)網(wǎng)絡(luò)分支，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 YOLO-v3網(wǎng)絡(luò)結(jié)構(gòu)

2 實(shí)驗(yàn)和分析

2.1 研究區(qū)與數(shù)據(jù)集

以江西省豐城市某村的無(wú)人機(jī)遙感圖像為數(shù)據(jù)源，該圖像采用多旋翼無(wú)人機(jī)低空傾斜攝影實(shí)時(shí)航拍得到。無(wú)人機(jī)搭載索尼IL CE-6000 數(shù)碼相機(jī)進(jìn)行圖像獲取，空間分辨率可達(dá)0.02 m，傳感器尺寸為23.5 mm，鏡頭焦距為35.3 mm、25 mm，獲取時(shí)間為2019 年3 月。對(duì)獲取的圖像進(jìn)行圖像畸變校正，篩選校正過(guò)的圖像，然后對(duì)所篩選的圖像進(jìn)行裁剪和壓縮，最后對(duì)圖像進(jìn)行增光處理，共獲得740 幅圖像。隨機(jī)抽取540 幅圖像作為訓(xùn)練樣本，200 幅作為測(cè)試樣本，訓(xùn)練樣本與測(cè)試樣本不重復(fù)。將540 幅訓(xùn)練樣本圖像在labelImg 進(jìn)行數(shù)據(jù)集的制作，數(shù)據(jù)集命名為Air，數(shù)據(jù)集制作過(guò)程如圖2 所示。

圖2 Air1數(shù)據(jù)集制作過(guò)程

文中所采用的無(wú)人機(jī)遙感圖像的空間分辨率較高，不但可以使地物信息更加豐富，還可以使地物信息的幾何結(jié)構(gòu)和紋理信息顯示更加清晰。研究區(qū)內(nèi)的農(nóng)田多為水稻田，呈不規(guī)則形狀分布，建筑物是二層或三層獨(dú)棟建筑，在無(wú)人機(jī)遙感圖像中紋理清晰，兩者在顏色和形狀上有明顯差別。

2.2 環(huán)境配置

實(shí)驗(yàn)環(huán)境基于Linux Ubuntu 18.04 操作系統(tǒng)，采用Pytorch-1.7 框架，以CPU intel i7-10700K 和GPU RTX3090處理器作為硬件支持，運(yùn)行環(huán)境是Anaconda Python。

2.3 網(wǎng)絡(luò)改進(jìn)

為了提高模型的檢測(cè)和識(shí)別能力，文中在YOLO-v3模型中引入SPP結(jié)構(gòu)和PAN 結(jié)構(gòu)對(duì)YOLO-v3 模型進(jìn)行改進(jìn)，融入SPP 結(jié)構(gòu)使模型可以接收任意尺寸的圖像數(shù)據(jù)，從多種尺度上對(duì)圖像特征進(jìn)行池化，解決了輸入圖像數(shù)據(jù)尺寸需固定的難題，提高了模型對(duì)多尺寸目標(biāo)的適應(yīng)能力；同時(shí)，利用PAN 結(jié)構(gòu)增強(qiáng)了語(yǔ)義特征信息，形成“FPN+PAN”模塊，傳遞定位信息，提高模型的識(shí)別精度。

2.3.1 SPP

CNN 的結(jié)構(gòu)由卷積層、池化層、全連接層、激活層等部分組成，其中卷積層對(duì)于輸入數(shù)據(jù)的大小并沒(méi)有要求，唯一對(duì)數(shù)據(jù)大小有要求的是全連接層。在以往的卷積神經(jīng)網(wǎng)絡(luò)中，往往要求數(shù)據(jù)的大小是固定的，比如著名的VGG-16 要求輸入數(shù)據(jù)大小為224×224。

數(shù)據(jù)以固定的大小輸入時(shí)，往往存在諸多問(wèn)題。首先，在所制作的Air1 數(shù)據(jù)集中，所得到的圖像數(shù)據(jù)的尺寸并不是固定的。在實(shí)地踏勘研究區(qū)域發(fā)現(xiàn)，房屋和田地面積大小不一，呈不規(guī)則分布。因此，在無(wú)人機(jī)圖像中的房屋和田地中，圖像高寬比并不是固定的，所得到的數(shù)據(jù)集也存在數(shù)據(jù)大小不同的情況，如圖3 所示，對(duì)房屋和田地框出的地物類(lèi)別高寬比不同；其次，由于數(shù)據(jù)大小不一，如果不能滿足模型的輸入需求，圖像將不會(huì)在模型中進(jìn)行運(yùn)算。為了滿足模型的輸入需求，必須對(duì)圖像進(jìn)行裁剪或變形拉伸，改變特征的尺寸，從而使圖像產(chǎn)生失真，這不但不利于模型的識(shí)別，直接降低模型的檢測(cè)精度，而且模型的運(yùn)行效率也大打折扣。

圖3 Air1數(shù)據(jù)集中的田地與房屋

文中在網(wǎng)絡(luò)結(jié)構(gòu)中引入SPP 結(jié)構(gòu)，解決了CNN輸入圖像大小必須固定的問(wèn)題，使得輸入圖像的高寬比和大小可以為任意值，同時(shí)SPP 從多種尺度上對(duì)圖像特征進(jìn)行池化，解決了CNN 對(duì)圖像特征重復(fù)提取的問(wèn)題，提高了選框的速度，在一定程度上提高了模型對(duì)多尺寸目標(biāo)的適應(yīng)能力，節(jié)省了計(jì)算成本，提高了模型的運(yùn)行效率。

圖4 所示為SPP 結(jié)構(gòu)示意圖。SPP 結(jié)構(gòu)被添加在卷積神經(jīng)網(wǎng)絡(luò)的卷積層和全連接層之間，最上面為卷積層，最下面為全連接層，通過(guò)SPP 結(jié)構(gòu)接收不同尺寸的數(shù)據(jù)圖像。

圖4 SPP結(jié)構(gòu)示意圖

除此之外，對(duì)于池化層來(lái)說(shuō)，池化核和步長(zhǎng)的大小對(duì)網(wǎng)絡(luò)性能是有影響的，且不同的任務(wù)通常也需要不同參數(shù)的池化。在網(wǎng)絡(luò)中，SPP 結(jié)構(gòu)可以融合多種池化參數(shù)，通過(guò)這種方式，可以提高網(wǎng)絡(luò)的適應(yīng)能力，因此可以在一定程度上提高模型的性能。

該實(shí)驗(yàn)中，在YOLO-v3 的Res4 結(jié)構(gòu)之后添加SPP 結(jié)構(gòu)，使得網(wǎng)絡(luò)能夠在多種尺度學(xué)習(xí)圖像的特征，適應(yīng)了Air 數(shù)據(jù)集中所呈現(xiàn)出的不同圖像尺寸。

2.3.2 PAN結(jié)構(gòu)

為了提高模型的性能和特征識(shí)別能力，在原始的YOLO-v3 網(wǎng)絡(luò)的FPN 層之后添加一個(gè)向上的金字塔結(jié)構(gòu)，將低層的強(qiáng)定位信息傳遞上去。在YOLO-v3 原生FPN 的基礎(chǔ)上添加PAN 結(jié)構(gòu)形成雙塔結(jié)構(gòu)，如圖5 所示。

圖5 PAN結(jié)構(gòu)示意圖

FPN 作為通用的特征提取器，在目標(biāo)檢測(cè)和分類(lèi)任務(wù)上給模型帶來(lái)顯著的性能提升。其主要原理是通過(guò)上采樣和對(duì)低層特征做融合得到預(yù)測(cè)的特征圖，采取自頂向底的模式，將高層的強(qiáng)語(yǔ)義特征傳遞下來(lái)，將高級(jí)特征與低級(jí)特征進(jìn)行融合，增加了語(yǔ)義特征，但是對(duì)定位信息沒(méi)有傳遞，而定位信息對(duì)于特征識(shí)別也具有一定的影響。

2.3.3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證所提出的改進(jìn)YOLO-v3 算法的有效性，將其與YOLO-v3算法進(jìn)行對(duì)比，改進(jìn)的YOLO-v3算法運(yùn)行實(shí)驗(yàn)結(jié)果可視化如圖6 所示。

文中采用的評(píng)價(jià)指標(biāo)為AP、Recall 和Precision。AP 表示平均精度，使用積分的方式計(jì)算Precision-Recall 曲線與坐標(biāo)軸圍成圖形的面積，AP 值越大，說(shuō)明分類(lèi)模型的檢測(cè)精度越高。mAP（mean Average Precision）為所有AP 值的平均值。

Recall 表示召回率，主要針對(duì)的是某一類(lèi)樣本的預(yù)測(cè)信息，表示原始樣本中預(yù)測(cè)正確的樣本正確率[11]。計(jì)算公式如下：

式中，TP 是實(shí)際為正樣本預(yù)測(cè)為正樣本的數(shù)量，F(xiàn)N 是實(shí)際為正樣本預(yù)測(cè)為負(fù)樣本的數(shù)量。Recall越高，說(shuō)明模型對(duì)正樣本的識(shí)別能力越強(qiáng)[12]。

Precision 表示準(zhǔn)確率，主要針對(duì)的是預(yù)測(cè)結(jié)果，表示原始樣本中預(yù)測(cè)為正確樣本中真正正樣本的比率，計(jì)算公式如下：

式中，F(xiàn)P 是實(shí)際為負(fù)樣本預(yù)測(cè)為正樣本的數(shù)量。Precision 越高，說(shuō)明模型對(duì)負(fù)樣本的區(qū)分能力越強(qiáng)[13]。

F1-score 是Recall 和Precision的綜合，F(xiàn)1-score越高，說(shuō)明分類(lèi)模型越穩(wěn)健[14]，其計(jì)算公式如下：

為了驗(yàn)證文中算法的有效性，將Air 數(shù)據(jù)集分別在YOLO-v3 模型和改進(jìn)的YOLO-v3 模型中進(jìn)行對(duì)比實(shí)驗(yàn)，其中YOLO-v3 是未進(jìn)行改進(jìn)的模型，骨干網(wǎng)絡(luò)采用Darknet-53[15]。在改進(jìn)的YOLO-v3 模型中添加SPP 層和PAN 結(jié)構(gòu)，目的是提高目標(biāo)檢測(cè)的精度和提高檢測(cè)速度。

Air 數(shù)據(jù)集在YOLO-v3 模型的各種評(píng)價(jià)指標(biāo)效果如圖7 所示，左邊部分是農(nóng)田在YOLO-v3 的測(cè)試效果，在圖中以ground 命名，右邊部分是房屋在YOLO-v3 的測(cè)試效果，在圖中以house 命名。該實(shí)驗(yàn)取閾值為0.5，閾值的取值范圍在[0,1]之間，該值的設(shè)定沒(méi)有絕對(duì)的標(biāo)準(zhǔn)，需要根據(jù)數(shù)據(jù)集和模型的實(shí)際情況進(jìn)行調(diào)整。實(shí)驗(yàn)中經(jīng)過(guò)調(diào)整發(fā)現(xiàn)，當(dāng)閾值取0.5 時(shí)，模型的運(yùn)行效果最佳，每個(gè)指標(biāo)都趨于平衡，不會(huì)出現(xiàn)非常優(yōu)秀或者非常差的情形。因此，選擇該實(shí)驗(yàn)的閾值為0.5。模型在運(yùn)行中，使用0.5 閾值區(qū)分正負(fù)樣本，小于0.5 為負(fù)樣本，反之為正樣本。從圖7 可以看出，Air 數(shù)據(jù)集中的房屋在YOLO-v3 模型的識(shí)別效果較為突出，農(nóng)田的分類(lèi)效果較好。

圖7 YOLO-v3在Air數(shù)據(jù)集上的AP、Recall、Precision

Air 數(shù)據(jù)集在改進(jìn)YOLO-v3 模型的各種評(píng)價(jià)指標(biāo)效果如圖8 所示，左邊部分是農(nóng)田在YOLO-v3改進(jìn)版的測(cè)試效果，右邊部分是房屋在改進(jìn)的YOLO-v3 的測(cè)試效果，同樣以ground 和house 進(jìn)行命名，閾值同樣選取0.5。從圖8 可以看出，改進(jìn)的YOLO-v3 模型對(duì)房屋的識(shí)別效果比對(duì)農(nóng)田的識(shí)別效果好。

由圖7 和圖8 可知，從AP、Recall 和Precision 三個(gè)指標(biāo)來(lái)看，在農(nóng)田的識(shí)別方面，改進(jìn)的YOLO-v3模型的預(yù)測(cè)效果略高于YOLO-v3 模型，其中AP 值和Recall略微提升，在平均精度方面稍遜色于YOLO-v3模型。而在房屋的識(shí)別方面，改進(jìn)的YOLO-v3 模型的預(yù)測(cè)效果有顯著提升，AP 值提升3.85%，說(shuō)明模型對(duì)房屋的識(shí)別效果更高。在房屋類(lèi)別的識(shí)別準(zhǔn)確率方面也得到了提升，在召回率方面，改進(jìn)的YOLOv3 模型對(duì)房屋的識(shí)別效果是最優(yōu)秀的。

圖8 YOLO-v3改進(jìn)版在Air數(shù)據(jù)集上的AP、Recall、Precision

在圖9 和表1 對(duì)農(nóng)田和房屋兩個(gè)類(lèi)別的AP 值和mAP 進(jìn)行了再次說(shuō)明和計(jì)算。根據(jù)計(jì)算，YOLO-v3模型對(duì)于農(nóng)田和房屋兩個(gè)類(lèi)別的mAP 值為0.706 7，改進(jìn)的YOLO-v3 模型的mAP 值為0.726 0，相比較，后者的檢測(cè)分類(lèi)效果優(yōu)于前者。在農(nóng)田的檢測(cè)分類(lèi)方面，兩個(gè)模型的AP 值相差非常小，而在房屋的檢測(cè)分類(lèi)方面，改進(jìn)的YOLO-v3 模型的AP 值高于YOLO-v3 模型。mAP 值是對(duì)兩個(gè)類(lèi)別AP 值進(jìn)行平均得到的評(píng)測(cè)值，通過(guò)對(duì)比發(fā)現(xiàn)，改進(jìn)的模型mAP值更高，比YOLO-v3 模型高0.02，說(shuō)明經(jīng)過(guò)添加SPP層和PAN 結(jié)構(gòu)，模型能夠在多種尺度上學(xué)習(xí)圖像的特征，并且融合了低級(jí)特征和高級(jí)特征的信息。同時(shí)，從精度和召回率兩個(gè)指標(biāo)來(lái)看，改進(jìn)的YOLO-v3模型在房屋的識(shí)別上優(yōu)于YOLO-v3模型?？偟膩?lái)說(shuō)，在房屋和農(nóng)田兩種地物的識(shí)別上，改進(jìn)的YOLO-v3模型均優(yōu)于YOLO-v3 模型。

表1 兩個(gè)模型的訓(xùn)練結(jié)果比較

圖9 YOLO-v3和改進(jìn)的YOLO-v3模型的AP和mAP

3 結(jié)論

文中針對(duì)模型精度高、性能更優(yōu)和檢測(cè)速度快等需求，提出基于改進(jìn)的YOLO-v3 模型，針對(duì)實(shí)際需求和數(shù)據(jù)集的需要做出改進(jìn)，即添加SPP 層和PAN 結(jié)構(gòu)，通過(guò)SPP 層解決數(shù)據(jù)集存在的輸入圖像尺寸必須固定的問(wèn)題，從多種尺度上對(duì)圖像特征進(jìn)行池化，提高了模型對(duì)多尺寸目標(biāo)的適應(yīng)能力；PAN結(jié)構(gòu)可以自底向上傳遞強(qiáng)定位特征，結(jié)合FPN 層自頂向下傳遞強(qiáng)語(yǔ)義特征，形成“雙塔結(jié)構(gòu)”，從主干層對(duì)檢測(cè)層進(jìn)行參數(shù)聚合，通過(guò)PAN 結(jié)構(gòu)增強(qiáng)多個(gè)尺度的定位能力，提升模型的分類(lèi)效果。改進(jìn)的YOLO-v3 模型的提出，針對(duì)Air 數(shù)據(jù)集的農(nóng)田和房屋，基本滿足了兩種地物分類(lèi)檢測(cè)的準(zhǔn)確性和實(shí)時(shí)性需求，對(duì)農(nóng)村地物分類(lèi)和新農(nóng)村的建設(shè)起到重要的作用。在之后的工作中，將針對(duì)主干網(wǎng)絡(luò)進(jìn)一步升級(jí)和優(yōu)化，旨在于提高檢測(cè)精度、速度和模型泛化能力。