趙文清，孔子旭，趙振兵

（1. 華北電力大學(xué) 控制與計(jì)算機(jī)工程學(xué)院，河北 保定 071003; 2. 華北電力大學(xué) 電氣與電子工程學(xué)院，河北 保定071003; 3. 復(fù)雜能源系統(tǒng)智能計(jì)算教育部工程研究中心，河北 保定 071003）

目標(biāo)檢測的目的是使計(jì)算機(jī)像人類一樣，從圖像中獲取所需要的信息。這對于人眼來說一件很簡單的事情，通過觀察目標(biāo)的顏色、形狀等特點(diǎn)就能輕易地判定目標(biāo)的類別及位置；但計(jì)算機(jī)“看到的”卻是一個個的像素值，很難從這些像素值中抽象出目標(biāo)的特征并確定目標(biāo)的位置[1]。目標(biāo)檢測技術(shù)在日常生活中廣泛應(yīng)用，例如安裝攝像頭檢測可疑人物攜帶的諸如作案工具等小目標(biāo)，分析異常行為，從而做到對危險的預(yù)判；在智能自動駕駛中，檢測前方目標(biāo)并進(jìn)行識別，系統(tǒng)作出判斷并采取相應(yīng)措施；在交通視頻監(jiān)控中，車牌、車標(biāo)等小目標(biāo)需要準(zhǔn)確檢測；航拍圖片因?yàn)榕臄z距離比較遠(yuǎn)而造成目標(biāo)像素過低等等，這些問題都需要采用目標(biāo)檢測技術(shù)，因此，對小目標(biāo)進(jìn)行準(zhǔn)確快速的檢測尤為必要。小目標(biāo)主要分為絕對小目標(biāo)(像素低)和相對小目標(biāo)(相對于原圖的長寬比例小)，圖像大小為原圖像的0.1倍或圖像像素低于32×32，即可認(rèn)定為小目標(biāo)[2]。

目前主流的目標(biāo)檢測算法主要分為兩大類。第1類是雙階段檢測方法，代表性算法有Faster R-CNN（towards real-time object detection with region proposal networks）[3]、SPP-Net（spatial pyramid pooling in deep convolutional networks for visual recognition）[4]、Mask R-CNN[5]等。雙階段檢測算法首先針對輸入圖像選擇候選區(qū)域，然后用卷積對產(chǎn)生的候選區(qū)域提取特征，最后對候選區(qū)域進(jìn)行分類和位置回歸。雙階段檢測算法由于檢測框與小目標(biāo)的不匹配等問題，在進(jìn)行特征提取的過程中會造成邊緣信息丟失，導(dǎo)致檢測率低下[6]。第2類是單階段檢測方法，代表性的算法有SSD（single shot multiBox detector）[7]、YOLO（you only look once）[8]、Retina-Net[9]等。單階段算法相較于雙階段算法不需要計(jì)算候選框區(qū)域，直接對輸入圖片進(jìn)行回歸，檢測目標(biāo)的類別概率和位置坐標(biāo)[10]。

由于特征圖語義信息弱，導(dǎo)致小目標(biāo)檢測效果差。2017年Lin等[11]提出了 FPN(feature pyramid networks for object detection)網(wǎng)絡(luò)。該算法有2條分支，第1條分支采用自上而下網(wǎng)絡(luò)，第2條分支采用自下而上網(wǎng)絡(luò)。通過旁路連接將2個特征圖像融合，從而實(shí)現(xiàn)多尺度目標(biāo)檢測[12]。本文借鑒FPN算法的核心思想，在其基礎(chǔ)上進(jìn)行改進(jìn)并運(yùn)用到CornerNet(detecting objects as paired keypoints)算法中，用來對小目標(biāo)進(jìn)行檢測。

1 CornerNet算法

1.1 基于沙漏網(wǎng)絡(luò)的CornerNet網(wǎng)絡(luò)模型

CornerNet[13]模型采用沙漏網(wǎng)絡(luò)（stacked hourglass networks for human pose estimation）[14]作為基礎(chǔ)模型，如圖1所示。首先經(jīng)過一系列降采樣，將圖像分辨率降低4倍(文獻(xiàn)[13]中輸入圖像大小為511×511，輸出圖像大小為128×128)，然后經(jīng)過特征提取網(wǎng)絡(luò)提取特征。該網(wǎng)絡(luò)通過串聯(lián)2個沙漏網(wǎng)絡(luò)模塊組成，沙漏網(wǎng)絡(luò)模塊中間用一個中繼監(jiān)督進(jìn)行連接。每個沙漏網(wǎng)絡(luò)模塊都是先通過一系列步長為2的降采樣操作縮小輸入的大小，獲得一些分辨率較低的特征，從而使計(jì)算復(fù)雜度降低，然后通過上采樣恢復(fù)到輸入圖像大小，提高圖像的分辨率，更好地預(yù)測物體的準(zhǔn)確位置。整個沙漏網(wǎng)絡(luò)的深度是104層，最后將該特征圖作為2個預(yù)測模塊的輸入，預(yù)測的關(guān)鍵點(diǎn)為左上角和右下角，因此是2個模塊輸入。在每個模塊里面，首先經(jīng)過角池化，然后輸出3個分支：熱圖、嵌入矢量和偏移。

圖1 CornerNet檢測模型Fig. 1 CornerNet detection model

1.1.1 預(yù)測模塊詳細(xì)結(jié)構(gòu)

圖2為左上角點(diǎn)的處理過程。圖2中虛線框分為2路，2路處理過程一致，最后再用ReLu激活函數(shù)處理。2路特征圖經(jīng)處理后進(jìn)行融合，然后用 3×3的卷積核和批量歸一處理融合后的特征圖，最后將處理后的特征圖與骨干網(wǎng)絡(luò)輸出，并經(jīng)1 ×1卷積和批量歸一化處理后的特征圖進(jìn)行融合，融合后的特征圖進(jìn)行ReLu激活函數(shù)處理，經(jīng)處理后的特征圖再次進(jìn)行 3×3的卷積、批量歸一化、ReLu激活函數(shù)處理，最后3個輸出分別為熱圖、嵌入矢量和偏移、右下角點(diǎn)與左上角點(diǎn)處理過程一致。

圖2 角點(diǎn)檢測模塊Fig. 2 Corner detection module

1.1.2 角池化

角池化通過編碼來更好地定位角點(diǎn)。角池化層首先最大池化ft中在(i,j)與(i,H)之間所有的特征向量，使之成為特征向量tij，然后最大池化fl中在(i,j)與(W,j)之間所有的特征向量，使之成為lij。最后 把tij和lij加在 一起：

1.1.3 熱圖

熱圖：預(yù)測角點(diǎn)位置，特征圖的每個通道的值表示所定位點(diǎn)為角點(diǎn)的分?jǐn)?shù)：

式(2)是針對角點(diǎn)預(yù)測的損失函數(shù)，整體上是改良版的Focal Loss(focal loss for dense object detection)。式中：pcij表示預(yù)測的熱圖在C類的(i,j)位置的值；ycij表示位置(i,j)的ground-truth；N為圖中待檢測目標(biāo)的數(shù)量。

1.1.4 偏移

偏移：輸出從輸入映射到特征圖的誤差信息。

在神經(jīng)網(wǎng)絡(luò)中存在著下采樣層，因此從原始的圖像輸入到最后的偏移的過程會產(chǎn)生累計(jì)誤差，因此引入偏移修正進(jìn)行修正：

由于輸入圖像到不同尺寸的特征圖之間會有尺寸縮小，因此在設(shè)計(jì)特征圖時P1～P6之間都是2的倍數(shù)。假設(shè)縮小倍數(shù)是n，那么輸入圖像上的(x,y)點(diǎn)對應(yīng)到特征圖上為

式(4)中的符號是向下取整，取整會帶來精度丟失問題，所以通過式(3)計(jì)算偏移，然后通過式(5)的SmoothL1損失函數(shù)監(jiān)督學(xué)習(xí)該參數(shù)：

1.1.5 嵌入矢量

嵌入矢量：將角點(diǎn)配對，如果一個左上角點(diǎn)和一個右下角點(diǎn)屬于一個目標(biāo)，那么它們的嵌入矢量距離較小。

嵌入矢量的訓(xùn)練是由2個損失函數(shù)實(shí)現(xiàn)的。etk表示第k個目標(biāo)的左上角角點(diǎn)的嵌入矢量，ek表示第k個目標(biāo)的右下角角點(diǎn)的嵌入矢量，ek表示etk和ek的平均值。式(6)用來縮小屬于同一個目標(biāo)(第k個目標(biāo))2個角點(diǎn)的嵌入矢量(etk,ek)距離。式(7)用來擴(kuò)大不屬于同一個目標(biāo)的2個角點(diǎn)的嵌入矢量距離。

最后的網(wǎng)絡(luò)損失函數(shù)為式(2)、式(5)～(7)相加的形式：

1.2 FPN網(wǎng)絡(luò)

2017年Lin等[11]提出了特征圖金字塔算法。FPN算法可以將淺層與深層的特征圖進(jìn)行融合，利用鄰近特征圖的語義信息，通過融合上下2層的特征，得到語義信息更加豐富的特征圖供后續(xù)的檢測，通過融合這些不同層的特征圖來達(dá)到預(yù)測效果，解決了多尺度下小目標(biāo)準(zhǔn)確檢測的問題[15]。目前很多算法都引入FPN模型來提高其檢測率，例如，文獻(xiàn)[16]在SSD算法中引入FPN算法，在PASCAL VOC 2007數(shù)據(jù)集上平均準(zhǔn)確率較SSD提高1.7%；文獻(xiàn)[17]在YOLO V3算法中引入FPN算法，在PASCAL VOC 2007數(shù)據(jù)集上平均準(zhǔn)確率較YOLO V3提高1.58%；事實(shí)表明單一特征檢測的算法引入FPN后平均準(zhǔn)確率有較大提升。淺層特征圖雖然具有較少的語義信息，但是保留較為準(zhǔn)確的位置信息，而在小目標(biāo)檢測中，小目標(biāo)對于位置的敏感度要遠(yuǎn)遠(yuǎn)大于大目標(biāo)。同時，對于深層的特征圖隨著特征圖的下采樣過多導(dǎo)致在深層特征圖豐富的語義信息中保留了大目標(biāo)的特征而丟失了小目標(biāo)的特征信息。文獻(xiàn)[13]中CornerNet僅是對一張?zhí)卣鲌D進(jìn)行檢測，其忽略了淺層特征，導(dǎo)致小目標(biāo)效果檢測不是很理想。初期為了驗(yàn)證引入FPN算法的有效性，在骨干網(wǎng)絡(luò)輸出一張?zhí)卣鲌D的基礎(chǔ)上，增加一個淺層特征圖形成2路分支供檢測，發(fā)現(xiàn)準(zhǔn)確率有所提升，從而驗(yàn)證本文想法的正確性。本文基于FPN思想，充分利用CornerNet骨干網(wǎng)絡(luò)輸出的淺層特征圖與深層特征圖進(jìn)行融合，形成語義信息更加豐富的4層與6層特征金字塔供檢測，進(jìn)而提升準(zhǔn)確率。

2 隔級融合特征金字塔與CornerNet相結(jié)合的小目標(biāo)檢測模型

CornerNet模型采用Hourglass作為其骨干網(wǎng)絡(luò)，只用該網(wǎng)絡(luò)的最后輸出圖作檢測。雖然特征圖語義信息比較豐富，但是目標(biāo)位置不精準(zhǔn)。由于小目標(biāo)尺寸過小，極易與背景融合，導(dǎo)致小目標(biāo)檢測率低下[18]。針對CornerNet算法對小目標(biāo)檢測出現(xiàn)漏檢誤檢的問題，本文將骨干網(wǎng)絡(luò)部分語義信息豐富且尺寸不同的特征圖提取出來。

FCOS(fully convolutional one-stage object detection)[19]算法同樣是無框檢測，該算法在引入特征金字塔的基礎(chǔ)上對最小的特征圖又進(jìn)行了2次卷積，目的是使得可供檢測的特征圖尺度更加豐富。本文基于其再次進(jìn)行卷積的思想，將特征金字塔中尺寸最小的特征圖進(jìn)行2次卷積，進(jìn)而得到更多尺度的特征圖為隔級融合做準(zhǔn)備，最后將對組成特征金字塔的特征圖進(jìn)行隔級融合、上下融合、旁路連接，融合后的特征圖語義信息更加豐富。

圖3為本文提出的隔級融合特征金字塔與CornerNet結(jié)合的小目標(biāo)檢測模型。

圖3 隔級融合特征金字塔與CornerNet結(jié)合的小目標(biāo)模型Fig. 3 Small target model based on the combination of connected feature pyramid and CornerNet

2.1 改進(jìn)后的沙漏網(wǎng)絡(luò)

圖4為一個沙漏網(wǎng)絡(luò)模塊，內(nèi)部大多采用殘差網(wǎng)絡(luò)的殘差塊進(jìn)行特征提取。過程如下：對輸入的特征圖進(jìn)行一系列的下采樣(紅色方塊)，下采樣前分出一條之路保留上采樣前的特征圖，然后進(jìn)行上采樣(藍(lán)色方塊)，上采樣之后將特征圖與上一個支路處理后的特征圖進(jìn)行融合，融合后再經(jīng)過一個殘差塊進(jìn)行特征提取，2次下采樣之間有3個殘差模塊進(jìn)行特征提取。C1～C4是提取出來的特征圖，為隔級融合特征金字塔做準(zhǔn)備。

圖4 沙漏網(wǎng)絡(luò)模型Fig. 4 Hourglass network model

圖5為2種殘差模塊示意圖。CornerNet中的沙漏網(wǎng)絡(luò)的殘差塊采用圖5(a)基本塊，其由2個3×3卷積組成。由于改進(jìn)后的網(wǎng)絡(luò)添加了特征金字塔，導(dǎo)致整個模型推理速度變慢，因此本文骨干網(wǎng)絡(luò)中的殘差模塊采用圖5(b)中的瓶頸塊。

采用圖5(b)瓶頸塊的殘差模塊，假設(shè)輸入是一個3×3×128的特征圖，首先采用64個1×1的卷積將128通道的特征圖降到64通道，然后用3×3卷積進(jìn)行特征提取，最后通過1×1卷積將特征圖恢復(fù)到128通道。此過程涉及的參數(shù)數(shù)目為1×1×128×64+3×3×64×64+1×1×64×128=53 248。如不使用1×1卷積，參考圖5(a)，假設(shè)同樣輸入3×3×128的特征圖，第1步經(jīng)過128個3×3卷積核，第2步再經(jīng)過128個3×3卷積核對特征圖進(jìn)行卷積。整體過程的參數(shù)數(shù)目為3×3×128×128×2=294 912。2種不同情況，參數(shù)數(shù)目相差5.5倍。因此，改進(jìn)后的沙漏網(wǎng)絡(luò)在保證準(zhǔn)確度的前提下，參數(shù)量大為減少，推理速度變快。

2.2 隔級融合特征金字塔模型

在卷積神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)越深，特征圖擁有的抽象特征信息就越多。因此運(yùn)用隔級連接來融合高層與低層的特征圖，融合出語義信息更豐富的特征圖，不僅能融合不同特征圖的尺度信息，還能有效融合高低層的細(xì)節(jié)信息[20]。圖6為隔級融合特征金字塔模型。

圖6中骨干網(wǎng)絡(luò)是沙漏網(wǎng)絡(luò)，特征金字塔分為3部分：自底向上部分(紅色框左半部分)，中間連接部分(通過尺寸大小為1×1、通道為256的卷積核對特征圖進(jìn)行卷積)，隔級連接與特征融合部分(紅色框右半部分)。

具體步驟如下：

CornerNet骨干網(wǎng)絡(luò)由2個沙漏網(wǎng)絡(luò)組成。從第2個沙漏網(wǎng)絡(luò)后半部分中提取出不同尺寸的特征圖：C1、C2、C3、C4，其尺寸大小分別為128×128、64×64、32×32、16×16，如圖6所示。

圖5 殘差模塊Fig. 5 Residual module

圖6 隔級融合特征金字塔模型Fig. 6 Pyramid model of feature fusion

P4就是C4(文獻(xiàn)[13]在預(yù)處理時已經(jīng)將通道卷積成256，所以不用做任何操作)。P5是由P4經(jīng)過卷積核尺寸為3×3步長為2卷積得到，尺寸大小為8×8；P6由P5經(jīng)過卷積核尺寸為3×3步長為2再次進(jìn)行卷積得到，尺寸大小為4×4，目的是為獲得深層更加魯棒的語義信息，為接下來的隔層連接做準(zhǔn)備。

首先P6運(yùn)用雙線性內(nèi)插法進(jìn)行上采樣，將其尺度擴(kuò)大到32×32，P4運(yùn)用雙線性內(nèi)插法進(jìn)行上采樣，將其尺度擴(kuò)大到32×32；然后用尺寸大小為1×1的卷積核改變C3的通道，使其通道數(shù)與P4保持一致；最后將處理后的3個特征圖相加得到特征圖P3(如圖藍(lán)色虛線框)并采用3×3卷積核對其卷積，目的是消除特征圖的混疊效應(yīng)。P1、P2特征圖的得到的流程與P3流程一致。

對特征圖P1～P6，每一個特征圖有2個模塊：左上角和右下角的預(yù)測模塊，2個模塊的結(jié)構(gòu)相同，每個預(yù)測模塊中先經(jīng)過角池化，然后輸出熱圖、嵌入矢量和偏移，3個分支。

熱圖負(fù)責(zé)預(yù)測角點(diǎn)位置，嵌入矢量負(fù)責(zé)將角點(diǎn)進(jìn)行配對，偏移進(jìn)行位置修訂。

3 實(shí)驗(yàn)及結(jié)果分析

本文實(shí)驗(yàn)使用的操作系統(tǒng)為Ubuntu 16.04LTS，GPU為NVIDIA GeForce RTX 2080Ti，深度學(xué)習(xí)框架為pytorch1.0。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

為了避免過擬合，本文先采用VOC2007的部分?jǐn)?shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，然后再采用與CornerNet相同的MS COCO數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。MS COCO[21]數(shù)據(jù)集有80類，包含80 K的訓(xùn)練集、40 K的驗(yàn)證集以及20 K的測試集。

3.2 評價指標(biāo)

本文目的是提升CornerNet算法的小目標(biāo)準(zhǔn)確率，因此選取MS COCO最重要的評價指標(biāo)APS(小目標(biāo)準(zhǔn)確率)和AP(平均準(zhǔn)確率)。該數(shù)據(jù)集規(guī)定目標(biāo)小于32×32即為小目標(biāo)，其評價指標(biāo)為APS。MS COCO數(shù)據(jù)集的評價指標(biāo)跟其他數(shù)據(jù)集評價指標(biāo)有所不同，在MS COCO數(shù)據(jù)集中AP表示在各種閾值下的平均準(zhǔn)確率，默認(rèn)AP就是mAP，mAP @.5IoU=AP @.5IoU, mAP @.75IoU =AP@.75 IoU，以此類推。P-R曲線指的是Precision Recall(準(zhǔn)確率?召回率)曲線。準(zhǔn)確率：正確檢測為正占全部檢測為正的比例；召回率：正確檢測為正占全部正樣本的比例。TP：樣本為正，預(yù)測結(jié)果為正；FP：樣本為負(fù)，預(yù)測結(jié)果為正；TN：樣本為負(fù)，預(yù)測結(jié)果為負(fù)；FN：樣本為正，預(yù)測結(jié)果為負(fù)，則準(zhǔn)確率為TP / (TP+FP)，召回率為 TP /(TP+FN)。對于每一個閾值(i)都會有相應(yīng)的PR曲線，對該曲線做積分(曲線下面的面積)即為在該閾值下的APi值，在MS COCO數(shù)據(jù)集中閾值一共有10個，從IoU1=0.5開始每次增加0.05直到IoU10=0.95，每一個閾值都有其相對應(yīng)的APi數(shù)值，最后將10個APi值累加除以10即為MS COCO評價指標(biāo)AP。

3.3 實(shí)驗(yàn)結(jié)果

本文以沙漏網(wǎng)絡(luò)作為CornerNet的骨干網(wǎng)絡(luò)，采用平均準(zhǔn)確率(AP)和小目標(biāo)準(zhǔn)確率(APS)作為主要評價指標(biāo)，以傳統(tǒng)CornerNet算法作為基準(zhǔn)方法，對模型各部分改進(jìn)前后的效果進(jìn)行比較和分析。FPN(6)參數(shù)設(shè)置方面，首先動量參數(shù)和權(quán)重衰減分別設(shè)為0.9和0.000 5，鑒于硬件設(shè)施的局限性，批次設(shè)置為16，學(xué)習(xí)率設(shè)置為0.000 25，訓(xùn)練230 K次，再降低10倍學(xué)習(xí)率，訓(xùn)練60 K次，當(dāng)?shù)?90 K次時模型達(dá)到穩(wěn)定。由于FPN(4)與FPN(6)采用相同的骨干網(wǎng)絡(luò)，因此將FPN(6)訓(xùn)練好的骨干網(wǎng)絡(luò)參數(shù)導(dǎo)出并遷移到FPN(4)的骨干網(wǎng)絡(luò)上，動量參數(shù)和權(quán)重衰減分別設(shè)為0.9和0.000 5，批次設(shè)置為16，學(xué)習(xí)率設(shè)置為0.000 25,訓(xùn)練120 K次，再降低10倍學(xué)習(xí)率，訓(xùn)練30 K次，當(dāng)?shù)?50 K次時模型達(dá)到穩(wěn)定。

1)FPN層數(shù)對識別結(jié)果的影響

傳統(tǒng)的CornerNet算法僅對沙漏網(wǎng)絡(luò)輸出的一張?zhí)卣鲌D進(jìn)行檢測，本文引入FPN并進(jìn)行隔級融合得到多張語義信息豐富的特征圖供檢測。本文實(shí)驗(yàn)的模型有2個，一個是對P1～P4，4個特征圖進(jìn)行檢測，如圖7紅色實(shí)框所示；另一個是P1～P6，6個特征圖進(jìn)行檢測，如圖8紅色實(shí)框所示。通過對比2個模型最終平均準(zhǔn)確率與小目標(biāo)檢測準(zhǔn)確率，得出層數(shù)對準(zhǔn)確率影響的相關(guān)結(jié)論。

圖7 隔級融合特征金字塔(P1～P4)Fig. 7 Feature pyramid of interval fusion (P1～P4)

P5、P6是由P4單純進(jìn)行卷積得到的特征圖，這2個特征圖是為隔級融合做準(zhǔn)備的；但是在對這2個特征圖進(jìn)行檢測時發(fā)現(xiàn)效果良好。表1為2種模型的實(shí)驗(yàn)結(jié)果。

由表1可以看出，6層特征金字塔的平均準(zhǔn)確率比4層特征金字塔高0.8%，小目標(biāo)檢測準(zhǔn)確率高0.9%。數(shù)據(jù)結(jié)果表明，P5、P6對目標(biāo)準(zhǔn)確率改善較為明顯。2) 實(shí)驗(yàn)結(jié)果及對比

本文對當(dāng)前主流的FPN進(jìn)行了改進(jìn)，將隔級融合特征金字塔引入CornerNet算法中。進(jìn)行實(shí)驗(yàn)的模型有2個，一是對P1～P4，4個特征圖進(jìn)行檢測；另一個是P1～P6，6個特征圖進(jìn)行檢測。表2為本文的實(shí)驗(yàn)結(jié)果和其他網(wǎng)絡(luò)檢測結(jié)果的對比。

本文骨干網(wǎng)絡(luò)采用沙漏網(wǎng)絡(luò)，與殘差網(wǎng)絡(luò)系列相比，沙漏網(wǎng)絡(luò)能使待檢測特征圖的語義更加豐富。通過對比結(jié)果可以看出，CornerNet模型中引入隔級融合特征金字塔對準(zhǔn)確度有較好地提高；FPN(4)平均準(zhǔn)確率為43.5%，較CornerNet算法提高2.9%；FPN(4)在小目標(biāo)準(zhǔn)確率上較Corner-Net算法提高2.9%。FPN(6)平均準(zhǔn)確率為44.3%，較CornerNet算法提高3.7%。FPN(6)在小目標(biāo)準(zhǔn)確率上較CornerNet算法提高4.2%。FPN(6)與一階段系列代表SSD513對比，平均準(zhǔn)確率提高13.1%，與二階段系列代表Faster R-CNN w FPN對比，平均準(zhǔn)確率提高8.1%。

圖8 隔級融合特征金字塔(P1～P6)Fig. 8 Feature pyramid of interval fusion (P1～P6)

表1 MS COCO數(shù)據(jù)集不同F(xiàn)PN層數(shù)檢測準(zhǔn)確率Table 1 Detection accuracy of different FPN layers in MS COCO dataset %

表2 MS COCO數(shù)據(jù)集不同算法檢測準(zhǔn)確率對比Table 2 Comparison of detection accuracy of different algorithms in MS COCO dataset %

數(shù)據(jù)結(jié)果表明，引入隔級融合特征金字塔對小目標(biāo)準(zhǔn)確率的提高有較大作用。相較于其他算法，本算法模型的主要特點(diǎn)是待檢測的特征圖語義信息更加豐富。無論是Faster R-CNN系列算法還是RetinaNet算法，盡管都采用了FPN，但是由于語義信息不夠豐富，導(dǎo)致算法在小目標(biāo)檢測準(zhǔn)確率以及平均準(zhǔn)確率方面并不是很出色。隔級融合特征金字塔運(yùn)用在其他算法上可能也會提高檢測準(zhǔn)確率。

為驗(yàn)證本文算法檢測小目標(biāo)的有效性，挑選了含有被云遮蓋、邊緣信息模糊、目標(biāo)相對較小的圖進(jìn)行了測試對比。通過圖9、10可以看出，隔級融合特征金字塔與CornerNet相結(jié)合的算法模型對物體的識別置信度更高、定位更加準(zhǔn)確，并且能夠識別出不易被人眼察覺的小目標(biāo)，特別是對背景復(fù)雜、遮擋、目標(biāo)尺寸較小等因素造成的漏檢，改善效果較為顯著[22]。

圖9 傳統(tǒng)CornerNet識別結(jié)果Fig. 9 Recognition results of traditional CornerNet

圖10 改進(jìn)后模型識別結(jié)果Fig. 10 Improved model recognition results

4 結(jié)束語

針對CornerNet模型對小目標(biāo)檢測平均準(zhǔn)確率低的問題，提出了一種隔級融合特征金字塔與CornerNet相結(jié)合的識別方法，骨干網(wǎng)絡(luò)Hourglass中引入?yún)?shù)量更小的瓶頸殘差模塊以縮短網(wǎng)絡(luò)的推理時間。與傳統(tǒng)的特征金字塔旁路連接、上下融合不同，引入隔級融合特征金字塔，得到語義信息更豐富的多尺度特征圖。經(jīng)過實(shí)驗(yàn)對比，本文4層FPN模型與6層FPN模型相較于傳統(tǒng)CornerNet算法具有較好的定位和識別準(zhǔn)確度，尤其是6層FPN模型較傳統(tǒng)CornerNet算法在小目標(biāo)準(zhǔn)確率方面提高4.2%，平均準(zhǔn)確率方面提高3.7%，表明了本文所提出模型的有效性。