王彤 李琦

摘要 以深度學(xué)習(xí)為基礎(chǔ)的YOLO目標(biāo)檢測(cè)技術(shù)因檢測(cè)速度快，而廣泛應(yīng)用于實(shí)時(shí)目標(biāo)檢測(cè)領(lǐng)域中，但其檢測(cè)準(zhǔn)確率不高，尤其是對(duì)小物體的檢測(cè)能力較差。針對(duì)上述問題，本文提出一種改進(jìn)模型——R-YOLO。該模型將殘差單元引入YOLO目標(biāo)檢測(cè)，既可以通過增加網(wǎng)絡(luò)的深度，提高網(wǎng)絡(luò)的準(zhǔn)確性，又可以利用殘差網(wǎng)絡(luò)的快捷連接方式，以保證檢測(cè)的實(shí)時(shí)性。同時(shí)結(jié)合CBNet結(jié)構(gòu)，增強(qiáng)語義信息，進(jìn)一步提高R-YOLO的準(zhǔn)確性。最后在改進(jìn)的YOLO模型中通過特征金字塔融合，結(jié)合不同階段卷積層輸出的特征信息，使得融合后的特征圖同時(shí)具有深層次的語義信息和淺層次的位置信息，以提高對(duì)小物體的檢測(cè)準(zhǔn)確性。在Pascal數(shù)據(jù)集上的實(shí)驗(yàn)顯示R-YOLO在準(zhǔn)確率上較YOLO提高了7.6個(gè)百分點(diǎn)，對(duì)小物體的檢測(cè)結(jié)果更準(zhǔn)確。結(jié)果表明，殘差單元和特征金字塔融合的引入有效改進(jìn)了YOLO網(wǎng)絡(luò)模型的檢測(cè)性能。

關(guān) 鍵 詞 深度學(xué)習(xí)；目標(biāo)檢測(cè)；YOLO；殘差網(wǎng)絡(luò)；特征融合；CBNet

中圖分類號(hào) TP319.4? ? ?文獻(xiàn)標(biāo)志碼 A

Research on improved YOLO target detection algorithm based on residual network and feature fusion

WANG Tong， LI Qi

（School of Electronics and Information Engineering， Hebei University of Technology， Tianjin? 300401， China）

Abstract The YOLO target detection technology based on deep learning is widely used in the field of real-time target detection with its fast detection speed， but its detection accuracy is not high， especially for small objects. In response to the above problems， this paper proposes an improved model-R-YOLO. The model introduces the residual unit into YOLO target detection， which can not only increase the depth of the network to improve the accuracy of the network， but also use the fast connection method of the residual network to ensure the real-time detection. Combined with the CBNet structure， the semantic information is enhanced and the accuracy of R-YOLO is further improved. Finally， through feature pyramid fusion in the YOLO model， combined with the feature information output by the convolutional layers at different stages， the fused feature map has both deep semantic information and shallow location information to improve detection accuracy of small objects. Experiments on the Pascal data set show that R-YOLO is 7.6 percentage points higher in accuracy than YOLO， and the detection results for small objects are more accurate. The results show that the introduction of residual unit and feature pyramid fusion effectively improves the detection performance of the YOLO network model.

Key words deep learning; target detection; YOLO; residual network; feature fusion; CBNet

0 引言

隨著科技的進(jìn)步，以深度學(xué)習(xí)為基礎(chǔ)的目標(biāo)檢測(cè)技術(shù)廣泛應(yīng)用于交通、軍事和醫(yī)療等領(lǐng)域，已成為研究熱點(diǎn)。傳統(tǒng)的目標(biāo)檢測(cè)算法需要人為的提取特征，這種方式受目標(biāo)物體姿態(tài)、光照和背景等環(huán)境因素影響，很難達(dá)到一個(gè)統(tǒng)一的標(biāo)準(zhǔn)。通過滑動(dòng)窗口思想進(jìn)行目標(biāo)提取的方式，因其運(yùn)算量巨大，檢測(cè)速度較慢。直到卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，實(shí)現(xiàn)了更好、更快、更準(zhǔn)確地完成對(duì)圖像的識(shí)別和檢測(cè)。并隨著網(wǎng)絡(luò)的不斷加深，深度卷積神經(jīng)網(wǎng)絡(luò)采用非線性變換，通過數(shù)據(jù)驅(qū)動(dòng)的方式，學(xué)習(xí)圖像中更全面的特征信息，使得目標(biāo)特征具有更好的泛化能力，促進(jìn)了圖像處理中識(shí)別和檢測(cè)效能的提升[1-2]。

深度學(xué)習(xí)目標(biāo)檢測(cè)技術(shù)的發(fā)展主要集中在2個(gè)方向：一個(gè)是R-CNN（Region-CNN）和FAST R-CNN等的two stage算法，另一個(gè)是YOLO[3]（You Only Look Once）和SSD[4]（Single Shot MultiBox Detector）等的one stage算法。R-CNN[5-6]模型由生成候選框、特征提取、目標(biāo)分類和回歸定位4個(gè)部分構(gòu)成，是第一個(gè)將深度學(xué)習(xí)應(yīng)用于目標(biāo)檢測(cè)的方法。在此基礎(chǔ)上，將模塊整合提出了FAST R-CNN[7]，2016年又提出了基于RPN思想的FASTER R-CNN[8]，它們都采用分類器和定位器去進(jìn)行檢測(cè)[9]，這種方式需要將模型應(yīng)用于多個(gè)位置和不同比例的區(qū)域，依據(jù)評(píng)分的結(jié)果進(jìn)行監(jiān)測(cè)分析[10]，速度相對(duì)較慢。YOLO目標(biāo)檢測(cè)算法在一個(gè)神經(jīng)網(wǎng)絡(luò)模型里同時(shí)實(shí)現(xiàn)對(duì)目標(biāo)范圍和目標(biāo)類別的檢測(cè)，使得目標(biāo)檢測(cè)速度得到大幅提升。在Pascal數(shù)據(jù)集上的測(cè)試中，雖然YOLO算法對(duì)目標(biāo)物體檢測(cè)速度很快，但與FAST R-CNN相比，YOLO的準(zhǔn)確率相對(duì)較低，尤其在對(duì)小物體的檢測(cè)上效果不理想，針對(duì)這個(gè)問題，很多學(xué)者基于各類YOLO模型進(jìn)行了改進(jìn)[11-15]，以提高YOLO的檢測(cè)性能。

本文基于YOLO-v1模型進(jìn)行改進(jìn)，針對(duì)其檢測(cè)準(zhǔn)確率不高的問題，提出了3點(diǎn)改進(jìn)措施：1）運(yùn)用殘差網(wǎng)絡(luò)的快捷連接方式，加深其網(wǎng)絡(luò)結(jié)構(gòu)，在保證檢測(cè)速度的前提下，提高了準(zhǔn)確率；2）結(jié)合CBNet網(wǎng)絡(luò)形式豐富特征層的特征信息，提高檢測(cè)準(zhǔn)確率；3）是將特征融合思想引入模型中，將各階段的輸出特征進(jìn)行金字塔融合，使得特征中既包含淺層次的位置信息，又包含深層次的語義信息，提高對(duì)小目標(biāo)的檢測(cè)準(zhǔn)確性。

1 YOLO目標(biāo)檢測(cè)算法

YOLO算法采用的是CNN分類器，將單個(gè)神經(jīng)網(wǎng)絡(luò)應(yīng)用于整個(gè)圖像，通過卷積運(yùn)算，提升圖像處理的效率，因此具有端到端與實(shí)時(shí)性的檢測(cè)能力。其檢測(cè)原理如圖1所示。

每個(gè)邊界框都對(duì)應(yīng)著一個(gè)置信度，如式（1）所示，其中[PrObject]表示單元格中是否包含目標(biāo)，[IOUtruthpred]表示預(yù)測(cè)與真實(shí)邊界框的交并比。如果一個(gè)目標(biāo)的類別置信度的中心點(diǎn)坐標(biāo)在一個(gè)單元格中，這個(gè)單元格就是包含這個(gè)目標(biāo)，也就是說由該單元格負(fù)責(zé)預(yù)測(cè)這個(gè)目標(biāo)。

測(cè)試過程中，每個(gè)網(wǎng)格輸出的最終概率如公式（2）所示，[PrClassiObject]表示網(wǎng)格中包含并屬于第i個(gè)類別的概率。最后將得分較高的邊界框采取非極大值抑制方式得到最終的檢測(cè)結(jié)果。

YOLO網(wǎng)絡(luò)和GoogleNet的結(jié)構(gòu)非常類似，其模型結(jié)構(gòu)如圖2所示。

這種直接在輸出層回歸目標(biāo)邊界框的位置及類別的方法，無需再生成候選區(qū)域，在目標(biāo)的檢測(cè)準(zhǔn)確性上會(huì)有一定的下降，并且隨著卷積層數(shù)的加深，對(duì)小目標(biāo)的特征信息不斷丟失，使得在小目標(biāo)上的檢測(cè)性能較差。

2 改進(jìn)的YOLO目標(biāo)檢測(cè)算法

針對(duì)YOLO算法中存在的問題，本文結(jié)合殘差網(wǎng)絡(luò)與特征融合提出了一種改進(jìn)模型——R-YOLO。本文將網(wǎng)絡(luò)進(jìn)一步加深，以提高網(wǎng)絡(luò)檢測(cè)準(zhǔn)確率，并結(jié)合CBNet網(wǎng)絡(luò)形式和特征融合，改善對(duì)小目標(biāo)的檢測(cè)性能。隨著網(wǎng)絡(luò)深度的增加，使得反向傳播越來越困難，性能開始出現(xiàn)退化。因此在改進(jìn)中增加網(wǎng)絡(luò)的深度，不是單純靠卷積層的堆疊，而是運(yùn)用殘差單元，以優(yōu)化網(wǎng)絡(luò)性能。

2.1 在YOLO模型中引入殘差網(wǎng)絡(luò)

在目標(biāo)檢測(cè)中，網(wǎng)絡(luò)深度對(duì)于檢測(cè)性能具有非常重要的意義[16]，因此本文進(jìn)一步增加了YOLO網(wǎng)絡(luò)的深度。但是單純加深網(wǎng)絡(luò)深度很可能造成網(wǎng)絡(luò)性能的退化，殘差網(wǎng)絡(luò)很好地解決了這一問題。深度殘差網(wǎng)絡(luò)是2015年提出的深度卷積網(wǎng)絡(luò)，在圖像分類、檢測(cè)、定位上的表現(xiàn)十分出色。相對(duì)于將每一層的卷積做連乘計(jì)算的普通網(wǎng)絡(luò)，殘差網(wǎng)絡(luò)的前向過程是線性的，通過快捷連接方式進(jìn)行身份映射，對(duì)每一個(gè)堆疊的層都采用殘差學(xué)習(xí)。將殘差單元應(yīng)用在深度卷積神經(jīng)網(wǎng)絡(luò)中，基于跳層連接[17]，緩解了網(wǎng)絡(luò)模型在訓(xùn)練過程中反向傳播中的梯度消失現(xiàn)象，從而使得深層網(wǎng)絡(luò)不再難以訓(xùn)練，解決了隨網(wǎng)絡(luò)加深的性能退化問題[18]。殘差單元的定義如公式（3）所示。

式中：x和y是殘差單元的輸入和輸出向量；函數(shù)[Fx，Wi]表示要學(xué)習(xí)的剩余映射。對(duì)于圖3中具有兩層的示例，用σ表示ReLU函數(shù)。執(zhí)行操作F+x，在加法之后采用ReLU函數(shù)進(jìn)行激活（即[σy]）。這樣的快捷連接沒有增加額外參數(shù)，計(jì)算復(fù)雜性也沒有增加。x和F應(yīng)具有相同的尺寸。當(dāng)x和F的尺寸不同時(shí)，需要運(yùn)用線性投影Ws進(jìn)行尺寸的匹配，如式（4）所示。

本文結(jié)合殘差單元加深YOLO的網(wǎng)絡(luò)結(jié)構(gòu)。在YOLO模型中的第3個(gè)和第4個(gè)池化層后分別加入2個(gè)三層殘差單元，前面網(wǎng)絡(luò)提取的特征跳過中間三層的卷積計(jì)算，直接與殘差單元最后一層卷積層的輸出相加傳送給后面的網(wǎng)絡(luò)，提高網(wǎng)絡(luò)的檢測(cè)準(zhǔn)確率。兩個(gè)殘差單元結(jié)構(gòu)如圖4所示。

第1個(gè)殘差單元中，第1層卷積層使用1×1卷積核將256維通道數(shù)降為128維，然后第2層卷積層再通過3×3卷積核提取圖像特征信息，最后通過一個(gè)1×1的卷積核將128維的數(shù)據(jù)擴(kuò)充為256維，結(jié)合前面網(wǎng)絡(luò)輸出的256維數(shù)據(jù)進(jìn)行輸出。第2個(gè)殘差單元中，第1層卷積層使用1×1卷積核將1 024通道數(shù)降為256維，第2層卷積層再通過3×3的卷積核提取圖像特征信息，最后再用一個(gè)1×1的卷積核將256維度擴(kuò)充為1 024維，結(jié)合前面網(wǎng)絡(luò)輸出的1 024維數(shù)據(jù)進(jìn)行輸出。

殘差網(wǎng)絡(luò)在通過快捷連接方式，直接越過下一層跳轉(zhuǎn)至更深層，為提取特征階段提供豐富的語義信息，從而有效提取目標(biāo)特征，提高了網(wǎng)絡(luò)檢測(cè)性能，同時(shí)不增加計(jì)算復(fù)雜度，致使檢測(cè)速度并沒有下降。因此，在YOLO中嵌入殘差單元，加深了網(wǎng)絡(luò)深度的同時(shí)沒有造成性能的退化，提高了特征提取網(wǎng)絡(luò)的檢測(cè)性能。

2.2 在YOLO中引入CBNet結(jié)構(gòu)

CBNet（復(fù)合主干網(wǎng)絡(luò)）由多個(gè)相同的主干網(wǎng)絡(luò)并行構(gòu)成（如圖5所示），前面（k-1）個(gè)主干網(wǎng)絡(luò)為輔助主干網(wǎng)絡(luò)，最后一個(gè)為領(lǐng)導(dǎo)主干網(wǎng)絡(luò)。每個(gè)輔助主干網(wǎng)絡(luò)特征層的輸出，都作為并行網(wǎng)絡(luò)中該層的輸入，通過復(fù)合連接塊進(jìn)行連接，這樣將不同層級(jí)的特征融合到一起，產(chǎn)生更加豐富的語義信息，提高目標(biāo)檢測(cè)器的性能。

本文采用相鄰的高級(jí)組合的雙層主干網(wǎng)絡(luò)形式，將輔助網(wǎng)絡(luò)中每一階段的輸出都復(fù)合連接到領(lǐng)導(dǎo)主干網(wǎng)絡(luò)該模塊的輸入。

2.3 在YOLO模型中引入特征金字塔融合

圖像中存在不同尺寸的目標(biāo)，而不同大小的目標(biāo)具有不同的特征，利用淺層特征可以區(qū)分簡(jiǎn)單的目標(biāo)，利用深層特征可以區(qū)分復(fù)雜的目標(biāo)。許多有關(guān)目標(biāo)檢測(cè)的研究發(fā)現(xiàn)[19]，由于低層特征的分辨率較高，能夠提取更多的位置、細(xì)節(jié)等信息，但是語義信息低，噪聲多；高層特征包含的語義信息較多，但是分辨率低。因此，YOLO在進(jìn)行檢測(cè)的過程中，隨著網(wǎng)絡(luò)層數(shù)的加深，每一層會(huì)丟掉圖像本身的一些特征信息，最終學(xué)習(xí)到小目標(biāo)特征較少，檢測(cè)能力較差。

由于足夠底層的特征對(duì)于檢測(cè)小物體很有幫助，因此將網(wǎng)絡(luò)中前幾層的特征圖進(jìn)行融合能夠提高網(wǎng)絡(luò)的檢測(cè)性能。但是在合并過程中，不同層的特征圖尺寸不同，因此有人采取最大池化的方法，將特征圖調(diào)整到同一個(gè)尺寸，再進(jìn)行合并。但是這種方式在壓縮過程中，會(huì)丟掉特征圖本身的一些信息。

為避免融合過程中的特征信息丟失，提高對(duì)小目標(biāo)的檢測(cè)能力，本文在YOLO模型中引入特征金字塔融合（如圖6）。這種方式將頂層特征通過上采樣和低層特征做融合，能夠很好地保留低層特征圖中原有的特征信息，具有很好地泛化能力。其中1×1的卷積核用來減少特征圖的個(gè)數(shù)，但并不改變特征圖的大小。融合過程中采用上采樣進(jìn)行尺寸的匹配，每次融合后再采用3×3的卷積核來消除上采樣的混疊效應(yīng)。

結(jié)合特征融合改進(jìn)的YOLO網(wǎng)絡(luò)模型，在基于殘差網(wǎng)絡(luò)的YOLO模型基礎(chǔ)上，將第1層、第6層和第30層的輸出進(jìn)行contact并行連接，先將第30層的7×7大小的特征圖采用1×1的卷積核進(jìn)行上采樣，擴(kuò)充為56×56大小，與第6層輸出的56×56大小的特征圖融合，融合結(jié)果再進(jìn)行上采樣，擴(kuò)充為224×224大小的特征圖，與第一層卷積的224×224的輸出結(jié)果進(jìn)行融合，融合結(jié)果送入全連接層中輸出結(jié)果，進(jìn)行分類。使用特征金字塔融合，不僅可以獲得性能的提升，同時(shí)可以獲得速度的提升。

2.4 R-YOLO的網(wǎng)絡(luò)結(jié)構(gòu)

R-YOLO的網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示，上半部分為主干網(wǎng)絡(luò)結(jié)構(gòu)，下半部分為輔助網(wǎng)絡(luò)結(jié)構(gòu)，主干網(wǎng)絡(luò)內(nèi)部參數(shù)如表1所示，輔助網(wǎng)絡(luò)內(nèi)部參數(shù)同主干網(wǎng)絡(luò)對(duì)應(yīng)階段。主干網(wǎng)絡(luò)模型總共由30個(gè)卷積層、4個(gè)池化層、一個(gè)融合模塊和2個(gè)全連接層組成，在第3個(gè)和第4個(gè)池化層后加入殘差單元，加深網(wǎng)絡(luò)結(jié)構(gòu)；我們將主干網(wǎng)絡(luò)中融合模塊前的結(jié)構(gòu)視為輔助網(wǎng)絡(luò)，將每一階段的結(jié)果復(fù)合連接到主干網(wǎng)絡(luò)上，形成一個(gè)雙層主干網(wǎng)絡(luò)，將主干網(wǎng)絡(luò)中的第2層、第6層和第30層的輸出特征圖進(jìn)行融合，提高網(wǎng)絡(luò)檢測(cè)性能。

2.5 R-YOLO的損失函數(shù)

在訓(xùn)練過程中，常常使用損失函數(shù)作為其目標(biāo)函數(shù)對(duì)算法進(jìn)行優(yōu)化。R-YOLO算法采用均方差作為損失函數(shù)的計(jì)算依據(jù)，共包含定位誤差和分類誤差，由于較小的邊界框相比較大的邊界框?qū)ψ鴺?biāo)誤差更加敏感，所以選取網(wǎng)絡(luò)中邊界框?qū)捄透叩钠椒礁M(jìn)行預(yù)測(cè)，預(yù)測(cè)值為[x，y，w，h]。另外，在眾多邊界框中，只選擇與ground truth的IOU最大的邊界框來負(fù)責(zé)預(yù)測(cè)該目標(biāo)，則認(rèn)定其他的邊界框不存在目標(biāo)。當(dāng)邊界框中沒有目標(biāo)的時(shí)候，該邊界框只存在置信度誤差項(xiàng)，不存在定位誤差。最終的損失函數(shù)計(jì)算如式（5）所示。其中x，y是邊界框的中心坐標(biāo)，w和h是邊界框的寬和高，C代表邊界框中含有目標(biāo)的置信度，[lobji]指的是第i個(gè)單元格存在目標(biāo)，[lobjij]指的是第i個(gè)單元格存在目標(biāo)，且該單元格中的第j個(gè)邊界框負(fù)責(zé)預(yù)測(cè)該目標(biāo)，[λcoord]為定位誤差的權(quán)重，[λnoobj]為邊界框中不包含目標(biāo)的權(quán)重。因此公式中第1項(xiàng)和第2項(xiàng)分別是對(duì)邊界框的中心坐標(biāo)以及高與寬的誤差計(jì)算，即[Lossb-box]，第3項(xiàng)和第4項(xiàng)是對(duì)輸入圖像中包含目標(biāo)和不包含目標(biāo)的邊界框的置信度誤差計(jì)算，即[Lossconfidence]，而最后一項(xiàng)是對(duì)包含目標(biāo)的單元格的分類誤差計(jì)算，即[Lossclass]。

3 實(shí)驗(yàn)結(jié)果與分析

本文的實(shí)驗(yàn)環(huán)境采用Windows10，64位操作系統(tǒng)，Intel Core i7-10750H六核處理器，NVIDIA RTX2060獨(dú)立顯卡，16G內(nèi)存的計(jì)算機(jī)?？蚣懿捎胮ytorch1.0.1框架。

訓(xùn)練網(wǎng)絡(luò)時(shí)使用Pascal VOC2012數(shù)據(jù)集，從中隨機(jī)抽取的22 129張圖像，實(shí)驗(yàn)中的參數(shù)設(shè)置：batch_size大小為128，迭代次數(shù)8 000次，momentum設(shè)置為0.09，weight decay（懲罰項(xiàng)：所有權(quán)重的平方乘以一個(gè)衰減常量之和）初始值為0.01，初始權(quán)重統(tǒng)一設(shè)置為均值為0、方差為0.02的隨機(jī)數(shù)，坐標(biāo)預(yù)測(cè)權(quán)重與分類預(yù)測(cè)權(quán)重一致，激活函數(shù)使用Leaky ReLU。將訓(xùn)練好的模型在Pascal VOC2007數(shù)據(jù)集進(jìn)行測(cè)試，選取5 032個(gè)樣本，batch_size設(shè)為30，迭代500次，得出結(jié)果并進(jìn)行分析。

3.1 R-YOLO訓(xùn)練過程中準(zhǔn)確率和損失變化的結(jié)果與分析

圖8和圖9是R-YOLO訓(xùn)練過程中隨著訓(xùn)練迭代次數(shù)的增加其準(zhǔn)確率和損失函數(shù)變化的曲線，隨著迭代次數(shù)的增加，對(duì)權(quán)重不斷地更新，準(zhǔn)確率越來越高，損失越來越小。結(jié)果說明，在一定迭代次數(shù)范圍內(nèi)，訓(xùn)練迭代次數(shù)越多，模型學(xué)習(xí)到的特征信息越多，對(duì)權(quán)重的更新越接近正確值，準(zhǔn)確率會(huì)越高。迭代前期，損失迅速下降，準(zhǔn)確率迅速上升，在迭代次數(shù)達(dá)到5 000時(shí)，準(zhǔn)確率基本維持在了0.96左右，損失也基本達(dá)到了一個(gè)比較穩(wěn)定的狀態(tài)。

3.2 R-YOLO目標(biāo)檢測(cè)實(shí)例

R-YOLO和YOLO兩種算法結(jié)構(gòu)在Pascal VOC數(shù)據(jù)集上訓(xùn)練后進(jìn)行實(shí)驗(yàn)的檢測(cè)結(jié)果如圖10所示，左側(cè)是YOLO檢測(cè)結(jié)果圖，右側(cè)是R-YOLO檢測(cè)結(jié)果圖。圖中R-YOLO的檢測(cè)結(jié)果明顯優(yōu)于YOLO的檢測(cè)結(jié)果，能夠更準(zhǔn)確地識(shí)別出圖中的牛和飛機(jī)，對(duì)于小物體的定位誤差更小。實(shí)驗(yàn)表明，基于殘差網(wǎng)絡(luò)與特征融合改進(jìn)的R-YOLO目標(biāo)檢測(cè)算法，提高了原始YOLO模型的檢測(cè)效率。

3.3 R-YOLO目標(biāo)檢測(cè)算法的實(shí)驗(yàn)結(jié)果與分析

本章對(duì)R-YOLO、Fast R-CNN、Faster R-CNN、YOLO和YOLO-v2在Pascal VOC 2007數(shù)據(jù)集上進(jìn)行性能分析，主要對(duì)mAP（平均檢測(cè)準(zhǔn)確率）和FPS（幀數(shù)）進(jìn)行對(duì)比。結(jié)果如表2所示。從表中可以看出，相比Fast R-CNN，YOLO的mAP稍微略低一些，但是速度卻快很多。Faster R-CNN在Fast R-CNN的基礎(chǔ)上大大提高了檢測(cè)速度，但卻伴隨著mAP的下降，盡管如此，速度還是遠(yuǎn)遠(yuǎn)不及YOLO。R-YOLO的mAP和速度都高于Fast R-CNN和YOLO。與YOLO-v2相比，mAP有相對(duì)提升，但速度略有不足。結(jié)果表明，綜合mAP和FPS，R-YOLO在保證檢測(cè)速度的前提下，優(yōu)化了YOLO的準(zhǔn)確性，因此采用殘差網(wǎng)絡(luò)和特征融合對(duì)YOLO進(jìn)行優(yōu)化是有效的。

表3中分別給出了YOLO、YOLO-v2和R-YOLO對(duì)20個(gè)類別的檢測(cè)準(zhǔn)確率。結(jié)果表明，R-YOLO較YOLO目標(biāo)檢測(cè)算法，對(duì)每個(gè)類型物體的檢測(cè)準(zhǔn)確率均有相對(duì)提升，較YOLO-v2也有一定的優(yōu)勢(shì)。

以上所有實(shí)驗(yàn)結(jié)果說明了R-YOLO網(wǎng)絡(luò)結(jié)構(gòu)在準(zhǔn)確率上優(yōu)于相比較的其他網(wǎng)絡(luò)，速度與YOLO相當(dāng)，YOLO中嵌入了殘差網(wǎng)絡(luò)和特征融合模塊并結(jié)合了雙主干網(wǎng)絡(luò)形式，網(wǎng)絡(luò)深度加深了，卻沒有降低檢測(cè)速度。說明了對(duì)YOLO的改進(jìn)是有效的，殘差單元、特征融合模塊和雙主干網(wǎng)絡(luò)結(jié)構(gòu)的運(yùn)用，在提高網(wǎng)絡(luò)準(zhǔn)確性的同時(shí)沒有增加網(wǎng)絡(luò)計(jì)算的復(fù)雜度。

4 結(jié)論

本文針對(duì)YOLO目標(biāo)檢測(cè)算法準(zhǔn)確性問題，結(jié)合殘差單元、CBNet網(wǎng)絡(luò)和特征融合進(jìn)行了改進(jìn)。在YOLO網(wǎng)絡(luò)模型中引入殘差單元，保證檢測(cè)速度的同時(shí)提高了檢測(cè)準(zhǔn)確率；運(yùn)用雙主干網(wǎng)絡(luò)結(jié)構(gòu)，豐富特征層的語義信息；同時(shí)，將部分卷積層的輸出進(jìn)行特征融合，結(jié)合深層與淺層的圖像特征信息，提高了對(duì)小物體的檢測(cè)能力。在Pascal數(shù)據(jù)集上進(jìn)行訓(xùn)練與測(cè)試，結(jié)果中對(duì)小物體的檢測(cè)有明顯的改善，當(dāng)R-YOLO網(wǎng)絡(luò)訓(xùn)練達(dá)到穩(wěn)定狀態(tài)時(shí)，準(zhǔn)確率較原始模型提高了7.6個(gè)百分點(diǎn)。實(shí)驗(yàn)表明，R-YOLO網(wǎng)絡(luò)模型有效提升了YOLO網(wǎng)絡(luò)的檢測(cè)性能。

參考文獻(xiàn)：

[1]? ? RAZAVIAN A S，AZIZPOUR H，SULLIVAN J，et al. CNN features off-the-shelf：an astounding baseline for recognition[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Columbus，OH，USA. IEEE：512-519.

[2]? ? 吳帥，徐勇，趙東寧. 基于深度卷積網(wǎng)絡(luò)的目標(biāo)檢測(cè)綜述[J]. 模式識(shí)別與人工智能，2018，31（4）：335-346.

[3]? ? REDMON J，DIVVALA S，GIRSHICK R，et al. You only look once：unified，real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas，NV，USA. IEEE，：779-788.

[4]? ? LIU W，ANGUELOV D，ERHAN D，et al. SSD：single shot MultiBox detector[M]//Computer Vision – ECCV 2016. Cham：Springer International Publishing，2016：21-37.

[5]? ? GIRSHICK R，DONAHUE J，DARRELL T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus，OH，USA. IEEE，：580-587.

[6]? ? 何之源. 21個(gè)項(xiàng)目玩轉(zhuǎn)深度學(xué)習(xí)：基于TensorFlow的實(shí)踐詳解[M]. 北京：電子工業(yè)出版社，2018.

[7]? ? GIRSHICK R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision. Santiago，Chile. IEEE，：1440-1448.

[8]? ? JIANG H Z，LEARNED-MILLER E. Face detection with the faster R-CNN[C]//2017 12th IEEE International Conference on Automatic Face & Gesture Recognition. Washington，DC，USA. IEEE，：650-657.

[9]? ? MONT?FAR G，PASCANU R，CHO K，et al. On the number of linear regions of deep neural networks[EB/OL]. 2014：arXiv：1402. 1869[stat. ML]. https：//arxiv. org/abs/1402. 1869

[10]? NAIR V，HINTON G E. Rectified linear units improve restricted boltzmann machines[C]// Proceedings of the 27th International Conference on Machine Learning，Israel，Haifa，2010（June）：21-24.

[11]? 王璽坤，姜宏旭，林珂玉. 基于改進(jìn)型YOLO算法的遙感圖像艦船檢測(cè)[J]. 北京航空航天大學(xué)學(xué)報(bào)，2020，46（6）：1184-1191.

[12]? 周慧娟，張強(qiáng)，劉羽，等. 基于YOLO2的地鐵進(jìn)站客流人臉檢測(cè)方法[J]. 計(jì)算機(jī)與現(xiàn)代化，2019（10）：76-82.

[13]? 任飛凱. 基于卷積神經(jīng)網(wǎng)絡(luò)人臉識(shí)別研究與實(shí)現(xiàn)[D]. 南京：南京郵電大學(xué)，2019.

[14]? VAN ETTEN A. You only look twice：rapid multi-scale object detection in satellite imagery[EB/OL]. 2018：arXiv：1805. 09512[cs. CV]. https：//arxiv. org/abs/1805. 09512

[15]? REDMON J，F(xiàn)ARHADI A. YOLO9000：better，faster，stronger[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. July 21-26，2017. Honolulu，HI. IEEE，2017.

[16]? 周曉彥，王珂，李凌燕. 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法綜述[J]. 電子測(cè)量技術(shù)，2017，40（11）：89-93.

[17]? REN S Q，HE K M，GIRSHICK R，et al. Object detection networks on convolutional feature maps[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（7）：1476-1481.

[18]? BAY H，TUYTELAARS T，GOOL L V. SURF：Speeded up robust features[C]// European Conference on Computer Vision，Graz：Springer-Verlag，2006：404-417.

[19]? HUANG G，LIU Z，VAN DER MAATEN L，et al. Densely connected convolutional networks[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. July 21-26，2017. Honolulu，HI. IEEE，2017：245-253.