王 玲 張 松 王 鵬 陶 躍(長(zhǎng)春理工大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院 吉林 長(zhǎng)春 130022)

0 引 言

隨著道路上車輛的逐漸增多，交通路況越發(fā)復(fù)雜，檢測(cè)車輛目標(biāo)已經(jīng)成為一項(xiàng)難題。同時(shí)，車輛檢測(cè)也是目標(biāo)檢測(cè)領(lǐng)域中的一個(gè)重要研究方向，它在智能交通、無人駕駛、道路監(jiān)控等方面有廣泛的應(yīng)用，可以為交通的管理和控制提供決策和支持，因此準(zhǔn)確高效地檢測(cè)車輛目標(biāo)具有重要的實(shí)際意義。

近年來，隨著深度學(xué)習(xí)的快速發(fā)展，大量基于卷積神經(jīng)網(wǎng)絡(luò)的方法被用于目標(biāo)檢測(cè)，主要分為基于區(qū)域的方法和基于回歸的方法。基于區(qū)域的方法；先得到候選區(qū)域再對(duì)候選區(qū)域進(jìn)行分類和邊框回歸。Yang等[1]使用改進(jìn)的Faster R-CNN對(duì)航拍圖像中的車輛目標(biāo)進(jìn)行檢測(cè)，將交叉熵?fù)p失函數(shù)替換為焦點(diǎn)損失函數(shù)，對(duì)復(fù)雜環(huán)境下的車輛目標(biāo)有較好的適應(yīng)性，但檢測(cè)速度慢，無法滿足實(shí)時(shí)檢測(cè)的要求?；诨貧w的方法；通過單個(gè)卷積神經(jīng)網(wǎng)絡(luò)直接對(duì)各個(gè)邊界框進(jìn)行回歸，并預(yù)測(cè)相應(yīng)類別的概率，是一種端到端的目標(biāo)檢測(cè)算法，比基于區(qū)域方法的檢測(cè)速度有了質(zhì)的提高，滿足實(shí)時(shí)檢測(cè)的要求。Tang等[2]在SSD網(wǎng)絡(luò)產(chǎn)生的特征圖上，使用一組具有各種比例的默認(rèn)框生成檢測(cè)邊界框，以更好地匹配目標(biāo)形狀。該方法取得了較快的檢測(cè)速度，達(dá)到了實(shí)時(shí)檢測(cè)的效果，提升了小目標(biāo)檢測(cè)的效果，但檢測(cè)精度偏低。劉宏哲等[3]提出基于特征融合的人臉檢測(cè)算法，使用反卷積操作融合淺層特征，引入上下文信息，使目標(biāo)檢測(cè)精度有顯著性的提高。薛麗霞等[4]提出一種特征融合的卷積神經(jīng)網(wǎng)絡(luò)模型，將中低層特征進(jìn)行融合，產(chǎn)生更具區(qū)分性的特征。裴偉等[5]提出一種特征融合的航拍目標(biāo)檢測(cè)算法，將深層特征與淺層特征融合，增強(qiáng)淺層的語義信息，提升了目標(biāo)檢測(cè)效果。上述研究均使用特征融合的方法提升模型的檢測(cè)精度。YOLOv3[6]作為基于回歸的方法代表之一，具有較強(qiáng)的實(shí)時(shí)性(每秒傳輸幀數(shù)大于30即為實(shí)時(shí)檢測(cè)[7])，但相比基于區(qū)域的方法，在檢測(cè)精度上處于劣勢(shì)。綜上所述，現(xiàn)有的目標(biāo)檢測(cè)算法對(duì)復(fù)雜場(chǎng)景中不同尺度的車輛目標(biāo)，無法達(dá)到檢測(cè)精度與檢測(cè)速度兩者兼顧。在保留原有檢測(cè)速度的條件下，提升YOLOv3模型的檢測(cè)精度是本文研究的重點(diǎn)。

本文提出一種基于YOLOv3多尺度特征融合的檢測(cè)算法，稱為MS-YOLOv3。MS-YOLOv3的主網(wǎng)絡(luò)結(jié)構(gòu)是深度殘差網(wǎng)絡(luò)darknet-53，在特征提取時(shí)，將淺層位置信息豐富的特征與深層語義強(qiáng)的特征相結(jié)合，增強(qiáng)目標(biāo)的特征表達(dá)，產(chǎn)生三種不同尺度的特征圖，作為預(yù)測(cè)階段的輸入。同時(shí)使用轉(zhuǎn)置卷積[8]替換上采樣的最近鄰插值法，增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)性。在保留原有模型的檢測(cè)速度下，提升檢測(cè)精度，實(shí)現(xiàn)實(shí)時(shí)檢測(cè)車輛的目標(biāo)。

1 YOLOv3

YOLOv3算法結(jié)構(gòu)如圖1所示。

圖1 YOLOv3框架結(jié)構(gòu)

YOLOv3使用深度殘差網(wǎng)絡(luò)darknet-53作為特征提取網(wǎng)絡(luò)，它有5種類型殘差塊，對(duì)輸入圖片共進(jìn)行5次下采樣。在多尺度預(yù)測(cè)階段，使用最近鄰插值作為上采樣方法，自深層向淺層融合成3種不同尺度的特征圖，形成特征金字塔結(jié)構(gòu)[9]，在金字塔每層特征圖上進(jìn)行邊界框預(yù)測(cè)，使用非極大值抑制篩選重復(fù)預(yù)測(cè)的邊界框，輸出最終預(yù)測(cè)的目標(biāo)類別和位置，對(duì)不同尺度目標(biāo)有良好的檢測(cè)效果。

1.1 上采樣方法

上采樣用于放大圖像，將低分辨率的圖像轉(zhuǎn)換成高分辨率的圖像。YOLOv3在上采樣階段使用最近鄰插值法，它輸出的像素灰度值等于距離它映射到的位置最近的輸入像素的灰度值。最近鄰插值法的縮放原理如圖2所示。

圖2 縮放原理

若幾何變換后輸出圖像上坐標(biāo)為(x,y)的像素點(diǎn)在原圖像上的對(duì)應(yīng)值坐標(biāo)為(u,v)，則：

x=u×ratiox

y=v×ratioy

(1)

式(1)水平的縮放比例ratiox和垂直的縮放比例ratioy計(jì)算公式如下：

(2)

式中：w1和h1為圖像縮放后的寬和高；w2和h2為圖像縮放前的寬和高。

1.2 特征金字塔

YOLOv3使用特征金字塔結(jié)構(gòu)來提升不同尺度目標(biāo)的檢測(cè)效果，在縱向上對(duì)后兩層殘差塊產(chǎn)生的特征圖進(jìn)行上采樣，與橫向尺度大小相同的特征圖融合，形成特征金字塔結(jié)構(gòu)，特征金字塔的特征圖公式如下：

Yn=φf{Xi-1,ζ(Xi)}

Y={Y2,Y1,X1}

(3)

式中：Yn為每層特征金字塔融合后的特征圖，n∈[1,2]，由上采樣操作ζ后的殘差塊特征圖Xi和前一層特征圖Xi-1進(jìn)行特征融合φf后得到；Y為特征金字塔結(jié)構(gòu)，包含3種尺度大小特征圖，即Y2、Y1和X1，X1未經(jīng)過融合故為殘差塊產(chǎn)生的特征圖。

2 MS-YOLOv3

YOLOv3在多尺度預(yù)測(cè)階段，使用特征金字塔結(jié)構(gòu)，通過上采樣將語義信息豐富的深層與當(dāng)前層融合，缺少淺層的位置信息，使融合后的特征圖信息不完整，影響目標(biāo)的檢測(cè)精度；在上采樣階段，使用最近鄰插值法作為上采樣方法，在圖像中會(huì)產(chǎn)生明顯的人工痕跡，影響整個(gè)網(wǎng)絡(luò)的學(xué)習(xí)效果，導(dǎo)致檢測(cè)模型的精度下降。針對(duì)YOLOv3的缺點(diǎn)，本文提出一種融合多尺度特征的目標(biāo)檢測(cè)算法MS-YOLOv3。實(shí)現(xiàn)框架如圖3所示。

在特征提取與多尺度融合階段，MS-YOLOv3使用darknet-53網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，將殘差塊②輸出的特征圖，分別與殘差塊③、④、⑤輸出的特征圖進(jìn)行融合，形成3種不同尺度的特征圖，作為多尺度預(yù)測(cè)的輸入。在多尺度預(yù)測(cè)階段，對(duì)輸入的特征圖使用轉(zhuǎn)置卷積操作進(jìn)行上采樣，與橫向尺度大小相同的特征圖融合，形成特征金字塔結(jié)構(gòu)，在每一層特征圖上對(duì)目標(biāo)的類別和位置進(jìn)行預(yù)測(cè)。

2.1 特征提取與多尺度特征融合

在基礎(chǔ)特征提取網(wǎng)絡(luò)中，淺層的特征圖具有更高的分辨率和更準(zhǔn)確的位置信息，但語義信息較少，深層特征圖有更豐富的語義信息，但分辨率低，刻畫目標(biāo)的位置信息粗略，對(duì)小目標(biāo)的感知能力較差。將兩者高效融合是提高檢測(cè)模型精度的關(guān)鍵?；谶@一思想，在縱向上使用darknet-53網(wǎng)絡(luò)產(chǎn)生4種尺度大小不同的特征圖進(jìn)行融合，以輸入416×416×3為例，詳細(xì)的特征提取與多尺度特征融合結(jié)構(gòu)如圖4所示。首先使用含有批歸一化和leaky ReLU激活函數(shù)的卷積操作，對(duì)darknet-53網(wǎng)絡(luò)產(chǎn)生的淺層特征圖(104×104)進(jìn)行三次下采樣(①、②、③)，其中卷積核為3×3，步長(zhǎng)為2，得到3種特征圖(52×52、26×26、13×13)。然后使用含有批歸一化的concat操作與darknet-53網(wǎng)絡(luò)縱向產(chǎn)生3種特征圖(52×52、26×26、13×13)融合。最后使用卷積核為1×1的卷積操作，對(duì)融合后的特征圖進(jìn)行降維，將最終輸出的3種特征圖(52×52、26×26、13×13)用作預(yù)測(cè)階段的輸入。

圖4 特征提取與多尺度特征融合結(jié)構(gòu)

本文使用concat操作融合特征，將兩種相同尺度大小的特征圖進(jìn)行合并，擴(kuò)充通道數(shù)，融合后特征圖的通道數(shù)為融合前兩個(gè)特征圖通道數(shù)之和。concat計(jì)算公式如下：

(4)

式中：Xi、Yi為一組輸入中的一個(gè)通道；K為卷積核；C為融合前特征圖的通道數(shù)。

2.2 改進(jìn)上采樣方法

MS-YOLOv3在上采樣階段使用轉(zhuǎn)置卷積。轉(zhuǎn)置卷積是一種在圖像特征空間進(jìn)行的自主學(xué)習(xí)的上采樣方法，相比最近鄰插值法，轉(zhuǎn)置卷積的權(quán)重可以通過訓(xùn)練網(wǎng)絡(luò)得到最優(yōu)的權(quán)重，進(jìn)而提升檢測(cè)精度。多尺度預(yù)測(cè)詳細(xì)結(jié)構(gòu)如圖5所示。

將多尺度融合輸出的三種尺度特征圖作為多尺度預(yù)測(cè)階段的輸入，首先對(duì)輸入13×13的特征圖，使用轉(zhuǎn)置卷積操作進(jìn)行2倍上采樣(①)，與輸入26×26的特征圖融合，產(chǎn)生新的26×26的特征圖。再使用轉(zhuǎn)置卷積操作(②)，對(duì)融合后26×26的特征圖進(jìn)行2倍上采樣，與輸入52×52的特征圖融合，構(gòu)建3種尺度大小的特征金字塔結(jié)構(gòu)，每一層金字塔特征包含不同層次的特征圖。最后對(duì)不同的特征進(jìn)行預(yù)測(cè)，大中小目標(biāo)都有良好的檢測(cè)效果。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

本文的實(shí)驗(yàn)環(huán)境見表1。

3.2 評(píng)價(jià)指標(biāo)

本文對(duì)車輛目標(biāo)進(jìn)行實(shí)時(shí)檢測(cè)，選擇平均精確度(AP)和每秒傳輸幀數(shù)(FPS)作為目標(biāo)檢測(cè)模型的評(píng)價(jià)指標(biāo)。AP是從精確率(Precision)和召回率(Recall)兩個(gè)角度來衡量檢測(cè)算法的準(zhǔn)確性，是評(píng)價(jià)檢測(cè)模型準(zhǔn)確性的直觀評(píng)價(jià)標(biāo)準(zhǔn)。精確率與召回率的計(jì)算公式如下：

(5)

式中：TP為檢測(cè)出正確的車輛；FP是檢測(cè)出錯(cuò)誤的車輛；FN是指未檢測(cè)出的車輛。以召回率與精確率分別作為橫坐標(biāo)與縱坐標(biāo)，繪制出P-R曲線，曲線所圍成的面積即為AP的值，面積越大，檢測(cè)精度越高。

3.3 數(shù)據(jù)集

本文使用Udacity和KITTI兩種數(shù)據(jù)集對(duì)MS-YOLOv3模型進(jìn)行驗(yàn)證。

Udacity數(shù)據(jù)集是Udacity平臺(tái)為自動(dòng)駕駛算法比賽準(zhǔn)備的數(shù)據(jù)集，對(duì)連續(xù)視頻圖片進(jìn)行標(biāo)注。數(shù)據(jù)集包括在加利福尼亞和鄰近城市在白天拍攝的視頻，其中每幅圖像最多可達(dá)24輛車。

KITTI數(shù)據(jù)集由德國(guó)卡爾斯魯厄理工學(xué)院和豐田美國(guó)技術(shù)研究院聯(lián)合創(chuàng)辦。包含市區(qū)、鄉(xiāng)村和高速公路等場(chǎng)景采集的真實(shí)圖像數(shù)據(jù)，每幅圖像中最多達(dá)15輛車，還有各種程度的遮擋與截?cái)?。兩種數(shù)據(jù)集詳細(xì)的劃分情況見表2。

3.4 參數(shù)設(shè)置

本文提出的MS-YOLOv3模型在訓(xùn)練過程中，需要先將原始圖像大小縮放到416×416，再進(jìn)行特征提取和目標(biāo)檢測(cè)。在錨點(diǎn)框的選取上，先將數(shù)據(jù)集圖像大小縮放到416×416，再使用K-means[10]算法對(duì)數(shù)據(jù)集的車輛目標(biāo)大小進(jìn)行聚類，在每個(gè)數(shù)據(jù)集中隨機(jī)選取9個(gè)目標(biāo)框作為聚集中心，Udactiy和KITTI數(shù)據(jù)集經(jīng)過31次和27次迭代后，9個(gè)聚集中心不再變化。最后聚類出9種大小不同的錨點(diǎn)框，Udacity數(shù)據(jù)集和KITTI數(shù)據(jù)集上的9種錨點(diǎn)框的大小見表3。

通過上述兩種數(shù)據(jù)集錨點(diǎn)框大小的對(duì)比可知，圖片在相同大小下，Udacity數(shù)據(jù)集中的車輛目標(biāo)要小于KITTI數(shù)據(jù)中的車輛目標(biāo)。為了達(dá)到理想的檢測(cè)精度，分別在兩個(gè)數(shù)據(jù)集上進(jìn)行訓(xùn)練。MS-YOLOv3模型訓(xùn)練時(shí)的參數(shù)設(shè)置見表4。

在Udacity和KITTI數(shù)據(jù)集上進(jìn)行訓(xùn)練，當(dāng)?shù)螖?shù)為25 000次和35 000次時(shí)，將學(xué)習(xí)率分別設(shè)置為0.000 1和0.000 01。同時(shí)通過調(diào)整曝光度、飽和度和色調(diào)等數(shù)據(jù)增強(qiáng)方法對(duì)訓(xùn)練集進(jìn)行擴(kuò)充，增加訓(xùn)練集的多樣性。

MS-YOLOv3模型在訓(xùn)練集上損失函數(shù)值曲線如圖6所示。

(a) Udacity

(b) KITTI圖6 損失函數(shù)值曲線

圖6顯示了MS-YOLOv3模型在Udacity訓(xùn)練集和KITTI訓(xùn)練集上的損失函數(shù)值曲線，經(jīng)過40 000次的迭代訓(xùn)練后，損失值維持在一個(gè)穩(wěn)定范圍，不再繼續(xù)收斂，此時(shí)網(wǎng)絡(luò)模型已經(jīng)達(dá)到最優(yōu)狀態(tài)，將訓(xùn)練好的模型用于檢測(cè)數(shù)據(jù)集中的車輛目標(biāo)。

在Udacity測(cè)試集和KITTI測(cè)試集上，將交并比(IOU)設(shè)置為0.5，置信度閾值設(shè)置為0.3，計(jì)算模型的AP。

3.5 實(shí)驗(yàn)結(jié)果

本文選擇檢測(cè)速度較快的基于回歸思想的目標(biāo)檢測(cè)算法YOLOv3、RefineDet[11]、RFB Net[12]、RetinaNet[13]和SSD[14]與MS-YOLOv3進(jìn)行實(shí)驗(yàn)對(duì)比。

3.5.1Udacity

不同方法在Udacity測(cè)試集上的實(shí)驗(yàn)結(jié)果見表5。

可以看出，本文提出的MS-YOLOv3在Udacity測(cè)試集上的AP是90.78%，分別比RefineDet、RFB Net、RetinaNet、SSD和YOLOv3高2.64百分點(diǎn)、3.72百分點(diǎn)、5.75百分點(diǎn)、8.13百分點(diǎn)和1.69百分點(diǎn)。同時(shí)為了驗(yàn)證模型不同改進(jìn)方法的有效性，將使用轉(zhuǎn)置卷積的YOLOv3和增加特征融合的YOLOv3加入對(duì)比實(shí)驗(yàn)。YOLOv3+轉(zhuǎn)置卷積和YOLOv3+特征融合的AP比YOLOv3提升了0.52百分點(diǎn)、1.31百分點(diǎn)；MS-YOLOv3的檢測(cè)速度比RefineDet、RFB Net、RetinaNet和SSD高11.96幀/s、14.46幀/s、27.45幀/s和12.4幀/s，但是比YOLOv3、YOLOv3+轉(zhuǎn)置卷積和YOLOv3+特征融合降低了4.69幀/s、3.52幀/s、0.86幀/s，這是因?yàn)镸S-YOLOv3模型中增加的卷積操作，導(dǎo)致檢測(cè)速度有一定下降，但是仍然以較高的每秒傳輸幀數(shù)實(shí)現(xiàn)了實(shí)時(shí)檢測(cè)。

3.5.2KITTI

不同方法在KITTI測(cè)試集上P-R曲線如圖7所示。

圖7 KITTI測(cè)試集上的P-R曲線

可以看出，MS-YOLOv3模型P-R曲線下方圍成的面積大于其他算法，說明MS-YOLOv3模型的檢測(cè)性能優(yōu)于其他算法。YOLOv3和MS-YOLOv3在KITTI測(cè)試集上的檢測(cè)效果對(duì)比如圖8所示。

(b) MS-YOLOv3圖8 KITTI測(cè)試集上車輛目標(biāo)檢測(cè)效果對(duì)比

可以看出，對(duì)相同圖像進(jìn)行檢測(cè)時(shí)，MS-YOLOv3比YOLOv3有更少的漏檢和錯(cuò)檢，對(duì)場(chǎng)景中不同大小的車輛目標(biāo)取得了良好的檢測(cè)效果。

4 結(jié) 語

本文提出的MS-YOLOv3算法在特征提取時(shí)將位置信息明確的淺層特征與語義豐富的深層特征進(jìn)行多尺度融合，使融合后的深層特征具有更加明確的位置信息，增強(qiáng)目標(biāo)特征表示，提升模型的檢測(cè)精度。同時(shí)使用轉(zhuǎn)置卷積操作替換原有上采樣方法中的最近鄰插值法，增強(qiáng)模型的學(xué)習(xí)能力，進(jìn)一步提升模型的檢測(cè)精度。在Udacity和KITTI數(shù)據(jù)集上的實(shí)驗(yàn)表明，MS-YOLOv3在檢測(cè)精度與檢測(cè)速度上可以達(dá)到兩者兼顧，滿足對(duì)車輛目標(biāo)進(jìn)行實(shí)時(shí)檢測(cè)的要求，且對(duì)不同尺度目標(biāo)也有較好的檢測(cè)效果。但MS-YOLOv3在檢測(cè)目標(biāo)時(shí)，需要將圖片進(jìn)行相應(yīng)的縮放，導(dǎo)致大圖像中的小目標(biāo)經(jīng)過縮小后變得更小，甚至與背景融合在一起，以至于無法檢測(cè)出來。解決此類問題，將是未來主要的研究方向。