譚芳喜，肖世德,2，周亮君，李晟堯

(1.西南交通大學(xué) 機(jī)械工程學(xué)院，四川 成都 610031；2.軌道交通運(yùn)維技術(shù)與裝備四川省重點(diǎn)實(shí)驗(yàn)室，四川 成都 610031)

0 引 言

目標(biāo)檢測作為計(jì)算機(jī)視覺研究領(lǐng)域的熱點(diǎn)，一直受到許多學(xué)者的關(guān)注。傳統(tǒng)的目標(biāo)檢測算法主要是基于設(shè)計(jì)好的手工特征來進(jìn)行檢測，檢測的效果主要與設(shè)計(jì)的特征質(zhì)量有關(guān)。對于不同的目標(biāo)而言，沒有一種通用的特征，只能根據(jù)檢測對象的特點(diǎn)有針對性地設(shè)計(jì)特征，所以魯棒性很差[1-2]。近年來，基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)取得了長足的進(jìn)步，無論是在檢測效率還是準(zhǔn)確率上都取得了很好的效果[3-4]。

目前基于深度學(xué)習(xí)的目標(biāo)檢測算法大致可以分為兩種方式：Two-stage目標(biāo)檢測算法與One-stage目標(biāo)檢測算法。Two-stage系列算法在目標(biāo)檢測過程中分兩步完成，首先通過算法生成一系列的候選區(qū)域，然后再通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，代表性的算法有RCNN[5]、Fast RCNN[6]、Faster RCNN[7]等，這一系列算法在檢測的準(zhǔn)確率和定位精度上相對要好一些，但在檢測速度上無法滿足實(shí)時(shí)性的需求。One-stage系列算法將目標(biāo)檢測問題直接當(dāng)作回歸問題來處理，不產(chǎn)生候選區(qū)域，直接預(yù)測出目標(biāo)位置與類別；代表性的算法有YOLO[8]、YOLOv2[9]、YOLOv3[10]、SSD[11-12]、RetinaNet[13]等，One-stage系列的算法精度上相對于Two-stage系列算法要低一些，但是檢測速度要快很多。

該文以O(shè)ne-stage系列算法中的YOLOv3為基礎(chǔ)，針對道路環(huán)境下的常見目標(biāo)，提出了一種改進(jìn)算法以增強(qiáng)YOLOv3的檢測能力。通過引入深度可分離卷積模塊減少參數(shù)計(jì)算量；采用K-Means++算法確定數(shù)據(jù)集的先驗(yàn)錨點(diǎn)框；在多尺度預(yù)測網(wǎng)絡(luò)結(jié)構(gòu)中嵌入SENet模塊，增強(qiáng)網(wǎng)絡(luò)提取特征的能力；引入DIoU作為邊界框位置損失函數(shù)，解決IoU無法反映預(yù)測框與真實(shí)框重合度大小、無法優(yōu)化IoU為零等問題；最后利用DIoU-NMS去除冗余框，實(shí)現(xiàn)準(zhǔn)確定位。

1 YOLOv3介紹

1.1 YOLOv3基本思想

YOLOv3算法作為一種端到端的目標(biāo)檢測模型，只需要在輸入端輸入圖像數(shù)據(jù)即可在輸出端得到一個(gè)預(yù)測結(jié)果，預(yù)測結(jié)果為邊界框的位置信息、置信度以及所屬類別。如圖1所示，其基本思想是將輸入圖片分割成S×S個(gè)網(wǎng)格，如果標(biāo)注的目標(biāo)中心坐標(biāo)落在某個(gè)網(wǎng)格中，那么就由該網(wǎng)格來檢測這個(gè)目標(biāo)。每一個(gè)網(wǎng)格都會預(yù)測出B個(gè)邊界框，每個(gè)邊界框都包含位置信息(x,y,w,h)、置信度(Confidence)以及C個(gè)類別的概率，對于輸出層來說，最終的輸出維度為：S×S×B×(4+1+C)的張量。置信度是指邊界框包含目標(biāo)的可能性Pr(object)以及包含目標(biāo)情況下邊界框準(zhǔn)確度IoU的乘積，計(jì)算公式如下：

圖1 目標(biāo)檢測流程

(1)

上述公式中，當(dāng)檢測目標(biāo)位于該網(wǎng)格中，Pr(object)=1，否則為0。IoU用于表達(dá)真實(shí)框與預(yù)測框的重疊度，表示的是預(yù)測框和真實(shí)框的交集與并集的比值。當(dāng)一個(gè)目標(biāo)被多個(gè)檢測框所預(yù)測時(shí)，通過設(shè)定閾值，將置信度低于閾值的邊界框去除，并且對高于閾值的邊界框進(jìn)行非極大值抑制，去除多余的邊框，最終得到最佳邊界框。

1.2 YOLOv3特征提取網(wǎng)絡(luò)

YOLOv3主要是由特征提取網(wǎng)絡(luò)Darknet-53和多尺度預(yù)測網(wǎng)絡(luò)兩部分組成。其特征提取網(wǎng)絡(luò)Darknet-53在YOLOv2的基礎(chǔ)上引入了殘差模塊和跳躍連接構(gòu)成了全新網(wǎng)絡(luò)來對輸入圖像進(jìn)行特征提取，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。該網(wǎng)絡(luò)主要由1×1和3×3的卷積層構(gòu)成，減少了模型的參數(shù)量和計(jì)算量，在每次卷積之后都會加上一個(gè)BN層和LeakyReIU層，解決梯度爆炸和梯度消失的問題，加快網(wǎng)絡(luò)的收斂速度。而且該網(wǎng)絡(luò)中沒有池化層和全連接層，特征圖尺寸的變化是通過改變卷積核的步長來實(shí)現(xiàn)的，減少了特征信息的丟失。相比于YOLOv2使用的Darknet-19，Darknet-53加入了5個(gè)殘差模塊，使網(wǎng)絡(luò)深度大大增加，雖然模型實(shí)時(shí)性能有所下降，但模型的檢測精度大幅提升。Darknet-53在ImageNet上的實(shí)驗(yàn)結(jié)果也表明，其分類精度與ResNet-152和ResNet101相差不大，但是網(wǎng)絡(luò)層數(shù)比它們少，計(jì)算速度比它們快，是一種非常優(yōu)秀的特征提取網(wǎng)絡(luò)。

圖2 Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)

2 基于YOLOv3的改進(jìn)算法

2.1 先驗(yàn)框聚類

YOLOv3引入了錨點(diǎn)框機(jī)制，錨點(diǎn)框的尺寸大小直接決定了在輸出層每一個(gè)網(wǎng)格單元上做出的預(yù)測框的大小。如果錨點(diǎn)框的大小一開始就和被檢測的物體形狀相近，那么訓(xùn)練的收斂速度就會更快，而且整體性能也會更好，反之則可能導(dǎo)致模型難以收斂。

YOLOv3中選用了K-Means算法進(jìn)行先驗(yàn)框聚類，但是K-Means算法受初始點(diǎn)選取的影響較大，從而容易導(dǎo)致聚類結(jié)果不穩(wěn)定。故采用K-Means++[14]算法來進(jìn)行聚類，該算法主要是對初始點(diǎn)的選取進(jìn)行改進(jìn)，基本思想就是初始點(diǎn)的聚類中心之間的距離要盡可能得遠(yuǎn)。算法流程如下：

(1)從數(shù)據(jù)集當(dāng)中隨機(jī)選取一個(gè)樣本點(diǎn)，作為最初的聚類中心。

(2)計(jì)算每個(gè)樣本點(diǎn)與當(dāng)前已有聚類中心之間的最小距離(即與最近的一個(gè)聚類中心的距離)，再計(jì)算每個(gè)樣本點(diǎn)被選為下一個(gè)聚類中心的概率P，按照輪盤賭法選出下一個(gè)聚類中心點(diǎn)。

(3)重復(fù)步驟(2)直至選出K個(gè)聚類中心為止。

(4)對數(shù)據(jù)集中的每個(gè)樣本點(diǎn)都計(jì)算它到K個(gè)聚類中心點(diǎn)的距離，并將該樣本點(diǎn)劃分到離它最近的聚類中心點(diǎn)。

(5)對每個(gè)類別重新計(jì)算聚類中心點(diǎn)。

(6)重復(fù)(4)、(5)兩步直至聚類中心穩(wěn)定。

K-Means++算法的距離度量公式為：

d(b,c)=1-RIOU(b,c)

(2)

其中，b為預(yù)測的矩形框，c為真實(shí)的矩形框，表示兩個(gè)矩形框重疊度。IoU的定義如圖3所示。

圖3 IoU定義

為了得到適合的錨點(diǎn)框數(shù)量，該文對平均IoU與錨點(diǎn)框數(shù)量的關(guān)系進(jìn)行了分析。從圖4中可以看出，剛開始隨著聚類中心點(diǎn)數(shù)量的增加，平均IoU快速增長，當(dāng)聚類中心點(diǎn)數(shù)量增加到9以后，平均IoU增速越來越慢，所以最終選擇了9個(gè)錨點(diǎn)框聚類，并且在3個(gè)不同尺度上對這9組錨點(diǎn)框進(jìn)行分配。其尺寸分別為(68，74)，(142，138)，(150，190)，(210，190)，(235，196)，(260，225)，(352,314)，(355，317)，(376，332)，平均IoU與錨點(diǎn)框個(gè)數(shù)的關(guān)系如圖4所示。

圖4 錨點(diǎn)框聚類分析結(jié)果

2.2 深度可分離卷積

標(biāo)準(zhǔn)的卷積在卷積時(shí)要同時(shí)考慮所有的通道數(shù)，所以會產(chǎn)生大量的參數(shù)計(jì)算。深度可分離卷積[15-16]是分別對每個(gè)通道做卷積，然后對每個(gè)通道上采集到的特征進(jìn)行融合。假設(shè)有H×W×C的輸入，有k個(gè)3×3的卷積，padding=1,stride=1,標(biāo)準(zhǔn)卷積的計(jì)算量：H×W×C×k×3×3，深度可分離卷積計(jì)算量：H×W×C×3×3+H×W×C×k，計(jì)算量壓縮為：

可以看出，深度可分離卷積在在輸入?yún)?shù)相同的條件下，計(jì)算量大大減少，所以對YOLOv3的所有stride=1的3×3的卷積核使用深度可分離卷積模塊來代替，加快模型計(jì)算速度。

2.3 SENet嵌入

SENet[17-18]是由Momenta胡杰團(tuán)隊(duì)于2017年提出的網(wǎng)絡(luò)結(jié)構(gòu)，SENet以顯式地建模特征通道之間的相互依賴關(guān)系為切入點(diǎn)，通過學(xué)習(xí)的方式來自動(dòng)獲取每個(gè)特征通道的重要程度，然后按照這個(gè)重要程度去提升有用的特征并抑制對當(dāng)前任務(wù)用處不大的特征。

SENet主要包括兩個(gè)過程，分別是Squeeze過程和Excitation過程。其具體過程如下：

(1)Squeeze過程:相對于傳統(tǒng)的卷積只是在一個(gè)局部空間上進(jìn)行特征信息的提取，很難獲得足夠的信息來表征各個(gè)通道之間的關(guān)系，而Squeeze是在一個(gè)通道上對整個(gè)空間的特征進(jìn)行提取，每一個(gè)特征通道經(jīng)過Squeeze之后都會產(chǎn)生一個(gè)實(shí)數(shù)，這個(gè)實(shí)數(shù)是通過全局平均池化所產(chǎn)生的，因此在某種程度上這個(gè)值具有全局的感受野，計(jì)算公式如下：

(3)

(2)Excitation過程：Squeeze之后得到了圖像的全局特征，再用Excitation提取各個(gè)通道之間的關(guān)系?；舅悸肪褪峭ㄟ^FC-Relu-FC-Sigmoid操作生成每個(gè)通道的權(quán)重，然后對每個(gè)通道用對應(yīng)的權(quán)重進(jìn)行加權(quán)，實(shí)現(xiàn)在各個(gè)通道上對原始特征的重標(biāo)定。計(jì)算公式如下：

s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1z))

(4)

(5)

SE模塊可以輕松地嵌入到所有主流的網(wǎng)絡(luò)結(jié)構(gòu)中，并提升原有模型的性能。如圖5所示，將SENet嵌入到Resent網(wǎng)絡(luò)中，可以看到只需要簡單的幾步即可實(shí)現(xiàn)網(wǎng)絡(luò)優(yōu)化，提高模型的性能。

圖5 SENet嵌入Resnet網(wǎng)絡(luò)結(jié)構(gòu)

提出將SENet與Resnet[19]相結(jié)合并引入到Y(jié)OLOv3的多尺度預(yù)測網(wǎng)絡(luò)中，實(shí)現(xiàn)對網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化，文中算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 改進(jìn)算法網(wǎng)絡(luò)結(jié)構(gòu)

2.4 損失函數(shù)改進(jìn)

在YOLOv3中，損失函數(shù)由中心坐標(biāo)誤差、寬高坐標(biāo)誤差、置信度誤差和分類誤差四部分構(gòu)成。其中，中心坐標(biāo)誤差、寬高坐標(biāo)誤差采用均方誤差計(jì)算，置信度誤差和分類誤差采用交叉熵?fù)p失函數(shù)計(jì)算。在置信度誤差計(jì)算中，IoU的大小直接決定了預(yù)測框與真實(shí)框的相似度情況，對損失函數(shù)的計(jì)算有著重大影響，但是使用IoU時(shí)對于預(yù)測框和真實(shí)框不相交、兩個(gè)邊框的真實(shí)重疊情況等問題，無法有效做出判斷。為了解決上述問題，該文使用DIoU[20]來替代IoU，其中DIoU Loss的計(jì)算公式如下：

(6)

d=ρ(a,b)

(7)

其中，IoU在前文中已經(jīng)定義過，a為預(yù)測框的中心點(diǎn)，b為真實(shí)框的中心點(diǎn)，是兩框中心點(diǎn)的歐氏距離，c是覆蓋兩框的最小封閉框的對角線長度，d是預(yù)測框中心點(diǎn)和真實(shí)框中心點(diǎn)的距離，DIoU Loss的示意圖如圖7所示。

圖7 DIou Loss示意圖

2.5 非極大值抑制

在傳統(tǒng)NMS中，IoU指標(biāo)常用于抑制冗余邊界框，因?yàn)橹豢紤]重疊區(qū)域的影響，所以對存在遮擋的情況經(jīng)常產(chǎn)生錯(cuò)誤的抑制。該文采用DIoU-NMS[20]算法，利用DIoU代替原來的IoU，同時(shí)考慮了重疊區(qū)域和兩個(gè)邊界框的中心距離的影響，減少錯(cuò)誤的抑制。計(jì)算公式如下:

(8)

(9)

其中，閾值可以取0.43到0.48的值，c和d分別表示覆蓋兩框的最小封閉框的對角線長度和預(yù)測框中心點(diǎn)和真實(shí)框中心點(diǎn)的距離，在前面已經(jīng)給出。

3 實(shí)驗(yàn)結(jié)果與分析

文中算法是在pytorch深度學(xué)習(xí)框架上實(shí)現(xiàn)，實(shí)驗(yàn)使用的配置為NVIDIA GeForce GTX1070 GPU、16G 內(nèi)存、操作系統(tǒng)為Ubuntu16.04的硬件平臺上訓(xùn)練與檢測。模型訓(xùn)練策略如表1所示。文中通過計(jì)算一張圖片耗時(shí)、幀率、準(zhǔn)確度與平均精度進(jìn)行模型性能評估。

表1 檢測模型訓(xùn)練策略

3.1 數(shù)據(jù)集

文中數(shù)據(jù)集是從COCO數(shù)據(jù)集獲得，目標(biāo)包括人、小汽車、卡車、自行車、客車5類道路常見的目標(biāo)。訓(xùn)練集共計(jì)12 750張樣本，其樣本分布如圖8所示。

圖8 數(shù)據(jù)集樣本分布

3.2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證文中提出模型的性能，將改進(jìn)算法與YOLOv3進(jìn)行性能測試對比，結(jié)果見表2和表3。通過對表格數(shù)據(jù)的分析可以發(fā)現(xiàn)改進(jìn)之后的算法在均值平均精度(mAP)、5類不同目標(biāo)檢測準(zhǔn)確率和檢測耗時(shí)上都較YOLOv3有了不同程度的提升，這反映出了文中算法改進(jìn)的有效性。

表2 改進(jìn)算法與YOLOv3模型檢測準(zhǔn)確率對比

表3 改進(jìn)算法與YOLOv3模型檢測耗時(shí)對比

4 結(jié)束語

基于YOLOv3算法提出了一種針對道路環(huán)境下常見目標(biāo)檢測的改進(jìn)方法。首先，利用K-Means++算法對數(shù)據(jù)集的錨點(diǎn)框重新聚類，得到新的聚類中心點(diǎn)。然后，對YOLOv3的3×3的卷積核進(jìn)行深度可分離卷積，提高模型計(jì)算效率。其次，將SENet與Resnet相結(jié)合并引入到Y(jié)OLOv3的多尺度預(yù)測網(wǎng)絡(luò)，提高模型的性能。最后，改用DIoU代替IoU去判斷真實(shí)框和預(yù)測框的相交情況。實(shí)驗(yàn)結(jié)果表明，該方法具有較好的魯棒性，相對于YOLOv3算法，模型的均值平均精度(mAP)、5類不同目標(biāo)檢測準(zhǔn)確率均有所提升，檢測耗時(shí)更短，提高了模型的檢測性能。