王 玲，李厚博，王 鵬，孫爽滋

(長(zhǎng)春理工大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，吉林 長(zhǎng)春 130022)

0 引 言

傳統(tǒng)的車(chē)輛檢測(cè)方法通常將特征提取算法與分類器結(jié)合進(jìn)行檢測(cè)[1-4]，這類方法嚴(yán)重依賴人工特征提取，針對(duì)復(fù)雜多變的環(huán)境模型泛化能力較差。隨著深度學(xué)習(xí)的發(fā)展，人們發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)可以自主地提取圖像特征，對(duì)于復(fù)雜場(chǎng)景的適應(yīng)性更強(qiáng)。Ross Girshick提出目標(biāo)檢測(cè)算法R-CNN[5]，將CNN應(yīng)用于目標(biāo)檢測(cè)，使得檢測(cè)精度得到大幅度提升。但通過(guò)Selective Search提取的每一個(gè)候選框依次進(jìn)入CNN網(wǎng)絡(luò)，存在冗余特征提取、冗余存儲(chǔ)和計(jì)算復(fù)雜度大的問(wèn)題。針對(duì)上述問(wèn)題，F(xiàn)ast R-CNN[6]使用卷積特征共享、多任務(wù)損失函數(shù)的方式，顯著提高了檢測(cè)的速度與精度；Faster R-CNN[7]用RPN網(wǎng)絡(luò)取代Selective Search，并整合區(qū)域建議與卷積神經(jīng)網(wǎng)絡(luò)，不僅速度得到大大提高而且還獲得了更加精確的結(jié)果，真正實(shí)現(xiàn)了端到端的目標(biāo)檢測(cè)框架；R-FCN[8]算法引入全卷積操作，將位置敏感得分圖加入FCN，充分利用分類任務(wù)的平移不變性及檢測(cè)任務(wù)的平移可變性，解決網(wǎng)絡(luò)中全連接層計(jì)算復(fù)雜度較高的問(wèn)題，大大提升了檢測(cè)的效率。上述檢測(cè)框架主要由區(qū)域建議和檢測(cè)網(wǎng)絡(luò)兩部分組成，為典型的基于區(qū)域建議的目標(biāo)檢測(cè)算法。還有研究者提出將分類和檢測(cè)任務(wù)統(tǒng)一的基于回歸的目標(biāo)檢測(cè)算法如YOLO[9]、SSD[10,11]、YOLOv2[12]等?；诨貧w的目標(biāo)檢測(cè)算法與基于區(qū)域建議的目標(biāo)檢測(cè)算法相比，其在通用目標(biāo)檢測(cè)數(shù)據(jù)集上的檢測(cè)速度得到了大幅度提高，但也造成了檢測(cè)精度的下降。

綜上所述，R-FCN的全卷積操作不僅適用于不同尺寸圖像的輸入，顯著減少了算法計(jì)算復(fù)雜度，而且在檢測(cè)精度和效率上較為平衡，但仍無(wú)法滿足實(shí)際生活中對(duì)車(chē)輛目標(biāo)檢測(cè)高準(zhǔn)確率的要求。本文對(duì)R-FCN的車(chē)輛檢測(cè)算法進(jìn)行改進(jìn)，通過(guò)特征級(jí)聯(lián)的方式有效結(jié)合底層特征的位置及邊緣信息和高層特征的語(yǔ)義信息；引入維度分解區(qū)域提議(DeRPN)[13]網(wǎng)絡(luò)代替RPN網(wǎng)絡(luò)，使用靈活的錨鏈機(jī)制獲得更加精準(zhǔn)的候選框；預(yù)測(cè)階段使用軟化非極大值抑制算法(soft-NMS)解決重疊目標(biāo)漏檢問(wèn)題。這樣，提出的DeR-FCN可以有效優(yōu)化實(shí)際場(chǎng)景中車(chē)輛的漏檢及誤檢，顯著提高模型檢測(cè)精度。

1 相關(guān)研究

1.1 R-FCN檢測(cè)框架

R-FCN模型首先通過(guò)RPN網(wǎng)絡(luò)在特征圖上提取候選區(qū)域，然后使用RoI子網(wǎng)絡(luò)對(duì)候選區(qū)域進(jìn)行分類識(shí)別，從而實(shí)現(xiàn)目標(biāo)檢測(cè)。R-FCN總體架構(gòu)如圖1所示。

圖1 R-FCN模型架構(gòu)

1.1.1 RPN網(wǎng)絡(luò)

RPN網(wǎng)絡(luò)的主要功能是提取候選區(qū)域。RPN使用默認(rèn)大小為128×128、256×256、512×512，長(zhǎng)寬比為1∶1、1∶2、2∶1的9種固定尺寸的錨框，在特征圖上通過(guò)滑動(dòng)窗口產(chǎn)生搜索框。對(duì)每個(gè)搜索框進(jìn)行分類與回歸操作，然后通過(guò)非極大值抑制法將高度重疊的區(qū)域剔除掉，解決候選區(qū)域過(guò)多帶來(lái)的冗余問(wèn)題，最后將剩余的候選區(qū)域用于RoI子網(wǎng)絡(luò)訓(xùn)練。

1.1.2 RoI子網(wǎng)絡(luò)

將每個(gè)RoI分割為k2個(gè)部分，每個(gè)部分映射到一張Score Map上，最終得到k2個(gè)Score Map，分類的種類有C個(gè)類，背景為1個(gè)類，所以每一個(gè)Map通道數(shù)為C+1，最終得到通道數(shù)為k2(C+1)的輸出層。然后通過(guò)RoI pool即位置敏感池化操作，針對(duì)上面的其中一個(gè)Score Map執(zhí)行池化操作，重新排列成大小為k2的得分圖。在計(jì)算k2個(gè)得分圖時(shí)，假設(shè)每個(gè)RoI區(qū)域大小為w×h，則每個(gè)小區(qū)域(bin)大小為w/k×h/k，每個(gè)bin得分計(jì)算如式(1)所示

(1)

公式各參數(shù)詳情請(qǐng)參見(jiàn)文獻(xiàn)[8]。

然后對(duì)k2個(gè)得分圖進(jìn)行投票，生成C+1維向量，利用softmax函數(shù)計(jì)算每一類的置信度。

1.2 深度殘差網(wǎng)絡(luò)

2015年何凱明等在圖像識(shí)別大賽上提出一種卷積神經(jīng)網(wǎng)絡(luò)，命名為深度殘差網(wǎng)絡(luò)(ResNet)[14]，該網(wǎng)絡(luò)通過(guò)采用殘差學(xué)習(xí)的思想對(duì)多層的殘差映射進(jìn)行擬合來(lái)解決傳統(tǒng)網(wǎng)絡(luò)的退化問(wèn)題，殘差單元如圖2所示。

圖2 殘差單元

x為當(dāng)前殘差塊的入口，F(xiàn)(x)表示殘差單元第二層的輸出，H(x)為當(dāng)前殘差塊的期望映射，通過(guò)使用激活函數(shù)來(lái)縮短學(xué)習(xí)周期。

從圖2中可以看出，殘差單元通過(guò)“快捷通道”的方式，直接將輸入x傳遞到輸出目標(biāo)值H(x)，為實(shí)現(xiàn)H(x)與x之間的恒等映射，即H(x)=x，將學(xué)習(xí)目標(biāo)改變?yōu)槟繕?biāo)值H(x)和x的差值，即殘差F(x)=H(x)-x，因此訓(xùn)練目標(biāo)就是要將F(x)結(jié)果逼近于0，實(shí)現(xiàn)隨著網(wǎng)絡(luò)加深，準(zhǔn)確率不下降。

2 改進(jìn)的R-FCN模型的車(chē)輛檢測(cè)

本文提出的DeR-FCN車(chē)輛檢測(cè)方法實(shí)現(xiàn)架構(gòu)如圖3所示。

圖3 DeR-FCN模型架構(gòu)

主要由3部分構(gòu)成，第一部分是由5個(gè)卷積模塊conv1～conv5組成的特征提取部分，用于提取圖片的特征；第二部分是以DeRPN區(qū)域建議網(wǎng)絡(luò)為主的區(qū)域建議部分，用于生成區(qū)域候選框；第三部分是由RoI位置敏感得分圖及softmax分類器組成的RoI子網(wǎng)絡(luò)部分，用于車(chē)輛目標(biāo)分類和定位。

2.1 深度特征融合

圖像的信息在網(wǎng)絡(luò)不斷的卷積操作中被逐步提取，卷積得到的特征圖尺寸也逐漸變小，這意味著網(wǎng)絡(luò)對(duì)原圖像的感受野逐漸變大，因此網(wǎng)絡(luò)的底層特征提取器更好地抓住了圖像的位置和細(xì)節(jié)信息，但由于經(jīng)過(guò)的卷積較少，提取到的特征語(yǔ)義信息較低，噪聲較多；網(wǎng)絡(luò)的高層特征提取器更好地抓住了圖像的語(yǔ)義信息，但提取到的特征分辨率很低，對(duì)細(xì)節(jié)的感知能力較差。為解決特征圖中包含信息不充分的問(wèn)題，DeR-FCN模型以ResNet 101為基礎(chǔ)網(wǎng)絡(luò)，去掉網(wǎng)絡(luò)中原有的全局平均池化層和最后的全連接層，只使用卷積層計(jì)算特征圖，并使用特征融合模塊將包含豐富位置及細(xì)節(jié)信息的底層特征和包含語(yǔ)義信息的高層特征進(jìn)行拼接得到最終的特征圖。DeR-FCN模型有一個(gè)特征融合模塊，即Conv3-b3、Conv4-b22與Conv5-c的特征融合模塊，融合模塊結(jié)構(gòu)如圖4所示。

圖4 特征融合模塊

為了將Conv3-b3、Conv4-b22與Conv5-c的特征圖進(jìn)行融合，本文選用不同尺度特征直接級(jí)聯(lián)預(yù)測(cè)的方式(Concat)進(jìn)行特征融合。假設(shè)Conv3-b3輸出尺度為28×28×512，則Conv4-b22與Conv5-c的輸出尺度分別為14×14×1024和14×14×2048，所以進(jìn)行特征級(jí)聯(lián)操作之前需要對(duì)Conv3-b3的特征圖進(jìn)行下采樣，模塊Conv3-b3首先通過(guò)卷積核大小為2×2的平均下采樣層，輸出通過(guò)激活函數(shù)層(ReLU)得到14×14× 512的特征圖。Conv3-b3經(jīng)過(guò)下采樣層的輸出與Conv4-b22及Conv5-c的輸出依據(jù)層次前后進(jìn)行特征級(jí)聯(lián)操作，合并之后傳入ReLU層得到14×14×3584的特征圖。然后添加一個(gè)卷積核為1×1通道數(shù)為1024的卷積層，降低輸入特征圖的維度，最后在一個(gè)ReLU層之后實(shí)現(xiàn)融合功能。

2.2 維度分解的候選區(qū)域提取方法

區(qū)域建議方法作為兩階段檢測(cè)算法的重要組成部分，對(duì)最終檢測(cè)結(jié)果有重要影響。近年來(lái)基于區(qū)域的檢測(cè)方法絕大多數(shù)都使用RPN來(lái)生成區(qū)域提議。但RPN中采用的錨箱非常敏感，限制了對(duì)變體對(duì)象的適應(yīng)性。在一些特殊的目標(biāo)檢測(cè)模型中直接使用RPN作為區(qū)域提議方法，不能產(chǎn)生應(yīng)有的效果，且性能會(huì)顯著縮減，所以許多用于特殊場(chǎng)景檢測(cè)的方法強(qiáng)調(diào)手動(dòng)錨箱的設(shè)計(jì)[15,16]。但是，手動(dòng)設(shè)置錨箱很麻煩，很難保證最佳性能。盡管Redmon和Farhadi提出了一種基于K均值聚類的算法來(lái)預(yù)先計(jì)算錨箱，但改進(jìn)仍然有限。因此，本文采用維數(shù)分解的思想來(lái)解決錨箱敏感的問(wèn)題，通過(guò)維度分解機(jī)制，使用靈活的錨邊，生成具有高召回率和更精準(zhǔn)的區(qū)域提案，從而提高模型的檢測(cè)精度，圖5為DeRPN示意圖。

圖5 DeRPN

DeRPN網(wǎng)絡(luò)將Conv4-b22模塊輸出的特征圖作為輸入，輸出大小不一的矩形區(qū)域候選框。DeRPN網(wǎng)絡(luò)的操作流程如圖6所示，主要包含了維度分解和維度重組兩個(gè)步驟。

圖6 DeRPN流程

維度分解引入錨邊(anchor strings)機(jī)制，讓目標(biāo)的寬高獨(dú)立地與錨邊進(jìn)行匹配，以尋求最佳的回歸參考，如圖6(a)所示，粗線代表匹配良好的錨邊。匹配最佳錨邊實(shí)現(xiàn)如式(2)所示

(2)

其中，Mj表示第j個(gè)目標(biāo)的匹配錨邊的索引集，ej是目標(biāo)的寬度或高度，ai是第i個(gè)錨邊。

接下來(lái)對(duì)錨邊進(jìn)行分類和回歸操作，如圖6(b)所示，實(shí)線代表分類回歸后高概率的錨邊，錨邊回歸預(yù)測(cè)如式(3)所示

(3)

然后將所預(yù)測(cè)的線段經(jīng)過(guò)維度重組恢復(fù)成二維的候選區(qū)域框，如圖6(c)所示。DeRPN網(wǎng)絡(luò)采用了像素組合的維度重組算法，可以精確地召回檢測(cè)目標(biāo)，實(shí)現(xiàn)如式(4)所示

(4)

最后過(guò)濾掉重疊的以及得分較低的邊界框，從而得到高概率目標(biāo)區(qū)域候選框,如圖6(d)所示。

2.3 軟化非極大值抑制

R-FCN模型在預(yù)測(cè)階段會(huì)產(chǎn)生大量冗余候選框，加入非極大值抑制算法(NMS)能夠準(zhǔn)確剔除重疊的候選框，保留目標(biāo)最佳坐標(biāo)，提高模型的平均精度。NMS算法在目標(biāo)與目標(biāo)相距較遠(yuǎn)的情況下有著較好的檢測(cè)定位效果，但當(dāng)不同的目標(biāo)在重疊區(qū)域出現(xiàn)時(shí)，則導(dǎo)致對(duì)目標(biāo)的檢測(cè)失敗，從而影響模型的檢出率。因此DeR-FCN引入Soft-NMS[17]代替?zhèn)鹘y(tǒng)NMS算法。Soft-NMS算法如式(5)所示

(5)

Soft-NMS算法各參數(shù)詳情請(qǐng)參見(jiàn)文獻(xiàn)[17]。

Soft-NMS算法對(duì)IoU大于閾值的窗口，進(jìn)行得分加權(quán)處理，并非直接置為0，從而有效避免漏檢重疊區(qū)域目標(biāo)，并且Soft-NMS算法對(duì)剔除冗余檢測(cè)結(jié)果有較好的效果，有效提升了模型的檢測(cè)精度。

在模型訓(xùn)練過(guò)程中，DeR-FCN圖像輸入尺寸設(shè)置為600、850、1100，每張圖像被隨機(jī)分配一種尺寸輸入到網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)模型的多尺度訓(xùn)練，增強(qiáng)模型對(duì)不同尺度目標(biāo)的特征提取能力及模型的泛化能力。同時(shí)為解決模型學(xué)習(xí)樣本不均衡的問(wèn)題，加入在線難例挖掘算法，挑選出訓(xùn)練過(guò)程中損失值最大的k個(gè)目標(biāo)區(qū)域作為難例加入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，計(jì)算損失，并反向傳播累計(jì)梯度來(lái)更新整個(gè)網(wǎng)絡(luò)的參數(shù)，從而提高網(wǎng)絡(luò)對(duì)數(shù)據(jù)集中難樣本或與正樣本相似的混淆負(fù)樣本的識(shí)別效果。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)運(yùn)行環(huán)境見(jiàn)表1。

表1 實(shí)驗(yàn)運(yùn)行環(huán)境

3.2 實(shí)驗(yàn)數(shù)據(jù)集

為驗(yàn)證本文改進(jìn)算法在真實(shí)場(chǎng)景中的實(shí)用性，選用包含高速公路、城市道路和鄉(xiāng)村道路等真實(shí)場(chǎng)景圖像的KITTI數(shù)據(jù)集，人為對(duì)原數(shù)據(jù)集進(jìn)行篩選，保留包含Car，Van，Truck和Tram類別標(biāo)簽的6820張圖像作為實(shí)驗(yàn)數(shù)據(jù)，同時(shí)根據(jù)實(shí)驗(yàn)框架需求將其轉(zhuǎn)化為PASCAL VOC2007數(shù)據(jù)集格式，其中80%劃分為訓(xùn)練集，20%劃分為測(cè)試集。并且為了驗(yàn)證DeR-FCN針對(duì)不同物體檢測(cè)的有效性，本文在開(kāi)源的數(shù)據(jù)集PASCAL VOC2012上對(duì)DeR-FCN與常用的目標(biāo)檢測(cè)算法進(jìn)行對(duì)比評(píng)估，該數(shù)據(jù)集包括20個(gè)不同的對(duì)象類別，以及17 125張圖片。實(shí)驗(yàn)前隨機(jī)將數(shù)據(jù)的60%劃分為訓(xùn)練集，40%劃分為測(cè)試集。

3.3 模型評(píng)價(jià)指標(biāo)

本文使用AP和mAP作為模型的評(píng)價(jià)指標(biāo)，AP由精度和召回率兩部分組成。

(1)精度P(precision)指被判定為正例中真正的正例樣本的比重，精度計(jì)算如式(6)所示

(6)

(2)召回率R(recall)指被判定的真正的正例樣本占總的正例樣本的比重，召回率計(jì)算如式(7)所示

(7)

其中，TP為模型預(yù)測(cè)正確的正樣本個(gè)數(shù)，F(xiàn)P為模型預(yù)測(cè)錯(cuò)誤的負(fù)樣本個(gè)數(shù)，F(xiàn)N為模型預(yù)測(cè)錯(cuò)誤的正樣本個(gè)數(shù)。

首先以每一類的精度和召回率為坐標(biāo)繪制曲線，得到該類的R-P曲線，然后計(jì)算每一類R-P曲線與坐標(biāo)軸之間面積得到該類的AP，最后再對(duì)所有類別的AP求平均值，即可求得mAP。

3.4 模型訓(xùn)練參數(shù)

實(shí)驗(yàn)?zāi)Ｐ陀?xùn)練參數(shù)見(jiàn)表2。

表2 模型訓(xùn)練參數(shù)

DeR-FCN模型在KITTI數(shù)據(jù)集上訓(xùn)練時(shí)總共迭代110 000次，經(jīng)過(guò) 80 000 次迭代學(xué)習(xí)率降為原來(lái)的0.1，模型訓(xùn)練的損失收斂情況如圖7所示。

從圖7中可以看出，模型訓(xùn)練損失曲線隨迭代次數(shù)的增加呈下降趨勢(shì)，當(dāng)模型訓(xùn)練次數(shù)達(dá)到100 000次之后，損失值總體下降趨勢(shì)趨于平緩，不再有大幅度下降，至此模型訓(xùn)練結(jié)束。

3.5 實(shí)驗(yàn)結(jié)果與分析

3.5.1 不同模型在KITTI數(shù)據(jù)集上檢測(cè)效果對(duì)比

利用基于回歸的檢測(cè)算法YOLOv2、SSD以及基于區(qū)域建議的檢測(cè)算法Faster R-CNN、R-FCN、DeR-FCN對(duì)KITTI中的測(cè)試集圖像進(jìn)行檢測(cè)，各算法的類別檢測(cè)結(jié)果如圖8所示。

圖7 損失曲線

圖8 不同模型的檢測(cè)準(zhǔn)確率對(duì)比

從圖8中可以看出，DeR-FCN算法在各類別上的檢測(cè)精度均高于其它算法，且與原算法相比各類別的檢測(cè)精度都有很大的提升，這是因?yàn)镈eR-FCN網(wǎng)絡(luò)結(jié)構(gòu)融合了低層特征的位置和邊緣信息和高層特征的語(yǔ)義信息，使得模型在保持原有檢測(cè)精度的前提下對(duì)小目標(biāo)檢測(cè)具有更強(qiáng)的適應(yīng)性；引入DeRPN網(wǎng)絡(luò)提高了模型對(duì)變體對(duì)象的適應(yīng)性，獲得更加貼合目標(biāo)的候選框；預(yù)測(cè)階段使用軟化非極大值抑制算法有效避免重疊區(qū)域車(chē)輛漏檢；訓(xùn)練階段使用在線難例挖掘算法有效提高模型對(duì)難識(shí)別樣本或與正樣本相似的混淆負(fù)樣本的識(shí)別效果，從而提高了模型的檢出率。

表3是Faster R-CNN、YOLOv2、SSD、R-FCN與本文提出的DeR-FCN算法在KITTI數(shù)據(jù)集進(jìn)行測(cè)試的實(shí)驗(yàn)結(jié)果。從表中可以看到，本文提出的DeR-FCN獲得了86.06%的mAP和0.184 s/張的檢測(cè)速度，在精度方面優(yōu)于所有其它算法，但在檢測(cè)速度方面遜色于基于回歸的檢測(cè)模型YOLOv2和SSD，與原R-FCN算法相比本文提出的方法檢測(cè)精度提高了8.96個(gè)百分點(diǎn)，由于改進(jìn)后算法網(wǎng)絡(luò)結(jié)構(gòu)更加復(fù)雜每張圖像檢測(cè)時(shí)長(zhǎng)增加了0.008 s，但也基本滿足實(shí)時(shí)檢測(cè)的要求。

表3 不同模型在KITTI數(shù)據(jù)集上檢測(cè)結(jié)果對(duì)比

圖9顯示了DeR-FCN方法在KITTI數(shù)據(jù)集上檢測(cè)的效果。

圖9 模型檢測(cè)結(jié)果展示

從圖9中可以看出，本文提出的模型對(duì)復(fù)雜環(huán)境中遮擋車(chē)輛及小目標(biāo)車(chē)輛檢測(cè)具有較好的魯棒性。

3.5.2 不同模型在PASCAL VOC數(shù)據(jù)集上檢測(cè)效果對(duì)比

DeR-FCN算法與其它算法在PASCAL VOC數(shù)據(jù)集進(jìn)行訓(xùn)練與測(cè)試的實(shí)驗(yàn)結(jié)果見(jiàn)表4。從表中可以看到，本文改進(jìn)后的DeR-FCN對(duì)20個(gè)不同物體類別的mAP為71.5%，與改進(jìn)前的R-FCN模型相比提高了2.6個(gè)百分點(diǎn)，實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的DeR-FCN模型適用于一般物體的目標(biāo)檢測(cè)。

表4 不同模型在PASCAL數(shù)據(jù)集上檢測(cè)結(jié)果對(duì)比

4 結(jié)束語(yǔ)

針對(duì)復(fù)雜城市環(huán)境下車(chē)輛檢測(cè)遮擋、小目標(biāo)漏檢、誤檢等精度低下問(wèn)題，本文提出了DeR-FCN算法，考慮特征提取階段不同卷積層的特征圖具有不同圖像信息的特點(diǎn)，加入深度特征融合模塊，并使用維度分解區(qū)域提議網(wǎng)絡(luò)生成更加精準(zhǔn)的區(qū)域候選框，同時(shí)在預(yù)測(cè)階段引入軟化非極大值抑制算法，顯著提高模型對(duì)遮擋目標(biāo)的檢出率。在公共數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文提出的DeR-FCN車(chē)輛檢測(cè)算法在檢測(cè)精度上具有較為明顯的優(yōu)勢(shì)，且適用于其它物體的目標(biāo)檢測(cè)。未來(lái)考慮在保證模型檢測(cè)精度的基礎(chǔ)上，裁剪優(yōu)化基礎(chǔ)網(wǎng)絡(luò)，提升網(wǎng)絡(luò)的實(shí)時(shí)性能，以便更好應(yīng)用于現(xiàn)實(shí)生活中。