胡 輝，曾 琛

(華東交通大學(xué) 信息工程學(xué)院，江西 南昌 330013)

0 引 言

近年來，在目標(biāo)檢測方面運(yùn)用神經(jīng)網(wǎng)絡(luò)[1]變得十分流行。文獻(xiàn)[2-4]分別介紹了Fast RCNN、Faster RCNN、R-FCN目標(biāo)檢測框架。它們均是二階段目標(biāo)檢測[5]框架，先提取候選框，然后進(jìn)行分類。而一階段目標(biāo)檢測網(wǎng)絡(luò)有SSD[6](single shot multibox detector)和YOLO[7](you only look once)，它們將候選區(qū)域和區(qū)域分類結(jié)合起來一同輸出。YOLO檢測算法對于相距較近的物體檢測結(jié)果不佳。SSD沿用了YOLO中回歸邊框定位，但是網(wǎng)絡(luò)中default box的大小和形狀不能直接通過學(xué)習(xí)獲得，需要一定的調(diào)參經(jīng)驗(yàn)。

R-FCN作為目前目標(biāo)檢測領(lǐng)域一種先進(jìn)的檢測方式，在檢測精確度和檢測時間方面都有著不錯的表現(xiàn)。但是，在檢測小目標(biāo)以及遮擋等復(fù)雜情況下的目標(biāo)時仍然存在著問題。因此，本文以R-FCN為基礎(chǔ)，結(jié)合多尺度訓(xùn)練、可變形網(wǎng)絡(luò)[8]、軟化非極大值抑制[9](soft-nms)的方法，并對參數(shù)進(jìn)行合理調(diào)整，將其轉(zhuǎn)化為車輛二分類的問題，降低了環(huán)境因素的影響，提高了檢測的精確度。

1 車輛檢測系統(tǒng)框架

基于R-FCN的車輛檢測框架如圖1所示。輸入圖片后，基礎(chǔ)網(wǎng)絡(luò)中的卷積層對圖片的特征提取后送入?yún)^(qū)域建議網(wǎng)絡(luò)(region proposal network，RPN)進(jìn)行訓(xùn)練，并生成候選區(qū)域，每張圖片生成300個候選區(qū)域，通過卷積生成的位置敏感得分圖對候選區(qū)域加入位置信息，然后完成池化和分類。

圖1 R-FCN檢測框架

1.1 R-FCN算法

R-FCN算法采用RPN提取候選框，把ROI分成k×k的大小，假設(shè)數(shù)據(jù)有C類，加上背景一共(C+1)類，則通過卷積結(jié)構(gòu)生成有k2(C+1)通道的位置敏感得分圖，通過一個位置敏感的ROI Pooling產(chǎn)生(C+1)維的置信度，然后使用softmax進(jìn)行分類。

1.1.1 區(qū)域建議網(wǎng)絡(luò)

RPN的輸入為圖像特征圖，輸出為矩形候選框。RPN對特征圖采用滑動窗口的方式，用3×3的卷積核對它進(jìn)行卷積，生成一個全連接特征之后產(chǎn)生兩個分支的全連接層，一個用來判斷滑動窗口區(qū)域內(nèi)的特征是圖像的前景還是背景，另一個用來預(yù)測該區(qū)域的回歸坐標(biāo)值。在每個滑動框中心都有一個錨點(diǎn)，對應(yīng)于輸入圖像的尺度預(yù)測(例如8、16、32)和寬高比(例如0.5、1、2)。這樣每個錨點(diǎn)可以產(chǎn)生9個錨框，RPN結(jié)構(gòu)如圖2所示。

圖2 RPN結(jié)構(gòu)

1.1.2 位置敏感得分圖

(1)

其中，rc對應(yīng)為第c類第 (i,j) 個塊的池化，zi,j,c是得分圖的輸出， (x0,y0) 是ROI左上角坐標(biāo)，n為塊中的像素?cái)?shù)，Θ代表從網(wǎng)絡(luò)中學(xué)習(xí)到的參數(shù)。

圖3 位置敏感得分圖

1.2 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)[10](ResNet)是由何凱明等提出，從深度學(xué)習(xí)的發(fā)展經(jīng)驗(yàn)來看，網(wǎng)絡(luò)越深分類的效果越好。然而，在實(shí)際中如果只是簡單的增加網(wǎng)絡(luò)的深度，會出現(xiàn)梯度消失或者梯度爆炸的現(xiàn)象，這樣的結(jié)果就是網(wǎng)絡(luò)深度加深的同時網(wǎng)絡(luò)的誤差也越大了。出現(xiàn)這種現(xiàn)象的原因是深層網(wǎng)絡(luò)并不好訓(xùn)練，求解器很難利用多層網(wǎng)絡(luò)擬合同等函數(shù)，導(dǎo)致最終的檢測模型效果不佳。

ResNet能夠用來解決梯度的問題，何凱明等提出的殘差結(jié)構(gòu)如圖4所示。

圖4 殘差結(jié)構(gòu)

對于原始需要學(xué)習(xí)的函數(shù)H(x)， 如果直接去擬合一個潛在的恒等映射函數(shù)H(x)=x會比較困難，但是將網(wǎng)絡(luò)設(shè)計(jì)為H(x)=F(x)+x， 那么我們就轉(zhuǎn)化為學(xué)習(xí)一個殘差函數(shù)F(x)=H(x)-x， 網(wǎng)絡(luò)對殘差的擬合更容易，只要F(x)=0， 就構(gòu)成了一個恒等映射H(x)=x。 此外，利用快捷連接(short-cut connection)將輸入x傳到輸出，使某一層的輸出可以跨過幾層作為后面某層的輸入，在不增加網(wǎng)絡(luò)參數(shù)和計(jì)算復(fù)雜度的情況下提高訓(xùn)練的效果。

1.3 R-FCN算法的改進(jìn)

本文提出的方法運(yùn)用在車輛檢測上，采用的ResNet作為基礎(chǔ)網(wǎng)絡(luò)，為了提高檢測的精確度而且能在不同場景下均得到良好的效果，采用了多尺度訓(xùn)練、可變形位置敏感ROI池化、軟化非極大值抑制的方法。

1.3.1 多尺度訓(xùn)練

為了使在同一張圖片中尺寸相差較大的目標(biāo)均有較好的檢測效果，采用了多尺度訓(xùn)練的方式，相比于原來的單一尺度方式，訓(xùn)練時目標(biāo)大小分布更均勻，對小目標(biāo)的檢測效果更好。本文采用了(600,800,1000)3種圖片尺度，在訓(xùn)練的時候會隨機(jī)選取其中的一種尺度進(jìn)行訓(xùn)練，因此能學(xué)習(xí)到各種尺寸目標(biāo)的特征。

1.3.2 可變形位置敏感ROI池化

可變形網(wǎng)絡(luò)用來提高CNN的模型變換能力，傳統(tǒng)的CNN在卷積的時候在特征圖固定的位置采樣，ROI池化也是把感興趣區(qū)域分成固定的空間塊，它們都采用固定的結(jié)構(gòu)，難以適應(yīng)物體的幾何形變。可變形網(wǎng)絡(luò)在原有采樣基礎(chǔ)上加入了偏置，改變了卷積在固定位置采樣的情況。

可變形位置敏感ROI池化在原來的位置敏感ROI池化的基礎(chǔ)上加了一個偏置，這個偏置實(shí)質(zhì)上是一個卷積層，而偏移量可以通過學(xué)習(xí)得到，這樣可以提高對不同形狀的物體的自適應(yīng)定位。位置敏感ROI池化操作可以表示為

(2)

其中，xi,j代表第 (i,j) 個位置敏感特征圖，p0表示ROI左上角的坐標(biāo)， Δpij表示每塊的偏移量，nij為每塊區(qū)域的像素值。由于偏置的存在，而且通常不是整數(shù)，需要用到雙線性插值的方法來確定采樣點(diǎn)的值。實(shí)驗(yàn)結(jié)果表明,用可變形位置敏感ROI池化的方法可以加強(qiáng)網(wǎng)絡(luò)的適應(yīng)能力，提高準(zhǔn)確度。

1.3.3 軟化非極大值抑制

在目標(biāo)檢測中產(chǎn)生了檢測框后，用傳統(tǒng)的NMS的方式能夠消除重復(fù)的邊界框。通常做法是按照得分將檢測框進(jìn)行排序，得分最高的框?qū)⒈贿x中，其它與之重疊程度超過閾值的框?qū)灰瞥?。但這種將超過閾值的檢測框一律歸零的做法容易讓距離較近并且存在遮擋情況下的物體不被檢測出來。

軟化非極大值抑制的表示方法如式(3)所示

(3)

其中，Nt為閾值，M為當(dāng)前得分最高的框，bi為待處理框。soft-nms不會直接移除與當(dāng)前得分最高的框超過閾值的檢測框，而是降低檢測框的得分，當(dāng)檢測框的重疊度越大的時候，它的得分也會衰減的越多，如果只有小部分的重疊，那么對原有的檢測得分不會有太大的影響。實(shí)驗(yàn)結(jié)果表明，運(yùn)用soft-nms能夠減少漏檢的物體，提高了檢測的準(zhǔn)確度。

1.4 網(wǎng)絡(luò)訓(xùn)練與測試過程

網(wǎng)絡(luò)的訓(xùn)練之前需要先準(zhǔn)備好Udacity數(shù)據(jù)集，對數(shù)據(jù)進(jìn)行基本的處理，刪除掉不存在車輛目標(biāo)的圖片，將其標(biāo)簽轉(zhuǎn)化為XML格式，最后數(shù)據(jù)集的格式與VOC2007格式相同。用ResNet作為基礎(chǔ)網(wǎng)絡(luò)提取到車輛的特征，通過神經(jīng)網(wǎng)絡(luò)的正向傳播得到車輛目標(biāo)的置信度，用損失函數(shù)判斷識別的程度，之后反向傳播確定梯度向量，通過梯度向量來調(diào)整網(wǎng)絡(luò)的參數(shù)，使損失值逐漸的降低，不斷的重復(fù)上述的訓(xùn)練過程會讓網(wǎng)絡(luò)檢測的效果越來越好，在訓(xùn)練過程中加入了多尺度和可變形位置敏感ROI池化的方法。

在測試的過程中，網(wǎng)絡(luò)對整個輸入圖像進(jìn)行卷積得到特征圖像，通過RPN網(wǎng)絡(luò)生成的候選區(qū)域后，用軟化非極大值抑制的方法篩選候選框，得到候選區(qū)域?qū)?yīng)在特征圖上的高維特征向量，然后在檢測網(wǎng)絡(luò)中計(jì)算得分，最后輸出檢測的結(jié)果。

2 實(shí) 驗(yàn)

2.1 數(shù)據(jù)集

本文訓(xùn)練和測試采用的是開源的Udacity數(shù)據(jù)集，該數(shù)據(jù)集包含市區(qū)、郊區(qū)等場景采集的真實(shí)圖片，車輛存在著光照的不同和遮擋的情況。實(shí)驗(yàn)前需要將數(shù)據(jù)集的格式類型轉(zhuǎn)換為VOC2007的格式類型，實(shí)驗(yàn)過程中隨機(jī)選取了8211張圖片進(jìn)行訓(xùn)練，1000張圖片測試。

2.2 實(shí)驗(yàn)設(shè)置

本文基于R-FCN的算法采用的是ResNet作為基礎(chǔ)網(wǎng)絡(luò)，將ResNet去除平均池化層和全連接層，只保留卷積層來提取特征。把在ImageNet數(shù)據(jù)集上訓(xùn)練的ResNet作為預(yù)訓(xùn)練模型，在訓(xùn)練的過程中，初始的學(xué)習(xí)速率為0.001，學(xué)習(xí)動量為0.9。模型的訓(xùn)練和測試是基于Caffe框架。本次實(shí)驗(yàn)中硬件配置包含：Inter Core i5-3470，24 G內(nèi)存，GTX 1070Ti顯卡。

2.3 實(shí)驗(yàn)結(jié)果及分析

本文算法與R-FCN算法的召回率-準(zhǔn)確率曲線(PR曲線)如圖5所示，其中召回率(recall)與準(zhǔn)確率(precision)的計(jì)算公式如式(4)、式(5)所示

recall=TP/(TP+FN)

(4)

precision=TP/(TP+FP)

(5)

其中，TP表示模型預(yù)測的正檢總數(shù)，F(xiàn)N表示模型漏檢的總數(shù)，F(xiàn)P表示模型誤檢的總數(shù)。

圖5 本文算法與R-FCN算法PR曲線

從PR曲線圖中可以看出，在召回率大于0.8之后，隨著召回率的增加本文算法準(zhǔn)確率相比R-FCN算法下降的更緩慢，在檢測上表現(xiàn)更為優(yōu)異。

在置信度為0.5的情況下，本文算法與R-FCN算法的召回率、準(zhǔn)確率以及F1值見表1。

表1 本文算法與R-FCN算法對比/%

其中F1的計(jì)算公式如式(6)所示

(6)

在此情況下，本文算法的召回率比R-FCN算法高1.6%，準(zhǔn)確率比R-FCN算法高1.2%。

為了進(jìn)一步比較常用算法如SSD、Faster RCNN、Yolo、R-FCN和本文算法檢測的效果，采用平均準(zhǔn)確度(ave-rage precision，AP)對檢測結(jié)果進(jìn)行評估，其取值范圍在[0,1]，結(jié)果見表2。

表2 用不同方式處理效果對比

從表2中的數(shù)據(jù)可以看出在保證了檢測時間的情況下應(yīng)用了多尺度訓(xùn)練、可變形位置敏感ROI池化、軟化非極大值抑制的方法比R-FCN算法檢測的平均準(zhǔn)確度提高了4.3%。

此外，本文算法的平均準(zhǔn)確度分別優(yōu)于Yolo、Faster RCNN、SSD這3種算法6.5%，8.4%，17.4%。在檢測時間上，Yolo和SSD把檢測和分類在一個階段中完成，相比于Faster RCNN和R-FCN算法有一定的優(yōu)勢。本文算法在檢測時間上稍快于Faster RCNN，較SSD、Yolo、R-FCN 慢，但在檢測的準(zhǔn)確度上比其它方法都高，綜合考慮本文提出的方法是較為有效的車輛檢測方法。

為了進(jìn)一步研究使用多尺度訓(xùn)練、可變形位置敏感ROI池化和軟化非極大值抑制的有效性以及它們分別對平均準(zhǔn)確度的影響，采用了不同的方法對網(wǎng)絡(luò)訓(xùn)練和測試，采用的方法和檢測的效果見表3。

從表3中可以看出使用了多尺度訓(xùn)練使得對不同尺寸的目標(biāo)均能達(dá)到較好的檢測效果，平均準(zhǔn)確度提高了2.4%?？勺冃挝恢妹舾蠷OI池化增強(qiáng)了網(wǎng)絡(luò)對物體形變的適應(yīng)能力，平均準(zhǔn)確度提高了0.5%。soft-nms對遮擋的物體有較好的檢測效果，平均準(zhǔn)確度提高了1.5%。實(shí)驗(yàn)結(jié)果表明上述3種方法對模型的平均準(zhǔn)確度均有提升。

表3 用不同方法訓(xùn)練后的檢測效果

本文還對比了在ResNet-50和ResNet-101上分別迭代不同次數(shù)得到的平均準(zhǔn)確度，結(jié)果見表4。

表4 在不同基礎(chǔ)網(wǎng)絡(luò)下的AP值對比/%

可以看到在網(wǎng)絡(luò)加深的情況下，準(zhǔn)確度有略微的下降，這是由于越深的網(wǎng)絡(luò)，最后一層的特征圖感受野越大，對小目標(biāo)物體的定位不太準(zhǔn)確。

在不同的場景下測試的結(jié)果如圖6所示，實(shí)驗(yàn)結(jié)果顯示本文算法在不同的實(shí)際場景中對車輛的檢測都能達(dá)到較好的效果。

圖6 不同場景下車輛檢測效果

3 結(jié)束語

本文在R-FCN算法的基礎(chǔ)上結(jié)合了多尺度訓(xùn)練、可變形位置敏感ROI池化、軟化非極大值抑制的方法對車輛圖片進(jìn)行訓(xùn)練和測試，將車輛檢測問題轉(zhuǎn)化為二分類問題，實(shí)驗(yàn)結(jié)果表明，使用本文方法能良好的提取到車輛的特征，對不同環(huán)境下的車輛均能達(dá)到較好的檢測效果，提高了檢測的準(zhǔn)確度和網(wǎng)絡(luò)的魯棒性。但對于小目標(biāo)的檢測以及提高模型的泛化能力，還需要進(jìn)行進(jìn)一步的研究。