柳勝超，王夏黎，王麗紅，柳秋萍

(1.長安大學(xué) 信息工程學(xué)院，陜西 西安 710061；2.陜西航天動力高科技股份有限公司，陜西 西安 710077)

0 引 言

伴隨著計(jì)算機(jī)視覺的飛速發(fā)展，目標(biāo)檢測算法在自動駕駛和輔助駕駛領(lǐng)域也取得了重大突破，而在交通領(lǐng)域目標(biāo)檢測算法主要應(yīng)用于對交通警察、信號燈、行人和道路標(biāo)線等的檢測。交通警察作為交通網(wǎng)絡(luò)的重要一員，能夠有效疏導(dǎo)交通防止交通擁堵，對城市交通網(wǎng)絡(luò)更好更快的發(fā)展有積極促進(jìn)作用。因此對交通警察的檢測算法的研究對于保護(hù)交通警察人身安全和保障交通網(wǎng)絡(luò)健康發(fā)展具有重要意義。

傳統(tǒng)的目標(biāo)檢測算法有很多，包括基于HOG和SVM的跟蹤[1]、學(xué)習(xí)和檢測的算法，但是該方法容易受到光照、遮擋和尺度變化等因素的影響，并且提取的特征單一，魯棒性不強(qiáng)。如今深度學(xué)習(xí)的快速發(fā)展也極大地推動了目標(biāo)檢測算法的研究，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法也成為當(dāng)前主流的方法，其中主要包括兩種，一種是基于回歸思想的One-stage類別的目標(biāo)檢測算法，另一種是基于候選框思想的Two-stage類別的目標(biāo)檢測算法。目前常用的典型的One-stage目標(biāo)檢測網(wǎng)絡(luò)包括YOLOV1、YOLOV2[2]、YOLOV3[3]和SSD[4]等直接回歸目標(biāo)物體的類別和位置。Two-stage目標(biāo)檢測網(wǎng)絡(luò)包括Faster R-CNN[5]、Fast R-CNN[6]和RCNN[7-8]等，該類型的網(wǎng)絡(luò)主要分兩步，一步是由算法生成一系列作為樣本的候選框，另一步是由卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行樣本分類[9]。兩種類別的方法各有優(yōu)缺點(diǎn)，該文分別對基于SSD網(wǎng)絡(luò)和基于Faster R-CNN網(wǎng)絡(luò)的交通警察的檢測進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果最終表明基于Faster R-CNN網(wǎng)絡(luò)可以有效提高交通警察檢測的精確率和檢測速度。

1 交通警察采集圖像的預(yù)處理

1.1 圖像去噪

數(shù)字圖像在傳輸和數(shù)值化過程中會受到諸多因素的影響造成圖像質(zhì)量下降，對后續(xù)圖像的處理和目標(biāo)的檢測帶來困難。比如圖像噪聲和成像設(shè)備的影響，因此需要對圖像進(jìn)行去噪處理來提高圖像質(zhì)量，增加信噪比，更好地突出需要的某些信息和特征。該文將分別采用中值濾波和小波變換去噪[10]的方法對圖像進(jìn)行去噪，實(shí)驗(yàn)結(jié)果表明基于小波變換去噪的方法滿足了后續(xù)交通警察的目標(biāo)檢測要求。

(1)中值濾波。

中值濾波是由Tukey在1977年提出的一種非線性平滑濾波器[11]，基本原理是該像素點(diǎn)的灰度值由該像素點(diǎn)鄰域灰度值的中值來取代。令fx,y=Med,(x,y)∈E2表示圖像各個(gè)點(diǎn)的灰度值。則濾波窗口為A的二維中值濾波表達(dá)式為：

A(i,j)∈E2

(1)

在圖像處理中，中值濾波可以在較完整保留圖像部分邊緣信息的前提下有效去除如椒鹽噪聲、脈沖噪聲的影響[12]。但是當(dāng)待處理圖像細(xì)節(jié)部分較多時(shí)，中值濾波去噪會使得圖像缺失部分關(guān)鍵信息。

(2)小波變換去噪。

基于小波變換(wavelet transform，WT)的圖像去噪方法結(jié)合特征提取和低通濾波的綜合作用，小波降噪常根據(jù)閾值的選擇來進(jìn)行降噪處理。一般步驟分為圖像對數(shù)變換、小波分解變換和高頻系化數(shù)閾值處理。閾值函數(shù)一般分為軟閾值函數(shù)和硬閾值函數(shù)，表達(dá)式分別為式(3)和式(4)。小波變換的表達(dá)式為：

(2)

其中，只有兩個(gè)變量平移a和平移量τ，a控制圖像而ψ(t)是給定的函數(shù)。

(3)

(4)

其中，a是變量，b是閾值。對于閾值的選擇應(yīng)滿足式(5)。

(5)

其中，wn表示噪聲標(biāo)準(zhǔn)方差，N表示信號的長度。

小波變換具有多分辨率、多尺度和穩(wěn)定的信號的特性，能夠有效獲得待處理圖像細(xì)節(jié)處的信息和輪廓信息。該文通過對同一包含交通警察目標(biāo)圖像做小波變換去噪和中值濾波去噪來消除圖像噪聲的預(yù)處理，得到的實(shí)驗(yàn)結(jié)果如圖1所示。對比實(shí)驗(yàn)結(jié)果可以看出，小波變換去噪的方法能有效保留交通警察圖像的細(xì)節(jié)信息和邊緣特征，符合交通警察目標(biāo)檢測的需要。所以該文采用基于小波變換去噪的方法對圖像進(jìn)行去噪處理。

圖1 圖像去噪結(jié)果

1.2 基于Gamma曲線校正的圖像增強(qiáng)

Gamma[13]曲線是一種特殊的色調(diào)曲線，當(dāng)Gamma值等于1時(shí)，如圖2中灰色虛線，輸入和輸出的密度相同；當(dāng)Gamma值大于1時(shí)，如圖2中g(shù)amma2曲線，輸出圖像結(jié)果出現(xiàn)亮化；當(dāng)Gamma值小于1時(shí)，如圖2中g(shù)amma1曲線，輸出圖像結(jié)果出現(xiàn)暗化。在計(jì)算機(jī)系統(tǒng)中，由于硬件設(shè)備如顯卡和顯示器的原因會導(dǎo)致最后輸出的圖像存在亮度上的差異，而Gamma曲線校正就是通過一定的方法來校正圖像的這種偏差的方法。實(shí)際情況下，當(dāng)用于Gamma校正的值大于1時(shí)，將會使得圖像的高光部分被壓縮而暗調(diào)部分被擴(kuò)展；當(dāng)Gamma校正的值小于1時(shí)，會使得圖像的暗調(diào)部分被壓縮而高光部分被擴(kuò)展，Gamma校正一般用于平滑的擴(kuò)展暗調(diào)的細(xì)節(jié)。Gamma校正的曲線如圖2所示。當(dāng)已經(jīng)知道Gamma值時(shí)可以通過式(6)的方法進(jìn)行Gamma校正。

Ψ=λμγ

(6)

其中，μ為圖像的像素值，λ,γ為常數(shù)。當(dāng)γ>1時(shí)圖像的亮度會降低，圖像變暗。當(dāng)γ<1時(shí)，圖像的亮度增加。

圖2 Gamma曲線

通過對小波變換去噪后的圖像進(jìn)行Gamma校正得到增強(qiáng)后的圖像實(shí)驗(yàn)結(jié)果，如圖3所示，可以看出Gamma曲線校正的結(jié)果滿足該文待檢測圖像的需要，在圖像未失真的前提下有效增強(qiáng)了圖像的細(xì)節(jié)信息。

圖3 圖像增強(qiáng)

2 基于深度學(xué)習(xí)的交通警察檢測

Faster R-CNN可以看成基于“區(qū)域生成網(wǎng)絡(luò)RPN+Fast R-CNN”的系統(tǒng)，而Fast R-CNN中的Search方法是由區(qū)域生成網(wǎng)絡(luò)代替的。通過區(qū)域生成網(wǎng)絡(luò)(RPN)來提取候選區(qū)域，有效地將RPN網(wǎng)絡(luò)和Fast R-CNN網(wǎng)絡(luò)統(tǒng)一到一個(gè)網(wǎng)絡(luò)共享卷積層，并且解決了R-CNN和Fast R-CNN特征提取中存在的冗余問題。

2.1 R-CNN模型

由Girshick等人提出的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(region-based convolutional neural network，R-CNN)[14]根據(jù)傳統(tǒng)的目標(biāo)檢測思路，R-CNN算法將目標(biāo)檢測分為提取框內(nèi)圖像特征提取、對圖像進(jìn)行特征分類、非極大值抑制的步驟實(shí)現(xiàn)目標(biāo)檢測，在特征提取階段利用深度學(xué)習(xí)的方法提取特征[15]。采用Selective Search方法得到2 000個(gè)左右的候選區(qū)域，在固定大小后輸入到卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，利用多個(gè)SVM對特征進(jìn)行分類，最后校準(zhǔn)候選區(qū)域的位置。

2.2 Fast R-CNN模型

Fast R-CNN模型[16]通過整張圖像歸一化后直接送入深度網(wǎng)絡(luò)，隨后送入提取的候選區(qū)域，避免了前幾層特征不必要的重復(fù)計(jì)算，優(yōu)化了R-CNN模型訓(xùn)練、測試速度慢和訓(xùn)練空間大的問題。具體的實(shí)現(xiàn)過程如圖4所示。相較于R-CNN模型，一方面Fast R-CNN模型增加了池化層(region of interest，ROI),可以把任意大小的輸入降維成設(shè)定固定尺度特征向量，另一方面，邊框回歸和分類可以同時(shí)進(jìn)行，共享卷積層并相互促進(jìn)。

圖4 Fast R-CNN網(wǎng)絡(luò)結(jié)構(gòu)

2.3 Faster R-CNN網(wǎng)絡(luò)檢測流程

Faster R-CNN網(wǎng)絡(luò)模型將候選區(qū)域獲取、深度信息提取與目標(biāo)檢測識別融入到同一卷積神經(jīng)網(wǎng)絡(luò)模型中，實(shí)現(xiàn)了端到端的目標(biāo)檢測與訓(xùn)練[17-20]。主要步驟為：

(1)卷積層特征提取：通過一系列的激化、卷積和池化層的組合，對輸入圖像進(jìn)行特征的提取。

(2)RPN獲取候選區(qū)域：通過RPN的滑動窗口生成候選框，設(shè)置候選框的尺寸和比例可以看作一個(gè)尺度51*39的256通道圖像，對于該圖像的每一個(gè)位置，共組合為9個(gè)可能的候選窗口：三種面積三種比例，這些候選窗口稱為錨框(anchors boxes)。通過利用邊框回歸修正anchors boxes獲得更加準(zhǔn)確的候選框，根據(jù)非極大值抑制算法(NMS)進(jìn)行輸出區(qū)域篩選，得到M個(gè)不同大小和比例的目標(biāo)候選框輸入到ROI池化層。

(3)ROI池化層獲取區(qū)域建議特征：利用RPN得到M個(gè)不同比例的候選框和卷積層提取到的特征得到固定大小的特征向量[21]。

(4)分類和回歸：利用Softmax和Proposals判斷目標(biāo)候選區(qū)域的具體類別，利用Bounding-box回歸的思想預(yù)測目標(biāo)物體的準(zhǔn)確位置[22]。

2.4 損失函數(shù)

Faster R-CNN損失主要包括兩部分，分別為RPN損失和Fast RCNN損失，計(jì)算公式如式(7)所示，并且兩者都包括分類損失和回歸損失。

(7)

分類損失表達(dá)式為：

(8)

其中，t表示Faster R-CNN階段的預(yù)測偏移量；t*表示Faster R-CNN階段前景實(shí)際偏移量。

回歸損失表達(dá)式為：

(9)

2.5 交通警察的定位

交通警察在指揮交通時(shí)一般身體在局部運(yùn)動狀態(tài)，因此利用幀間差分法進(jìn)一步對視頻幀中的目標(biāo)進(jìn)行檢測，對于提高目標(biāo)檢測的精確率有較為理想的幫助。對運(yùn)動目標(biāo)具體檢測的方法是：幀間差分法通過差分運(yùn)算對時(shí)間上相鄰2-3幀圖像中的像素點(diǎn)做減法運(yùn)算，當(dāng)灰度差的絕對值超過一定閾值時(shí)，判斷為所檢測的運(yùn)動目標(biāo)[23-24]。通過統(tǒng)計(jì)各個(gè)交通警察局部運(yùn)動非黑像素閾值范圍，以此來進(jìn)一步實(shí)現(xiàn)對目標(biāo)區(qū)域中指揮交通警察的定位。圖5(a)是對交通警察變道信號非黑像素占比的統(tǒng)計(jì)，圖5(b)是對左轉(zhuǎn)待轉(zhuǎn)非黑像素占比。

(a)變道非黑像素占比 (b)左轉(zhuǎn)非黑像素占比

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)環(huán)境

仿真實(shí)驗(yàn)環(huán)境：處理器AMD Ryzen 5 3600 6-Core Processor 3.59 Hz；GPU為NVIDIA GeForce RTX2060 SUPER，編程語言為python;操作系統(tǒng)為Ubuntu16.04；深度學(xué)習(xí)框架采用Tensorflow[25]。

3.2 實(shí)驗(yàn)參數(shù)

對整個(gè)網(wǎng)絡(luò)訓(xùn)練的參數(shù)設(shè)置如表1所示。

表1 實(shí)驗(yàn)參數(shù)

3.3 網(wǎng)絡(luò)對比訓(xùn)練

分別使用Faster R-CNN網(wǎng)絡(luò)和SSD網(wǎng)絡(luò)對測試集中的11 228張圖片進(jìn)行實(shí)驗(yàn)測試，得到的部分檢測效果圖如圖6所示。

圖6中，(a)、(c)表示Faster R-CNN網(wǎng)絡(luò)檢測的效果圖，(b)、(d)表示SSD網(wǎng)絡(luò)檢測的效果圖。通過對比可以發(fā)現(xiàn)，SSD網(wǎng)絡(luò)對交通警察的檢測率均低于Faster R-CNN網(wǎng)絡(luò)的檢測率，并且對比圖(c)和(d)可以發(fā)現(xiàn)SSD網(wǎng)絡(luò)存在漏檢的問題，而Faster R-CNN網(wǎng)絡(luò)則成功地檢測出了圖像中存在的第三位交通警察。

圖6 檢測效果

通過網(wǎng)絡(luò)對比實(shí)驗(yàn)，分別對兩種基于深度學(xué)習(xí)的方法和傳統(tǒng)的基于HOG和SVM的方法進(jìn)行檢測，實(shí)驗(yàn)結(jié)果如表2所示。通過表2可以直觀地看出，F(xiàn)aster R-CNN網(wǎng)絡(luò)的檢測速度為61.523 ms，準(zhǔn)確率為98.75%，相較于SSD網(wǎng)絡(luò)和傳統(tǒng)的方法都具有明顯優(yōu)勢。

表2 實(shí)驗(yàn)結(jié)果對比

通過實(shí)驗(yàn)同時(shí)得出了兩種方法的損失值曲線，從圖7中可以看出損失值呈下降的趨勢，F(xiàn)aster R-CNN網(wǎng)絡(luò)的損失值在20 000次左右已經(jīng)下降到0.3以下，最終在30 000次迭代停止時(shí)損失值為0.112 5，表明Faster R-CNN模型訓(xùn)練效果較好。SSD模型最終在30 000次迭代時(shí)停止學(xué)習(xí)，損失值在0.204 5左右，從曲線中可以看出SSD模型的波動較大，訓(xùn)練效果無法滿足檢測的要求。

圖7 損失曲線

綜上，對于交通警察的檢測Faster R-CNN模型檢測的成功率和速度均高于SSD模型，F(xiàn)aster R-CNN模型能夠精確地定位到復(fù)雜背景下的交通警察。

4 結(jié)束語

該文提出一種基于Faster R-CNN模型與幀間差分法結(jié)合的方法來實(shí)現(xiàn)交通警察的檢測，通過對比SSD模型和Faster R-CNN模型的實(shí)驗(yàn)數(shù)據(jù)結(jié)果可以看到，雖然兩種方法均能檢測出目標(biāo)，但Faster R-CNN模型的檢測準(zhǔn)確率達(dá)到98.5%，檢測速度僅為50 ms，檢測的召回率達(dá)到98.2%，均比SSD模型有較高的提升。該方法能夠有效解決目前交通警察存在的漏檢、誤檢和檢測效果不佳的問題，并且能夠有效排除光照和遮擋物的影響，提高對交通視頻幀中交通警察檢測的精確性和魯棒性。