孔方方，宋蓓蓓

長(zhǎng)安大學(xué) 信息工程學(xué)院，西安710064

1 引言

隨著城市建設(shè)的快速發(fā)展，城市人口變得越來越多，交通需求量也隨之增長(zhǎng)，城市道路上的各種車輛急劇猛增。大小汽車、摩托車、自行車及行人同時(shí)在道路上行駛使得城市交通變得更加繁忙，同時(shí)增加了交通事故的概率和管理難度。為了更好地管理城市，對(duì)城市道路及周邊車輛和行人目標(biāo)進(jìn)行自動(dòng)檢測(cè)變得很有必要，這將有效輔助交通管理部門分析車輛和行人運(yùn)行狀況，以制定更有效的交通方案和預(yù)警措施，促進(jìn)智慧城市建設(shè)。

全景像機(jī)相對(duì)于普通像機(jī)的主要優(yōu)勢(shì)在于其超大的監(jiān)控范圍，能“看得更遠(yuǎn)，看得更多”，因此在城市交通監(jiān)控中應(yīng)用越來越廣泛[1]。然而從分辨率密度上來考慮，同樣像素的像機(jī)在監(jiān)控更大的區(qū)域時(shí)會(huì)導(dǎo)致圖像像素分辨率的降低。對(duì)城市交通路況全景監(jiān)控下的大型汽車、小型汽車、摩托車、自行車、行人5 類重要目標(biāo)具有三方面特點(diǎn)：（1）目標(biāo)尺寸差異大，有長(zhǎng)至10 余米的公交車，也有短至近1 米的行人；（2）目標(biāo)尺度變化大，相同近景與遠(yuǎn)景目標(biāo)占據(jù)圖像像素?cái)?shù)量差別10 余倍；（3）目標(biāo)顏色變化大，由于白天與夜間光照以及四季氣候變化影響，相同目標(biāo)外觀顏色差異大。目標(biāo)呈現(xiàn)的這些特點(diǎn)給全景城市交通目標(biāo)檢測(cè)帶來極大難度和挑戰(zhàn)。

近些年，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法[2]取得了巨大的成就，應(yīng)用越來越廣泛?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)算法分為兩類，一類是基于候選框分類算法，另一類是基于端到端回歸算法。前者通過選擇性搜索算法生成一系列候選目標(biāo)區(qū)域，然后采用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行分類處理，此類算法精度高但檢測(cè)速度較慢，代表性算法有R-CNN[3]、Fast-R-CNN[4]、Faster-R-CNN[5]等。第二類方法直接利用CNN[6]的全局特征預(yù)測(cè)目標(biāo)位置和類別，此類算法檢測(cè)速度較快但檢測(cè)精度略低，代表性算法有SSD[7]、YOLO[8]、YOLOv2[9]、YOLOv3[10-12]等。由于YOLOv3算法在檢測(cè)速度與檢測(cè)精度方面具有較好的綜合性能被應(yīng)用于近景交通目標(biāo)檢測(cè)[13]，但是難以適應(yīng)全景交通目標(biāo)檢測(cè)中目標(biāo)尺寸和尺度巨大差異問題。

本文基于YOLOv3深度學(xué)習(xí)網(wǎng)絡(luò)，針對(duì)城市全景交通監(jiān)控中檢測(cè)目標(biāo)類型多、數(shù)量多、尺度變化大的特點(diǎn)，改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)以適應(yīng)目標(biāo)尺度的劇烈變化，利用Kmeans算法對(duì)數(shù)據(jù)集中目標(biāo)框進(jìn)行聚類分析，通過聚類選出合適的錨點(diǎn)框?qū)捀呔S度作為改進(jìn)網(wǎng)絡(luò)的初始候選框，從而有效提高目標(biāo)的檢測(cè)精度。

2 改進(jìn)的YOLOv3算法

2.1 多尺度檢測(cè)結(jié)構(gòu)

針對(duì)全景交通監(jiān)控行人、騎行自行車、騎行摩托車、小型汽車及大型汽車等目標(biāo)數(shù)量多、尺度差異大的特點(diǎn)，將YOLOv3 中原有的3 個(gè)尺度檢測(cè)結(jié)構(gòu)擴(kuò)展至4 個(gè)尺度檢測(cè)結(jié)構(gòu)。設(shè)定的4 個(gè)檢測(cè)尺度大小分別為13×13，26×26，52×52，104×104。在此基礎(chǔ)上采用FPN[14]（Feature Pyramid Networks）思想，對(duì)上述4個(gè)尺度檢測(cè)的特征層進(jìn)行融合處理，在保留深層圖像語義信息的基礎(chǔ)上獲得更多的淺層圖像特征信息，并能有效兼容大小尺度目標(biāo)。大量實(shí)驗(yàn)表明，淺層的網(wǎng)絡(luò)更關(guān)注于細(xì)節(jié)信息，深層的網(wǎng)絡(luò)更關(guān)注于語義信息，雖然深層的語義信息能夠幫助準(zhǔn)確地檢測(cè)出目標(biāo)，但是淺層細(xì)節(jié)信息可以在一定程度上提升檢測(cè)的精度，所以僅利用最后很少的深層卷積層上的特征圖來進(jìn)行預(yù)測(cè)，卻忽略較淺層的特征，會(huì)降低檢測(cè)的性能。因此設(shè)計(jì)的4個(gè)檢測(cè)尺度既包含了深層的語義特征信息又提取了較淺層的細(xì)節(jié)信息，融合了檢測(cè)尺度之間的信息，使得網(wǎng)絡(luò)獲得更多且更加魯棒的圖像信息。

FPN 的架構(gòu)如圖1 所示，整個(gè)過程如下，在輸入圖像上進(jìn)行深度卷積，然后對(duì)Layer2 的特征進(jìn)行降維操作，對(duì)Layer4 的特征進(jìn)行上采樣操作，使得它們具有相同的尺度，然后對(duì)處理后的Layer2 和處理后的Layer4執(zhí)行加法操作，把對(duì)應(yīng)元素相加，將獲得的結(jié)果輸入到Layer5中去，其目的是為了獲得一個(gè)強(qiáng)語義信息。網(wǎng)絡(luò)融合多個(gè)特征層的信息，各個(gè)特征層提取到的信息在下一特征層中被再次利用，同時(shí)利用了低層和深層特征，這樣可以提高檢測(cè)性能。

圖1 特征金字塔網(wǎng)絡(luò)(FPN)

若未融合特征層之間的信息，如圖2 所示的架構(gòu)。整個(gè)過程就是先在原始圖像上面進(jìn)行深度卷積處理，然后分別在不同的特征層上面進(jìn)行預(yù)測(cè)。它可以在不同的層直接輸出相應(yīng)的目標(biāo)，在一定程度實(shí)現(xiàn)加速處理。但它的缺點(diǎn)是由于較多的特征是從淺層獲得的，它們表現(xiàn)為弱特征性，缺少魯棒性，導(dǎo)致檢測(cè)精度不高。

圖2 級(jí)聯(lián)金字塔層次結(jié)構(gòu)

改進(jìn)的多尺度網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。在YOLOv3模型中通過多卷積層進(jìn)行卷積操作，之后將底層13×13的特征層經(jīng)過上采樣操作變成26×26的大小，使得與上一尺度具有相同的尺寸，之后與26×26特征層進(jìn)行連接處理，將融合之后的結(jié)果輸入到下一檢測(cè)層中，直至實(shí)現(xiàn)4 個(gè)檢測(cè)尺度相融合，這樣可以獲得一個(gè)強(qiáng)語義信息，并且在每個(gè)融合后的特征層上單獨(dú)進(jìn)行預(yù)測(cè)。設(shè)計(jì)的4 個(gè)檢測(cè)尺度同時(shí)利用了底層特征高分辨率和深層特征的高語義信息，且沒有顯著增加網(wǎng)絡(luò)復(fù)雜度，改進(jìn)的YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)可以更好地適用于復(fù)雜場(chǎng)景下的多目標(biāo)檢測(cè)。

2.2 錨點(diǎn)框維度聚類

YOLOv3 錨點(diǎn)框[15]是一組寬高維度固定的初始候選框，個(gè)數(shù)及寬高維度由人工設(shè)定，設(shè)定的好壞將直接影響目標(biāo)檢測(cè)的性能。雖然網(wǎng)絡(luò)自身在訓(xùn)練時(shí)可以不斷調(diào)節(jié)錨點(diǎn)框的大小，并最終適應(yīng)數(shù)據(jù)集中的目標(biāo)的寬可以消除“大框優(yōu)勢(shì)”效應(yīng)。定義距離公式為：

圖3 改進(jìn)的多尺度檢測(cè)結(jié)構(gòu)

其中，boxj為第j 個(gè)目標(biāo)框尺寸，j=1,2,…,N,centriodi為第i 個(gè)聚類中心框尺寸，i=1,2,…,K 。最終聚類目標(biāo)函數(shù)為：

本文選取不同K 值分別對(duì)訓(xùn)練集標(biāo)注目標(biāo)框進(jìn)行聚類分析，目標(biāo)函數(shù)相對(duì)聚類中心數(shù)變化曲線如圖4所示。隨著K 的增大，目標(biāo)函數(shù)值呈現(xiàn)下降趨勢(shì)，而且隨著K 值的繼續(xù)增大，目標(biāo)曲線趨于平緩。

圖4 目標(biāo)函數(shù)隨聚類中心數(shù)變化曲線

綜合考慮錨點(diǎn)框個(gè)數(shù)對(duì)網(wǎng)絡(luò)復(fù)雜度和計(jì)算量的影響，每個(gè)尺度使用3個(gè)錨點(diǎn)框。尺度1～4中，每個(gè)錨點(diǎn)框?qū)捀呔S度參數(shù)依次為：（10×20），（18×26），（33×19），（34×32），（31×46），（58×25），（49×43），（93×42），（73×66），（134×61），（126×107），（260×121）。高維度。但是提前給定錨點(diǎn)框的優(yōu)化個(gè)數(shù)及寬高維度，將能加快訓(xùn)練的收斂過程并提高目標(biāo)檢測(cè)精度。標(biāo)準(zhǔn)的K-means[16]聚類方法用歐氏距離定義損失函數(shù)，但這將導(dǎo)致大框比小框產(chǎn)生更多的誤差，即“大框優(yōu)勢(shì)”效應(yīng)。重疊度（Intersection Over Union，IOU）[17]定義為候選框與真實(shí)框的交集和并集的比值，其值與目標(biāo)框尺寸無關(guān)。如果使用IOU 定義K-means 聚類損失函數(shù)，則

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文的數(shù)據(jù)集取自https：//www.xianjiaojing.com/xapt/net/lkkz/init?zid=4&act=zz網(wǎng)站的全景監(jiān)控?cái)?shù)據(jù)，包含西安市鐘樓盤道、西大街、南二環(huán)等區(qū)域。選取了9 160 張圖像進(jìn)行手工標(biāo)注，作為此次多目標(biāo)檢測(cè)的數(shù)據(jù)集。檢測(cè)目標(biāo)包含大型汽車（Big_vehicle）、小型汽車（Small_vehicle）、騎行摩托車（Motorcyle_person）、騎行自行車（Bicycle_person）、行人（Person）共5 種。圖像成像時(shí)間段包含全天24 小時(shí)，以及晴天、陰天和雨天等，具有一定代表性。

3.2 評(píng)價(jià)指標(biāo)

使用平均精度、召回率、平均檢測(cè)時(shí)間作為多目標(biāo)檢測(cè)模型評(píng)價(jià)指標(biāo)。其中精度和召回率分別定義為：

以小型汽車為例，其中TP 為檢測(cè)模型將小型汽車識(shí)別正確的數(shù)量，F(xiàn)P 為模型將其他類型如騎行自行車、騎行摩托車、大型汽車和行人等識(shí)別為小型汽車的數(shù)量，F(xiàn)N 為模型將小型汽車識(shí)別為其他類型的數(shù)量。每一種目標(biāo)檢測(cè)精度用Precision 表示，對(duì)所有目標(biāo)Precision 值求平均即得到目標(biāo)檢測(cè)平均精度，用mAP表示。平均檢測(cè)時(shí)間為模型檢測(cè)一幅圖像平均所用時(shí)間。

3.3 環(huán)境與訓(xùn)練

本文的算法是在開源框架Darknet 上進(jìn)行的，實(shí)驗(yàn)環(huán)境配置為：AMD FXTM-8350 處理器，16 GB 內(nèi)存，Nvidia GeForce GTX 1070顯卡，CUDA版本為8.0.61，CUDNN版本為8.0，操作系統(tǒng)為Ubuntu 16.04.2。

從數(shù)據(jù)集中隨機(jī)選取7 695 幅圖像作為訓(xùn)練集，剩余1 465 幅圖像作為測(cè)試集。訓(xùn)練時(shí)一個(gè)批次包含64幅圖像，動(dòng)量參數(shù)為0.9，采用異步梯度下降進(jìn)行優(yōu)化，最大迭代次數(shù)為50 000，衰減系數(shù)為0.000 5。學(xué)習(xí)率采用分布策略，初始學(xué)習(xí)率為0.001，迭代到30 000、40 000和45 000 次時(shí)，學(xué)習(xí)率分別變?yōu)?.000 1、0.000 01 和0.000 001。

圖像在訓(xùn)練前均縮放為416×416像素，改進(jìn)YOLOv3模型訓(xùn)練的loss曲線如圖5所示。從圖可見當(dāng)?shù)^40 000次以后，loss值趨于穩(wěn)定，最終下降到0.45左右。

圖5 損失值函數(shù)曲線

3.4 結(jié)果與分析

為驗(yàn)證錨點(diǎn)框?qū)捀呔S度選擇對(duì)檢測(cè)結(jié)果的影響，把原YOLOv3的默認(rèn)錨點(diǎn)框改用聚類之后的錨點(diǎn)框，方法記為YOLOv3-9。訓(xùn)練集目標(biāo)框經(jīng)過K-means聚類，聚類之后得到的9 個(gè)候選框?qū)捀呔S度為：（10×19），（20×26），（35×22），（40×41），（62×27），（66×55），（108×49），（130×88），（253×121）。選取這9 個(gè)聚類錨點(diǎn)框作為初始候選框，對(duì)YOLOv3-9網(wǎng)絡(luò)重新進(jìn)行訓(xùn)練。

同時(shí)為了驗(yàn)證多尺度對(duì)檢測(cè)結(jié)果的影響，在提出方法4 個(gè)檢測(cè)尺度的基礎(chǔ)上再增加一個(gè)尺度5，該尺度與208×208 大小特征圖相連，共構(gòu)成5 個(gè)檢測(cè)尺度，如圖6所示，該方法記為YOLOv3-5scales。選擇15 個(gè)錨點(diǎn)框作為初始候選框，每個(gè)尺度對(duì)應(yīng)3 個(gè)錨點(diǎn)框，具體的寬高維度參數(shù)為：（9×18），（13×24），（22×18），（19×32），（39×19），（32×30），（33×46），（46×39），（60×26），（59×53），（93×41），（84×74），（135×59），（141×108），（268×121）。

圖6 5個(gè)檢測(cè)尺度結(jié)構(gòu)

對(duì)原YOLOv3 網(wǎng) 絡(luò)、YOLOv3-9、YOLOv3-spp、YOLOv3-tiny和改進(jìn)之后的YOLOv3網(wǎng)絡(luò)以及YOLOv3-5scales網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練，在測(cè)試集上分別測(cè)試各模型檢測(cè)性能。為了充分說明改進(jìn)算法的性能，實(shí)驗(yàn)中加入Faster-R-CNN 等網(wǎng)絡(luò)進(jìn)行對(duì)比分析，測(cè)試集1 465 幅圖像的檢測(cè)結(jié)果對(duì)比見表1和表2。

從表中數(shù)據(jù)可知，改進(jìn)YOLOv3 模型在測(cè)試集上所有目標(biāo)平均精度為84.49%，召回率為97.18%，相比YOLOv3 分別提高了7.76%、4.89%，而且所有單目標(biāo)精度均有所提升。YOLO系列的其他檢測(cè)算法YOLOv3-9、YOLOv3-spp、YOLOv3-tiny 和YOLOv3-5scales 的mAP值分別為82.12%、82.23%、73.12%、83.87%，召回率分別為95.97%、96.75%、90.55%、96.23%，均低于改進(jìn)YOLOv3模型。

基于候選框分類的算法Faster-R-CNN（ResNet101）與Faster-R-CNN（VGG16）分別獲得了86.21%和87.42%的mAP值，比改進(jìn)YOLOv3分別高了1.72%、2.93%。但基于候選框分類的算法Faster-R-CNN 無論是加載ResNet101還是VGG16模型，在檢測(cè)速度方面均遠(yuǎn)遠(yuǎn)低于基于回歸的YOLO 系列檢測(cè)算法。Faster-R-CNN（VGG16）檢測(cè)一幅圖像平均用時(shí)164.16 ms，而改進(jìn)YOLOv3 僅用時(shí)30.72 ms，F(xiàn)aster-R-CNN 達(dá)不到交通場(chǎng)景下實(shí)時(shí)監(jiān)測(cè)的要求，且識(shí)別主要目標(biāo)Small_vehicle和Big_vehicle 的精度相對(duì)較低，召回率方面均低于改進(jìn)YOLOv3。

表1 不同方法在測(cè)試集上檢測(cè)結(jié)果

表2 不同方法在測(cè)試集上單個(gè)目標(biāo)檢測(cè)性能對(duì)比 %

YOLO 系列模型在檢測(cè)速度方面，測(cè)試共使用了1 465 張圖像，YOLOv3 模型檢測(cè)一幅圖像平均用時(shí)28.67 ms，改進(jìn)YOLOv3 檢測(cè)時(shí)間比YOLOv3 僅多用2.05 ms。YOLOv3-9、YOLOv3-spp 與YOLOv3-tiny 平均識(shí)別一張圖片分別用時(shí)28.67 ms、28.67 ms和5.64 ms。YOLOv3-tiny 因其網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，檢測(cè)速度較快，但網(wǎng)絡(luò)平均精度僅有73.12%。

對(duì)目標(biāo)框聚類后的YOLOv3-9 模型mAP 值和召回率比YOLOv3分別提高5.39%、3.68%，表明初始候選框?qū)z測(cè)結(jié)果影響較為明顯。聚類選取的候選框適合于當(dāng)前數(shù)據(jù)集，與目標(biāo)特點(diǎn)更為匹配，能更好地定位目標(biāo)，所以能有效提升目標(biāo)準(zhǔn)確率和召回率。

具有5 個(gè)檢測(cè)尺度的YOLOv3-5scales 模型mAP 值較YOLOv3 模型提高了7.14%，召回率提高了3.94%，檢測(cè)一幅圖像平均用時(shí)40.27 ms，比YOLOv3 用時(shí)多11.6 ms，檢測(cè)速度大大降低。YOLOv3-5scales 的平均檢測(cè)精度與改進(jìn)YOLOv3 相當(dāng)，mAP 值僅相差0.62%，但YOLOv3-5scales檢測(cè)速度下降很多。

綜上所述，改進(jìn)YOLOv3的平均精度和召回率相比于原YOLOv3有較大提升，一方面是因?yàn)橥ㄟ^聚類選擇了適合于數(shù)據(jù)集的目標(biāo)候選框，使目標(biāo)的定位更準(zhǔn)確；另一方面擴(kuò)展至4個(gè)檢測(cè)尺度可以兼顧大小目標(biāo)，提高目標(biāo)檢測(cè)精度并使召回率上升。提出方法的候選框和檢測(cè)尺度選取較為合適，沒有使模型更為復(fù)雜化，保持了較快的檢測(cè)速度。而YOLOv3-5scales選取的候選框個(gè)數(shù)及檢尺度相對(duì)較多，增加了網(wǎng)絡(luò)的復(fù)雜度，雖然檢測(cè)精度和召回率也明顯提升，但由于檢測(cè)速度的降低不利于交通場(chǎng)景下目標(biāo)實(shí)時(shí)檢測(cè)要求。改進(jìn)YOLOv3 模型在測(cè)試集上的目標(biāo)檢測(cè)效果如圖7所示，模型對(duì)圖中多目標(biāo)以及發(fā)生遮擋的目標(biāo)表現(xiàn)出良好的檢測(cè)性能，同時(shí)對(duì)大目標(biāo)和小目標(biāo)也具有很好的適應(yīng)性，而且對(duì)白天和夜晚場(chǎng)景中目標(biāo)的檢測(cè)也有著較好的魯棒性。

圖7 改進(jìn)YOLOv3模型在測(cè)試集上的檢測(cè)效果

YOLOv3和改進(jìn)YOLOv3模型檢測(cè)結(jié)果對(duì)比如圖8所示，可以看出YOLOv3相比改進(jìn)YOLOv3出現(xiàn)很多漏檢情況。在原圖A中，YOLOv3未檢測(cè)出最底部公交車右上角被部分遮擋的小汽車，以及最右下角騎自行車的行人，另外一些騎摩托車行人YOLOv3 也未檢測(cè)出；原圖B中，YOLOv3網(wǎng)絡(luò)未檢測(cè)出左下角兩棵樹之間被部分遮擋的行人，而這些改進(jìn)YOLOv3 均能正確檢測(cè)出。由此可見，改進(jìn)YOLOv3網(wǎng)絡(luò)對(duì)復(fù)雜交通場(chǎng)景目標(biāo)以及小目標(biāo)檢測(cè)具有更好的適應(yīng)性，以及更高的檢測(cè)精度。

圖8 YOLOv3和改進(jìn)YOLOv3模型檢測(cè)效果對(duì)比

4 結(jié)語

針對(duì)城市全景交通監(jiān)控多目標(biāo)，提出一種改進(jìn)的YOLOv3 算法。對(duì)數(shù)據(jù)集進(jìn)行聚類分析選擇合適的候選目標(biāo)框個(gè)數(shù)及寬高維度，以YOLOv3 網(wǎng)絡(luò)為基礎(chǔ)，增加檢測(cè)尺度并融合特征。實(shí)驗(yàn)結(jié)果表明，改進(jìn)YOLOv3算法對(duì)各類目標(biāo)的檢測(cè)精度和召回率均有明顯提升，并保持了較快檢測(cè)速度，可適用于全景交通監(jiān)控下的目標(biāo)檢測(cè)任務(wù)。