劉 悅,張 璐,羅文廣,葉洪濤,石 英,林朝俊

1(武漢理工大學(xué) 自動化學(xué)院,武漢 430070)

2(國網(wǎng)電力科學(xué)研究院武漢南瑞有限責(zé)任公司,武漢 430070)

3(廣西汽車零部件與整車技術(shù)重點(diǎn)實(shí)驗(yàn)室(廣西科技大學(xué)),廣西 柳州 545006)

1 引 言

基于計算機(jī)視覺的道路場景目標(biāo)檢測是無人駕駛領(lǐng)域的研究基礎(chǔ),并被廣泛應(yīng)用于輔助駕駛、視頻監(jiān)控、車輛行人跟蹤等任務(wù).道路目標(biāo)檢測通過預(yù)測帶有類別標(biāo)簽的包圍框(Bounding box,Bbox)來檢測城市道路上的車輛、行人等目標(biāo),算法的準(zhǔn)確率和實(shí)時性直接影響到無人駕駛車輛的安全性能和反應(yīng)速度,因此道路場景下的目標(biāo)檢測仍然是無人駕駛領(lǐng)域的熱點(diǎn)問題.近年來,隨著人工智能技術(shù)的飛速發(fā)展,基于深度學(xué)習(xí)的道路場景目標(biāo)檢測算法已經(jīng)成為主流[1],從設(shè)計原理來看可以分為雙階段、單階段以及1.5階段3類.

雙階段算法R-CNN[2]是深度學(xué)習(xí)在目標(biāo)檢測領(lǐng)域的開山之作,在此基礎(chǔ)上,Fast-RCNN[3]采用選擇性搜索方法(Selective Search)[4]生成感興趣區(qū)域(Region of Interest,RoI),并通過ROI及其提取的特征進(jìn)行檢測.Faster-RCNN[5]進(jìn)一步提出改善區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network,RPN)提取RoI來優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),實(shí)現(xiàn)了端對端檢測,推動了道路場景目標(biāo)檢測的發(fā)展.以上雙階段算法均通過Rol Pooling或RoI Align[6]實(shí)現(xiàn)特征對齊,算法結(jié)構(gòu)復(fù)雜、推理時間長,專注于提升準(zhǔn)確率卻犧牲了實(shí)時性[7],難以直接應(yīng)用于道路場景.

為了滿足道路場景的實(shí)時性要求,以YOLO系列[8-11]、SSD系列[12-14]為代表的單階段算法應(yīng)運(yùn)而生.YOLO系列算法將檢測問題轉(zhuǎn)化為回歸式問題,直接預(yù)測目標(biāo)相應(yīng)的包圍框以及其所屬類別的概率,從而縮短了推理時間.SSD系列算法通過多尺度特征圖進(jìn)行預(yù)測,提高了城市道路上不同尺度目標(biāo)的檢測精度.以上單階段算法通過逐像素預(yù)測結(jié)構(gòu)簡化了神經(jīng)網(wǎng)絡(luò),滿足了實(shí)時性要求,但檢測結(jié)果嚴(yán)重依賴于精細(xì)的訓(xùn)練技巧,應(yīng)用于復(fù)雜的道路場景時不夠準(zhǔn)確.

1.5階段算法在檢測精度和實(shí)時性之間取得了平衡,適合用于道路場景目標(biāo)檢測.這類算法不僅具有雙階段算法的特征對齊性質(zhì),而且采用了單階段算法的逐像素預(yù)測結(jié)構(gòu).AlignDet[15]通過對比RoI Align和卷積計算中的im2col發(fā)現(xiàn)兩者可以轉(zhuǎn)換,提出RoIConv根據(jù)計算得到的偏移量實(shí)現(xiàn)特征對齊.RepPoints[16]則直接預(yù)測偏移量作為可變形卷積(Deformable Convolutional)[17,18]的offset實(shí)現(xiàn)特征對齊,同時以上算法在輸出部分均采用逐像素預(yù)測結(jié)構(gòu).

然而道路場景視野寬闊、目標(biāo)尺度跨度大,以上3類算法均未能解決多尺度道路目標(biāo)檢測困難的問題.此外,這些算法在后處理階段均存在檢測質(zhì)量表征不合理問題.在非極大值抑制(Non-Maximum Suppression,NMS)[19]過程中,以上算法直接采用類別標(biāo)簽的概率作為分類置信度來表征檢測質(zhì)量,然后對候選結(jié)果進(jìn)行排序以剔除冗余包圍框.但分類置信度只能衡量分類質(zhì)量而沒有考慮定位質(zhì)量,用來表征檢測質(zhì)量顯然不合理.IoU-Net[20]基于特征對齊網(wǎng)絡(luò),預(yù)測包圍框及其對應(yīng)真實(shí)框之間的交并比(Intersection over Union,IoU)作為定位置信度來衡量定位質(zhì)量,提高了檢測精度.文獻(xiàn)[21]基于IoU設(shè)計了一種非線性變換的定位置信度指標(biāo),提升了車輛行人的檢測效果.但I(xiàn)oU只有在特征對齊網(wǎng)絡(luò)中才能生效,難以應(yīng)用于單階段算法.單階段acnhor-free算法FCOS[22]逐像素預(yù)測點(diǎn)到包圍框的中心度centerness作為定位置信度,應(yīng)用于道路場景具有較好的精度和實(shí)時性.ATSS[23]對FCOS和RetinaNet[24]進(jìn)行對比分析,證明了centerness的有效性.

定位置信度決定了NMS階段的結(jié)果走向,直接影響最終的檢測精度,其重要性不言而喻,但目前鮮有針對道路場景下定位置信度的研究,其原因在于研究框架的構(gòu)建較為困難.雙階段算法具有特征對齊的性質(zhì),但不滿足centerness所需的逐像素預(yù)測結(jié)構(gòu);單階段算法采用逐像素預(yù)測,但不滿足IoU所需的特征對齊性質(zhì),以上兩類算法均無法作為研究框架.而目前最新的1.5階段算法兼具特征對齊和逐像素預(yù)測雙重特性,道路場景目標(biāo)檢測選用該網(wǎng)絡(luò)架構(gòu),對定位置信度進(jìn)行研究與改進(jìn)十分便利,且能兼顧精度和實(shí)時性.本文選擇1.5階段算法中最具代表性的RepPoints研究定位置信度對多尺度道路目標(biāo)的敏感性,并根據(jù)研究結(jié)果提出優(yōu)化定位置信度改進(jìn)算法,解決了檢測質(zhì)量表征不合理問題,提高了多尺度目標(biāo)檢測精度.本文的主要貢獻(xiàn)有:

1)基于RepPoints構(gòu)建了定位置信度研究框架,研究定位置信度對多尺度道路目標(biāo)的敏感性;

2)基于尺度敏感性研究結(jié)果提出了混合定位置信度,提高了檢測質(zhì)量表征方法的合理性;

3)提出了CIoU定位置信度進(jìn)一步區(qū)分重疊程度相同的包圍框,提高了IoU的區(qū)分度;

4)結(jié)合混合定位置信度和CIoU定位置信度得到優(yōu)化定位置信度改進(jìn)算法,解決了檢測質(zhì)量表征不合理問題,只需增加極少參數(shù),就能顯著提升多尺度目標(biāo)的檢測精度.

2 道路目標(biāo)的檢測質(zhì)量表征方法

常規(guī)的道路場景檢測算法采用輸出層預(yù)測的類別標(biāo)簽概率作為分類置信度,來表征包圍框的檢測質(zhì)量.檢測質(zhì)量由分類質(zhì)量和定位質(zhì)量兩部分組成,分類質(zhì)量由分類置信度分?jǐn)?shù)進(jìn)行衡量,定位質(zhì)量由包圍框與真實(shí)框的IoU進(jìn)行衡量,其計算公式為:

(1)

式(1)中,boxgt表示真實(shí)框,boxdet表示包圍框.

對于道路場景目標(biāo)檢測,僅采用分類置信度表征檢測質(zhì)量、不考慮定位質(zhì)量顯然不合理.如圖1所示,包圍框1和包圍框2的分類結(jié)果均為行人,包圍框2的分類置信度為0.853,低于包圍框1的0.906,但包圍框2和真實(shí)框的IoU為0.738,明顯高于包圍框1.如果采用分類置信度表征檢測質(zhì)量,那么定位質(zhì)量較差但分類置信度最高的包圍框1在NMS階段被保留為檢測結(jié)果,但實(shí)際上包圍框2分類正確且定位更準(zhǔn).分類置信度與IoU相關(guān)性極低,所以分類置信度最高的包圍框往往檢測質(zhì)量不是最高,以上檢測質(zhì)量表征不合理問題直接導(dǎo)致了算法精度降低.

圖1 常規(guī)檢測質(zhì)量表征方法Fig.1 Conventional representation of detection quality

在網(wǎng)絡(luò)中增加一個定位置信度分支,預(yù)測一個衡量定位質(zhì)量的置信度分?jǐn)?shù)可以使檢測質(zhì)量的表征更合理.將預(yù)測的定位置信度乘以分類置信度作為檢測質(zhì)量分?jǐn)?shù),用作NMS階段的排序指標(biāo),能夠兼顧分類質(zhì)量和定位質(zhì)量.目前定位置信度主要有IoU和centerness兩種.IoU直接采用最終定位質(zhì)量的衡量指標(biāo)作為定位置信度,需要在結(jié)構(gòu)復(fù)雜的特征對齊網(wǎng)絡(luò)中才能生效,其計算公式如式(1)所示.由公式可知IoU定位置信度沒有考慮中心點(diǎn)距離、長寬比等幾何因素,無法區(qū)分重疊程度相同的包圍框,對此本文將在4.2節(jié)進(jìn)行改進(jìn).Centerness計算像素點(diǎn)到對應(yīng)包圍框的中心度,間接采用位置信息表示定位質(zhì)量,只需在逐像素預(yù)測網(wǎng)絡(luò)中就能生效[23],其計算公式為:

(2)

其中,l*、r*、t*和b*表示預(yù)測像素點(diǎn)到包圍框4條邊的距離.

IoU和centerness都可以用來衡量定位質(zhì)量,但目前的道路場景檢測算法均對不同尺度的目標(biāo)使用相同的定位置信度,沒有考慮到兩者對多尺度道路目標(biāo)的敏感性不同.

3 定位置信度敏感性研究

本節(jié)研究常用的兩種定位置信度對多尺度道路目標(biāo)的敏感性.首先構(gòu)建研究框架并介紹實(shí)驗(yàn)設(shè)置,然后通過對比實(shí)驗(yàn)考量IoU和centerness對多尺度目標(biāo)的精度影響,并從計算原理出發(fā)分析對比實(shí)驗(yàn)結(jié)果,最后統(tǒng)計標(biāo)簽分布進(jìn)一步驗(yàn)證計算原理分析.

3.1 定位置信度研究框架構(gòu)建

本文基于1.5階段檢測算法RepPoints構(gòu)建定位置信度研究框架.RepPoints通過可變形卷積實(shí)現(xiàn)特征對齊,具體如圖2所示.首先在特征圖上逐像素學(xué)習(xí)N(N=9)個語義關(guān)鍵點(diǎn)坐標(biāo)offsets,offsets經(jīng)過解碼和轉(zhuǎn)換得到包圍框,即可由真實(shí)框進(jìn)行監(jiān)督.當(dāng)可變形卷積計算到黑色像素點(diǎn)時,其對應(yīng)的3*3卷積核加上網(wǎng)絡(luò)預(yù)測的offsets,形狀變成陰影部分的9個點(diǎn).不同于原始卷積核對應(yīng)區(qū)域僅包含部分特征,陰影部分的9個點(diǎn)組成的區(qū)域映射回原圖基本包含目標(biāo)的完整信息.在網(wǎng)絡(luò)的輸出部分,RepPoints逐像素進(jìn)行分類、回歸.因此RepPoints兼具特征對齊和逐像素預(yù)測雙重特性,對IoU和centerness均適用,適合作為定位置信度研究框架.

圖2 RepPoints中的特征對齊過程Fig.2 Feature alignment in RepPoints

研究框架總體結(jié)構(gòu)如圖3所示.輸入的道路場景圖像首先經(jīng)過ResNet提取特征、FPN融合特征,得到道路場景特征通過可變形卷積實(shí)現(xiàn)對齊,最后在網(wǎng)絡(luò)的輸出部分,基于對齊的特征圖逐像素進(jìn)行檢測并額外預(yù)測一個定位置信度.定位置信度分支和回歸分支共享特征,通過一個1*1卷積輸出結(jié)果,能避免特征擴(kuò)散,保證每個像素點(diǎn)上信息的獨(dú)立性.此外,該分支僅使用正樣本作為訓(xùn)練樣本,避免大量負(fù)樣本影響訓(xùn)練.在該框架下,只需改變該分支的標(biāo)簽,即可在網(wǎng)絡(luò)中使用不同定位置信度.

圖3 定位置信度研究框架Fig.3 Research framework of localization confidence

3.2 實(shí)驗(yàn)設(shè)置

運(yùn)行環(huán)境.本文的實(shí)驗(yàn)均在Python環(huán)境下進(jìn)行,操作系統(tǒng)為64位的 Ubuntu 20.04,深度學(xué)習(xí)框架為Pytorch1.5;硬件配置為CPU Intel(R)i5-10400F;內(nèi)存16G;GPU NVIDIA GeForce RTX 3060.

數(shù)據(jù)集與評價指標(biāo).本文選擇主流的道路場景數(shù)據(jù)集Cityscapes[25]作為道路場景下目標(biāo)檢測數(shù)據(jù)集,Cityscapes包含了50個不同城市的道路場景圖像,訓(xùn)練集和測試集分別包含2975張和500張帶有標(biāo)注的圖片.

本文使用全類平均準(zhǔn)確度(Mean Average Precision,mAP)衡量算法性能[26],mAP值越高,表示檢測性能越強(qiáng),s代表目標(biāo)的面積,使用APS衡量道路場景中的小目標(biāo)(096)檢測效果[27].使用FPS(每秒傳輸幀率)作為衡量算法實(shí)時性的指標(biāo).

實(shí)驗(yàn)參數(shù)設(shè)置.本文使用ImageNet預(yù)訓(xùn)練的ResNet-50作為骨干網(wǎng)絡(luò).在訓(xùn)練過程中,將Cityscapes數(shù)據(jù)集中的圖片調(diào)整至適合道路場景實(shí)際應(yīng)用的大小,使其短邊小于640,長邊小于1280.

此外,在訓(xùn)練中使用了隨機(jī)梯度下降(SGD)優(yōu)化器.學(xué)習(xí)率設(shè)置為0.00125,權(quán)重更新的動量設(shè)置為0.9.將批處理大小設(shè)置為1,并訓(xùn)練237200次迭代,并在第166041和第213481次迭代時將學(xué)習(xí)率下降為0.000125和0.0000125,每23720次迭代保存每個網(wǎng)絡(luò)臨時模型.

3.3 定位置信度對多尺度道路目標(biāo)敏感性研究

對比實(shí)驗(yàn).首先通過定位置信度對比實(shí)驗(yàn),考量IoU和centerness對道路場景中多尺度目標(biāo)的精度影響,實(shí)驗(yàn)結(jié)果如表1所示.IoU作為定位置信度時總體效果優(yōu)于centerness,相比于baseline,mAP提升了1.1%,對各尺度目標(biāo)檢測精度均有提升,尤其是中、小目標(biāo)提升明顯,其中小目標(biāo)精度APS提高了0.9%,中目標(biāo)的精度APM提高了1.2%;Centerness對大目標(biāo)作用明顯,APL提高1.6%,但檢測小目標(biāo)時精度下降,總體作用效果不明顯.

表1 定位置信度對比實(shí)驗(yàn)結(jié)果Table 1 Comparative experimental results of localization confidence

計算原理分析.從定位置信度的計算原理出發(fā)分析上述對比實(shí)驗(yàn)結(jié)果.根據(jù)公式(1)和公式(2)可以分別計算IoU和centerness的標(biāo)簽值,當(dāng)應(yīng)用于不同尺度的目標(biāo)時,這兩種定位置信度的標(biāo)簽由于計算原理的不同存在顯著差異,具體如圖4所示.

圖4 定位置信度計算原理示意圖Fig.4 Calculation principle of localization confidence

大目標(biāo)中正樣本點(diǎn)較多,如圖4中的行人,其centerness的標(biāo)簽值由物體中心向四周呈發(fā)散狀遞減趨勢,由于距離目標(biāo)中心越近的像素點(diǎn)預(yù)測得到的包圍框檢測質(zhì)量越高[23],因此centerness中包含的位置信息能夠有效過濾遠(yuǎn)離目標(biāo)中心的包圍框,保留靠近目標(biāo)中心且定位質(zhì)量高的包圍框,從而提升大目標(biāo)精度.而當(dāng)centerness應(yīng)用于小目標(biāo)時,這種通過位置信息過濾冗余包圍框的方式存在一定缺陷,圖4中的車輛僅包含一個正樣本,其對應(yīng)的centerness標(biāo)簽值非常小,導(dǎo)致其預(yù)測的包圍框在NMS階段被錯誤剔除.在道路場景中存在較多這樣的小目標(biāo),因此小目標(biāo)精度APS降低.從計算原理分析可知,centerness僅對大目標(biāo)敏感.

IoU標(biāo)簽值由公式(1)計算得到,僅包含定位精度信息,而與目標(biāo)的大小無關(guān),所以IoU標(biāo)簽值始終較大.圖4中IoU作為定位置信度時,只要包圍框定位準(zhǔn),即使是僅有一個正樣本點(diǎn)的小目標(biāo),其IoU標(biāo)簽值也可以很大.因此,IoU對各個尺度的目標(biāo)檢測效果均有提升,尤其是對小目標(biāo)和中目標(biāo)更為敏感.

標(biāo)簽分布統(tǒng)計.對定位置信度的標(biāo)簽分布進(jìn)行統(tǒng)計,以驗(yàn)證計算原理分析.隨機(jī)抽取300張道路圖像,基于RepPoints統(tǒng)計每張圖片中IoU和centerness的標(biāo)簽值,得到其分布如圖5所示.

圖5 IoU和centerness標(biāo)簽值分布情況Fig.5 Distribution of IoU labels and centerness labels

由圖5可知,centerness的標(biāo)簽值總體相對較小,甚至有部分標(biāo)簽值集中在0.1和0.2之間.這些由極小標(biāo)簽監(jiān)督的centerness對應(yīng)于圖4中的小目標(biāo),降低了APS.和centerness不同,不論目標(biāo)大小,大多數(shù)IoU的標(biāo)簽值都大于0.7.以上標(biāo)簽分布統(tǒng)計印證了表1中的對比實(shí)驗(yàn)結(jié)果和圖4所示的計算原理.

綜上所述,定位置信度對道路場景下多尺度目標(biāo)的敏感性研究結(jié)果如下:IoU作為定位置信度時整體效果優(yōu)于centerness,對于大目標(biāo),兩者都有助于提高檢測精度;對于中目標(biāo)和小目標(biāo),IoU更為敏感,而centerness失效.根據(jù)以上結(jié)論即可對多尺度目標(biāo)有針對性地使用定位置信度.

4 優(yōu)化定位置信度改進(jìn)算法

本節(jié)基于RepPoints提出一種用于多尺度道路目標(biāo)檢測的優(yōu)化定位置信度改進(jìn)算法,首先根據(jù)敏感性研究結(jié)果提出混合定位置信度(Mixed localization confidence),然后針對IoU無法區(qū)分重疊程度相同的包圍框,提出基于回歸損失的CIoU定位置信度(CIoU localization confidence),最后將兩者結(jié)合,得到優(yōu)化定位置信度改進(jìn)算法.

4.1 基于尺度敏感性的混合定位置信度

單一的定位置信度僅從一個指標(biāo)出發(fā)衡量包圍框的定位質(zhì)量,對于多尺度道路場景不夠全面,因此考慮將兩種定位置信度融合,以結(jié)合兩者的優(yōu)勢.但I(xiàn)oU和centerness側(cè)重不同,盲目融合只會適得其反.因此本文提出基于尺度敏感性的混合定位置信度,根據(jù)敏感性研究結(jié)果對定位置信度進(jìn)行融合.

混合定位置信度和一般定位置信度的區(qū)別在于監(jiān)督信息的不同,即標(biāo)簽值不同.由定位置信度的敏感性研究可知,IoU對小目標(biāo)和中目標(biāo)更敏感,同時對大目標(biāo)也能起到效果,而centerness僅對大目標(biāo)敏感,對小目標(biāo)和中目標(biāo)檢測效果不佳,因此在確定定位置信度的標(biāo)簽值時,小目標(biāo)和中目標(biāo)都只使用IoU作為標(biāo)簽值,僅對大目標(biāo)進(jìn)行定位置信度融合,融合后的定位置信度不僅包含IoU反映的定位精度信息,同時通過centerness包含的位置信息進(jìn)一步區(qū)分包圍框的定位質(zhì)量.混合定位置信度標(biāo)簽值m的計算公式為:

(3)

式(3)中,γ為平衡因子,用于調(diào)整IoU和centerness的比重.混合定位置信度根據(jù)不同的目標(biāo)尺度敏感性有選擇地融合定位置信度,提高了NMS階段檢測質(zhì)量表征方法的合理性.

4.2 基于回歸損失的CIoU定位置信度

定位置信度IoU的標(biāo)簽值由真實(shí)框和回歸分支預(yù)測的包圍框計算得到,即定位置信度分支和回歸分支直接相關(guān).目前回歸分支的損失函數(shù)均直接基于IoU進(jìn)行設(shè)計[28],但是僅用IoU無法區(qū)分重疊程度相同的包圍框,且包圍框和真實(shí)框不重疊時,該損失會出現(xiàn)梯度消失問題,導(dǎo)致收斂速度減慢.GIoU在IoU損失中引入懲罰項以緩解梯度消失問題[29],DIoU損失[30]在懲罰項中考慮了包圍框與真實(shí)框之間的中心點(diǎn)距離,在此基礎(chǔ)上,CIoU損失進(jìn)一步考慮了框的寬高比[30],解決了IoU損失的梯度消失問題,并能進(jìn)一步區(qū)分重疊程度相同的包圍框,其公式為:

(4)

式(4)中,ρ為包圍框和真實(shí)框中心點(diǎn)的歐氏距離,c為最小外接矩形的對角線距離,v是衡量長寬比一致性的參數(shù),其定義為:

(5)

其中,wgt和hgt為真實(shí)框?qū)捄透?wdet和hdet為包圍框的寬和高.

IoU用作定位置信度時存在和回歸損失函數(shù)相同的問題,因此本文提出基于回歸損失的CIoU定位置信度,首先在交并比的基礎(chǔ)上考慮中心點(diǎn)距離和寬高比,其計算公式為:

(6)

進(jìn)一步考慮定位置信度和回歸損失函數(shù)的區(qū)別.回歸損失函數(shù)直接反映包圍框與真實(shí)框的檢測效果,而定位置信度還需在NMS階段和分類置信度共同作用才能表征檢測質(zhì)量,其值的大小直接決定了對于邊界框指導(dǎo)作用的強(qiáng)弱,而懲罰項的累加必然會導(dǎo)致定位置信度減小,進(jìn)而減弱對檢測質(zhì)量的表征的影響.為了加強(qiáng)定位置信度的指導(dǎo)作用,對CIoU進(jìn)行改進(jìn),將計算公式修改為:

(7)

改進(jìn)后的CIoU定位置信度不僅綜合考慮了幾何因素,并且保持了較大的標(biāo)簽值,在后處理階段衡量定位質(zhì)量時,能夠更好地反映包圍框和真實(shí)框的重疊方式,從而進(jìn)一步區(qū)分重疊程度相同的包圍框.

最后,將混合定位置信度和CIoU定位置信度結(jié)合,將公式(3)中的IoU替換為公式(7)中的CIoU,得到優(yōu)化定位置信度,其標(biāo)簽值n的計算公式為

(8)

式(8)中,α為調(diào)整CIoU和centerness比重的平衡因子.優(yōu)化定位置信度不僅根據(jù)目標(biāo)尺度調(diào)整定位置信度,還進(jìn)一步優(yōu)化IoU,使其考慮中心點(diǎn)距離和寬高比.在NMS階段,優(yōu)化定位置信度改進(jìn)算法將預(yù)測的定位置信度乘以分類置信度作為排序得分,解決了RepPoints中包圍框的檢測質(zhì)量表征不合理問題,提高了多尺度目標(biāo)的檢測精度.具體的算法實(shí)現(xiàn)如算法1所示.

算法1.優(yōu)化定位置信度改進(jìn)算法.

初始化：包圍框集合B={b1,b2,…,bn},包圍框?qū)?yīng)的分類置信度集合C={c1,c2,…,cn}、優(yōu)化定位置信度集合L={l1,l2,…,ln},NMS閾值σ.

輸出：包圍框集合D以及對應(yīng)的檢測質(zhì)量分?jǐn)?shù)集合S

1.D←?

2.S←{ci*li|i=1,2,…,n}

3.whileB≠? do

4.m←argmaxS

5.M←bm

6.D←D∪M;B←B/M

7.forbj∈Bdo

8.if IOU{bm,bj}>σthen

9.B←B{bj}

10.S←S/{sj}

11.end if

12. end for

13.end while

14.returnD,S

5 實(shí)驗(yàn)與分析

本節(jié)對改進(jìn)算法進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)設(shè)置和2.2節(jié)相同.首先分別驗(yàn)證混合定位置信度和CIoU定位置信度的有效性,然后對兩種策略進(jìn)行消融實(shí)驗(yàn)并進(jìn)行結(jié)果分析,最后將本文算法與其它主流的道路場景檢測算法對比,本文算法具有最高的檢測精度.

5.1 有效性驗(yàn)證實(shí)驗(yàn)

1)混合定位置信度有效性驗(yàn)證

為了驗(yàn)證混合定位置信度的有效性,首先確定公式(3)中的平衡因子γ.由定位置信度敏感性研究結(jié)果可知,IoU總體作用效果優(yōu)于centerness,而centerness對大目標(biāo)的精度提升更為明顯,因此平衡因子γ調(diào)整兩者的比重時,仍然以IoU作為混合定位置信度的主體,適當(dāng)增加centerness以加入位置信息.依次取γ=0.1,0.2,0.3,0.4,0.5,結(jié)果如表2所示.隨著γ的增加,網(wǎng)絡(luò)的檢測精度先增大后減小,當(dāng)γ=0.3時達(dá)到最優(yōu),后續(xù)實(shí)驗(yàn)中γ均取0.3.可見適當(dāng)增加位置信息確實(shí)能夠結(jié)合IoU和centerness的優(yōu)勢,使定位置信度更合理,符合定位置信度對多尺度道路目標(biāo)的敏感性研究結(jié)果.

表2 平衡因子γ實(shí)驗(yàn)結(jié)果Table 2 Experimental results of equilibrium factor γ

RepPoints應(yīng)用混合定位置信度前后在道路場景下的檢測性能對比如表3所示,mAP較baseline提高了2.1%,較IoU定位置信度提高了1.0%,由于位置信息的加入顯著提升了大目標(biāo)的檢測效果,APL提高了4.5%.多尺度目標(biāo)檢測精度均得到了明顯提升,顯然混合定位置信度有效.

表3 混合定位置信度實(shí)驗(yàn)結(jié)果Table 3 Experimental results of mixed localization confidence

2)CIoU定位置信度有效性驗(yàn)證

本實(shí)驗(yàn)對CIoU定位置信度的有效性進(jìn)行驗(yàn)證,實(shí)驗(yàn)結(jié)果如表4所示,其mAP相比于IoU定位置信度進(jìn)一步提升了0.5%.使用GIoU、DIoU以及公式(6)所示的標(biāo)準(zhǔn)CIoU作為定位置信度時,由于訓(xùn)練初期包圍框定位精度較低,懲罰項過大導(dǎo)致部分標(biāo)簽為負(fù),模型無法正常收斂.而本文改進(jìn)后的CIoU在考慮中心點(diǎn)距離和寬高比的同時保持了較大的標(biāo)簽值,降低了模型訓(xùn)練難度,顯然CIoU定位置信度有效.

表4 CIoU定位置信度實(shí)驗(yàn)結(jié)果Table 4 Experimental results of CIoU localization confidence

5.2 消融實(shí)驗(yàn)與結(jié)果分析

首先確定優(yōu)化定位置信度中的平衡因子α,得到混合定位置信度和CIoU定位置信度共同作用時最優(yōu)結(jié)果.同樣適當(dāng)增加centerness,依次取α=0.1,0.2,0.3,0.4,0.5,結(jié)果如圖6所示,隨著α的增加,檢測精度先增大后減小,并在α=0.3時達(dá)到最優(yōu),因此公式(8)中的平衡因子同樣取0.3.

圖6 平衡因子α實(shí)驗(yàn)結(jié)果Fig.6 Experimental results of equilibrium factor α

接著對本文提出的優(yōu)化定位置信度改進(jìn)算法進(jìn)行消融實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表5所示.在混合定位置信度和CIoU定位置信度單獨(dú)作用時,mAP分別提升2.1%和1.6%,兩者共同作用時精度提升了2.4%.多尺度目標(biāo)檢測精度較原始算法均有明顯提升,其中APS提升1.5%,APM提升2.7%,APL提升4.3%,顯然兩者可以共同作用.此外,定位置信度分支只增加了極少的計算量,因此算法的實(shí)時性并沒有下降.優(yōu)化定位置信度用于多尺度道路目標(biāo)檢測時,能夠在保持算法實(shí)時性的同時顯著提升檢測精度.

表5 改進(jìn)算法消融實(shí)驗(yàn)結(jié)果Table 5 Experimental results of improved strategy fusion

對優(yōu)化定位置信度在NMS過程中的實(shí)際作用效果進(jìn)行可視化,如圖7所示,對于大目標(biāo),優(yōu)化定位置信度將CIoU和centerness融合作為標(biāo)簽,和IoU作為定位置信度相比,將包圍框1的定位置信度從0.59抑制至0.57,將包圍框2的定位置信度從0.738提升至0.762,擴(kuò)大了高質(zhì)量包圍框在NMS過程中的優(yōu)勢,最終保留了包圍框2;對于圈中的小目標(biāo),優(yōu)化定位置信度直接采用包圍框和真實(shí)框的CIoU作為標(biāo)簽,相比于分類置信度更高的黃色框,網(wǎng)絡(luò)選擇了分類正確且優(yōu)化定位置信度得分更高的包圍框4.優(yōu)化定位置信度解決了多尺度道路目標(biāo)檢測質(zhì)量的表征不合理問題,檢測結(jié)果更加合理.

圖7 優(yōu)化定位置信度效果可視化Fig.7 Visualization of optimized localization confidence

優(yōu)化定位置信度改進(jìn)算法應(yīng)用前后的檢測結(jié)果如圖8所示.城市道路場景中存在較多小目標(biāo),RepPoints算法應(yīng)用于這些目標(biāo)時容易出現(xiàn)誤檢情況,如圖8(a)將rider誤檢為person和bicycle,且包圍框質(zhì)量均較差.使用本文算法后誤檢情況得到顯著改善,將檢測質(zhì)量分?jǐn)?shù)為0.65的高質(zhì)量包圍框保留為檢測結(jié)果.此外,本文算法有效提升了道路場景的檢測精度,圖8(b)中圈出部分實(shí)際上屬于背景,使用本文算法后包圍框更集中于有效目標(biāo),定位不夠準(zhǔn)確的情況得到了很大改善.

圖8 優(yōu)化定位置信度改進(jìn)算法檢測結(jié)果Fig.8 Detection results of optimized localization confidence

5.3 改進(jìn)算法性能分析

將本文算法與其它主流的道路場景檢測算法進(jìn)行對比,包括Cascade-RCNN、FCOS、ATSS等,在設(shè)置相同實(shí)驗(yàn)參數(shù)的情況下,結(jié)果如表6所示.

表6 改進(jìn)算法性能對比Table 6 Performance comparison of the improved algorithm

在主流的道路場景檢測算法中,Cascade-RCNN的檢測精度最高,FCOS的實(shí)時性最好.與這些算法相比,本文算法取得了最高的mAP(34.6%),超過了Cascade-RCNN,比FCOS高出2.8%,顯著提升了Reppoints的多尺度目標(biāo)檢測精度,取得了最高的中目標(biāo)檢測精度(35.9%)和最高的大目標(biāo)檢測精度(57.7%).同時,本文算法保持了較好的實(shí)時性(12.3FPS),檢測速度高于多數(shù)主流檢測算法,比Cascade-RCNN高出2.6FPS,應(yīng)用于道路場景時可以顯著提高目標(biāo)檢測的性能.

6 結(jié) 論

本文從定位置信度出發(fā)研究和改進(jìn)道路場景目標(biāo)檢測算法.首先基于RepPoints構(gòu)建研究框架,并根據(jù)研究結(jié)果提出了基于尺度敏感性的混合定位置信度.接著提出了基于回歸損失的CIoU定位置信度,改善了IoU定位置信度無法區(qū)分重疊尺度相同的包圍框的缺陷.最后將以上兩者結(jié)合,得到優(yōu)化定位置信度改進(jìn)算法.本文算法通過解決RepPoints在NMS階段的檢測質(zhì)量表征不合理問題,顯著提升了道路場景下多尺度目標(biāo)的檢測精度.該算法的局限性在于目前僅適用于1.5階段算法,因此下一步工作擬將優(yōu)化定位置信度拓展至雙階段算法和單階段算法.