郭韜遠(yuǎn) 任明武

（1.南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 南京 210094）

（2.南京理工大學(xué)高維信息智能感知與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室 南京 210094）

1 引言

汽車(chē)的普及提高了國(guó)民的生活水平，但同時(shí)以柴油為動(dòng)力的車(chē)輛排放了大量污染環(huán)境的尾氣。這些車(chē)輛的尾氣通常呈黑煙狀，含有多種有毒污染物，是我國(guó)近年來(lái)空氣污染的最大源頭。過(guò)去一般使用人工方法對(duì)黑煙車(chē)輛進(jìn)行檢測(cè)，耗時(shí)耗力，研究如何高效地檢測(cè)黑煙車(chē)輛對(duì)國(guó)家相關(guān)部門(mén)的環(huán)保工作十分有幫助。監(jiān)控?cái)z像機(jī)在交通道路中已經(jīng)普遍應(yīng)用，隨著近幾年AI 技術(shù)的發(fā)展，開(kāi)發(fā)智能監(jiān)控系統(tǒng)、自動(dòng)化從海量視頻圖像中提取有用的信息已成為可能。目前在道路監(jiān)控視頻中主要使用傳統(tǒng)的目標(biāo)檢測(cè)技術(shù)對(duì)黑煙車(chē)輛進(jìn)行檢測(cè)。針對(duì)黑煙車(chē)輛使用的傳統(tǒng)目標(biāo)檢測(cè)方法多數(shù)基于背景建模法，文獻(xiàn)［1］～［2］通過(guò)使用高斯模型法或ViBe法將圖像中的前景目標(biāo)分離出來(lái)，接著對(duì)前景目標(biāo)中的車(chē)輛尾部進(jìn)行粗定位得到感興趣區(qū)域，然后在感興趣區(qū)域使用手工設(shè)計(jì)的特征，如黑煙的顏色、紋理、小波變換特征［3］等進(jìn)行特征提取，最后通過(guò)訓(xùn)練SVM 分類(lèi)器、Adaboost 分類(lèi)器、BP 神經(jīng)網(wǎng)絡(luò)等進(jìn)行特征分類(lèi)，識(shí)別出圖像中的目標(biāo)。然而車(chē)輛尾部信息復(fù)雜，且黑煙自身的低級(jí)視覺(jué)特征容易受到外界環(huán)境因素的影響而發(fā)生變化，而手工設(shè)計(jì)的特征提取器依賴于目標(biāo)的先驗(yàn)知識(shí)，因此傳統(tǒng)方法無(wú)法滿足復(fù)雜交通場(chǎng)景下的黑煙車(chē)輛檢測(cè)。

近年來(lái)隨著硬件計(jì)算性能和深度學(xué)習(xí)技術(shù)的快速發(fā)展，出現(xiàn)了許多基于卷積神經(jīng)網(wǎng)絡(luò)的通用目標(biāo)檢測(cè)算法，應(yīng)用于人臉識(shí)別、車(chē)輛檢測(cè)、行人檢測(cè)等領(lǐng)域都取得了非常好的效果，相對(duì)于傳統(tǒng)的機(jī)器學(xué)習(xí)方法在準(zhǔn)確性上有了很大提高［4］。典型的基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法大致可以分為兩類(lèi)：基于框的目標(biāo)檢測(cè)算法和基于關(guān)鍵點(diǎn)的目標(biāo)檢測(cè)算法。區(qū)別于傳統(tǒng)的基于框的目標(biāo)檢測(cè)算法，最近以CenterNet［5］為代表的基于關(guān)鍵點(diǎn)的一系列目標(biāo)檢測(cè)算法開(kāi)拓了目標(biāo)檢測(cè)新方向。目標(biāo)檢測(cè)本質(zhì)是對(duì)目標(biāo)的建模，以使用中心和尺寸來(lái)對(duì)目標(biāo)建模為例，基于框的目標(biāo)檢測(cè)算法本質(zhì)上是在候選區(qū)域或Anchor 空間中回歸中心和尺寸的偏差，如兩階段的Faster RCNN［6］系列和一階段的YOLO［7］系列，區(qū)別在于候選區(qū)域需要通過(guò)RPN 等單獨(dú)一個(gè)階段來(lái)實(shí)現(xiàn)，而Anchor 則可以預(yù)先設(shè)置；而基于關(guān)鍵點(diǎn)的目標(biāo)檢測(cè)算法則是直接在像素級(jí)水平上直接定位中心，再使用中心處的特征直接回歸尺寸，無(wú)需候選區(qū)域或Anchor 空間。無(wú)需候選區(qū)域則可以避免二階段檢測(cè)速度過(guò)慢，無(wú)需anchor空間可避免負(fù)樣本數(shù)量過(guò)大引起正負(fù)樣本失衡繼而導(dǎo)致難以訓(xùn)練?；陉P(guān)鍵點(diǎn)的目標(biāo)檢測(cè)算法雖然早在Dense-Box［8］中就初見(jiàn)端倪，但直到CornerNet［9］才具體成型，這得益于人體姿態(tài)估計(jì)領(lǐng)域關(guān)鍵點(diǎn)定位技術(shù)（基于熱力圖的關(guān)鍵點(diǎn)定位）的日益成熟。在CornerNet 提 出 后，涌 現(xiàn) 出ExtremeNet［10］，CenterNet，CSP［11］等一系列基于關(guān)鍵點(diǎn)的目標(biāo)檢測(cè)算法。本文目標(biāo)是設(shè)計(jì)一個(gè)用于視頻監(jiān)控場(chǎng)景下的快速黑煙車(chē)輛檢測(cè)的算法，鑒于CenterNet 在檢測(cè)速度和效果上都要?jiǎng)龠^(guò)YOLOv3［12］，所以初步選擇Center-Net 作為基礎(chǔ)方案。另一個(gè)選擇CenterNet 的關(guān)鍵原因是黑煙沒(méi)有固定形態(tài)，故其尺寸比例分布廣泛，難以設(shè)計(jì)Anchor 的尺寸和比例來(lái)覆蓋。本文分別統(tǒng)計(jì)可視化了黑煙車(chē)輛數(shù)據(jù)集中黑煙和車(chē)輛的尺寸散點(diǎn)圖，如圖1黑煙車(chē)輛數(shù)據(jù)集中的黑煙尺寸散點(diǎn)圖、圖2黑煙車(chē)輛數(shù)據(jù)集中的車(chē)輛尺寸散點(diǎn)圖所示，黑煙尺寸散點(diǎn)圖分布的角度范圍更大且不如車(chē)輛尺寸散點(diǎn)圖凝聚。

圖1 黑煙車(chē)輛數(shù)據(jù)集中的黑煙尺寸散點(diǎn)圖

圖2 黑煙車(chē)輛數(shù)據(jù)集中的車(chē)輛尺寸散點(diǎn)圖

2 CenterNet算法原理

2.1 簡(jiǎn)介

基本思想是用中心點(diǎn)（即目標(biāo)框的中心點(diǎn)）表示目標(biāo)，尺寸作為目標(biāo)性質(zhì)可以使用圖像在中心點(diǎn)處的特征直接回歸。關(guān)鍵在于中心點(diǎn)估計(jì)，而CenterNet采用全卷積編解碼網(wǎng)絡(luò)架構(gòu)生成圖像的熱力圖，其峰值點(diǎn)即對(duì)應(yīng)于目標(biāo)中心點(diǎn)。如圖3 所示，整體架構(gòu)有三部分組成：編碼器，解碼器，任務(wù)組件。其中編碼器為常見(jiàn)主干網(wǎng)絡(luò)，如ResNet［13］，DLA［14］，Hourglass［15］等，解碼器為連續(xù)的上采樣操作（或者編碼完成后解碼，或者編解碼交互），任務(wù)組件包含三部分：熱力圖定位，偏差回歸，尺寸回歸。整體網(wǎng)絡(luò)采用稠密的熱力圖監(jiān)督信號(hào)學(xué)習(xí)，其推斷無(wú)需NMS。

圖3 CenterNet整體網(wǎng)絡(luò)架構(gòu)

2.2 損失函數(shù)

最后，整體檢測(cè)任務(wù)損失如下：

其中λoff，λsize分別權(quán)衡偏差回歸和尺寸回歸的重要性，后面所有實(shí)驗(yàn)采用λoff=1，λsize=0.1。

3 基于注意機(jī)制的雙分支黑煙車(chē)輛檢測(cè)網(wǎng)絡(luò)

針對(duì)CenterNet 在黑煙車(chē)輛檢測(cè)任務(wù)上存在的缺陷，本文在其基礎(chǔ)上設(shè)計(jì)了一個(gè)基于注意機(jī)制的雙主干黑煙車(chē)輛檢測(cè)網(wǎng)絡(luò)。首先黑煙車(chē)輛數(shù)據(jù)集規(guī)模過(guò)小，無(wú)法發(fā)揮深度復(fù)雜網(wǎng)絡(luò)的優(yōu)勢(shì)。其次，雖然沒(méi)有公開(kāi)的黑煙檢測(cè)數(shù)據(jù)集，但是公開(kāi)的車(chē)輛檢測(cè)數(shù)據(jù)集卻很多。針對(duì)這一現(xiàn)狀，本文決定針對(duì)黑煙和車(chē)輛目標(biāo)分別使用一個(gè)主干網(wǎng)絡(luò)提取針對(duì)性的特征表示。因?yàn)樾枰獧z測(cè)的黑煙是車(chē)輛排出的尾氣，所以黑煙一定在車(chē)輛周?chē)?。首先黑煙遠(yuǎn)離車(chē)輛必會(huì)稀薄，其次其他類(lèi)型的黑煙（如燃燒產(chǎn)生的黑煙）也非本文需要檢測(cè)的目標(biāo)，所以靠近車(chē)輛的黑煙才是關(guān)鍵。針對(duì)黑煙車(chē)輛目標(biāo)檢測(cè)的關(guān)系：黑煙必定在車(chē)輛尾部，車(chē)輛尾部不一定有黑煙，本文引入注意機(jī)制對(duì)這種關(guān)系進(jìn)行建模。

基于注意機(jī)制的雙分支黑煙車(chē)輛檢測(cè)網(wǎng)絡(luò)架構(gòu)如圖4所示。

圖4 基于注意機(jī)制的雙分支黑煙車(chē)輛檢測(cè)網(wǎng)絡(luò)架構(gòu)

基于CenterNet 在黑煙車(chē)輛檢測(cè)上的速度和效果，同時(shí)考慮實(shí)際應(yīng)用需求，黑煙編碼器和車(chē)輛編碼器都選取ResNet18，但黑煙編碼器中的正常卷積改為可形變卷積（針對(duì)黑煙是氣態(tài)這種特征）。如圖4 所示，設(shè)黑煙編碼器生成的特征圖為F1，車(chē)輛生成的特征圖為F2，則融合后的特征圖如下：

其中K為1×1 的卷積和，*表示卷積運(yùn)算，?表示逐元素相乘。其意義是使用車(chē)輛特征圖F2生成注意機(jī)制來(lái)指導(dǎo)黑煙特征圖，使得黑煙特征圖在同時(shí)出現(xiàn)黑煙和車(chē)輛的區(qū)域響應(yīng)最大，這樣可以抑制類(lèi)似黑煙的背景區(qū)域（如陰影，道路上輪胎留下的痕跡等）的響應(yīng)，可以提升黑煙的檢測(cè)精度。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 數(shù)據(jù)集簡(jiǎn)介

因目前沒(méi)有公開(kāi)的監(jiān)控場(chǎng)景下的黑煙車(chē)輛數(shù)據(jù)集，所以人工采集并標(biāo)注了9965 張分辨率為360×640的黑煙車(chē)輛圖片（共25820個(gè)框，其中9070個(gè)黑煙框，16750 個(gè)車(chē)輛框），隨機(jī)選取其中80%作為訓(xùn)練集，10%作為驗(yàn)證集，10%作為測(cè)試集。

4.2 實(shí)驗(yàn)設(shè)置

為比較各種編碼器和解碼器在黑煙車(chē)輛數(shù)據(jù)集上的檢測(cè)效果和速度，本實(shí)驗(yàn)嘗試了輕量級(jí)ShuffleNet V2［16］，ResNet 系列，DLA 系列以及Hourglass，其中ShuffleNet V2 和ResNet系列只是作為編碼器，解碼部分采用如圖4所示的常規(guī)反卷積上采樣，而DLA 系列以及Hourglass 則是編解碼交互的架構(gòu)。訓(xùn)練細(xì)節(jié)：統(tǒng)一輸入圖像大小為512×512，選取隨機(jī)翻轉(zhuǎn)，伸縮（0.6～1.3），裁剪和色彩抖動(dòng)來(lái)增強(qiáng)數(shù)據(jù)，使用Adam來(lái)優(yōu)化整體損失。推斷細(xì)節(jié)：為進(jìn)一步提速，沒(méi)有在測(cè)試時(shí)做翻轉(zhuǎn)和多尺度；另外，為增加推斷速度，將部分前處理運(yùn)算放入GPU中。

4.3 CenterNet算法準(zhǔn)確率

詳細(xì)的對(duì)比實(shí)驗(yàn)結(jié)果如表1 所示，不僅給出了黑煙、車(chē)輛的檢測(cè)AP及整體的mAP，還測(cè)試了檢測(cè)的速度（包括前后處理）和占用顯存。

表1 基于CenterNet的黑煙車(chē)輛測(cè)試集實(shí)驗(yàn)結(jié)果

4.4 基于注意機(jī)制的雙分支黑煙車(chē)輛檢測(cè)網(wǎng)絡(luò)準(zhǔn)確率

對(duì)提出的基于注意機(jī)制的雙分支黑煙車(chē)輛檢測(cè)網(wǎng)絡(luò)進(jìn)行了一系列對(duì)比試驗(yàn)并進(jìn)行分析，實(shí)驗(yàn)結(jié)果見(jiàn)表2。

表2 基于注意機(jī)制的雙分支黑煙車(chē)輛檢測(cè)網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果

4.5 實(shí)驗(yàn)分析

從表1 來(lái)看：基于ResNet18 的CenterNet 在黑煙、車(chē)輛及整體數(shù)據(jù)集上都取得了最好的檢測(cè)效果，且在檢測(cè)速度及顯存占用上與輕量級(jí)主干網(wǎng)絡(luò)ShuffleNetV2 相當(dāng)。從ResNet34 與DLA34 的結(jié)果對(duì)比來(lái)看，不同深度及分辨率的特征融合確實(shí)能提升效果，且只對(duì)推斷速度造成微弱降低。從ResNet系列及Hourglass 的實(shí)驗(yàn)結(jié)果來(lái)看，增加網(wǎng)絡(luò)的深度并沒(méi)有提升檢測(cè)效果，甚至還不如ResNet18。

此外，車(chē)輛的檢測(cè)效果確實(shí)要比黑煙好，這與前面所說(shuō)的黑煙沒(méi)有固定形態(tài)有關(guān)。據(jù)此，本文認(rèn)為增加網(wǎng)絡(luò)深度卻沒(méi)有提升的原因有兩方面：一是黑煙車(chē)輛數(shù)據(jù)集規(guī)模過(guò)小，無(wú)法發(fā)揮復(fù)雜網(wǎng)絡(luò)的表示能力；二是沒(méi)有在其他類(lèi)似黑煙車(chē)輛的大規(guī)模數(shù)據(jù)集上做預(yù)訓(xùn)練以進(jìn)行遷移。鑒于實(shí)際應(yīng)用需求和上述實(shí)驗(yàn)結(jié)果，本文選擇基于ResNet18 的CenterNet作為監(jiān)控場(chǎng)景下黑煙車(chē)輛檢測(cè)的基本解決方案，并基于上述分析進(jìn)一步改進(jìn)基于ResNet18 的CenterNet 網(wǎng)絡(luò)架構(gòu)，提出基于注意機(jī)制的雙分支黑煙車(chē)輛檢測(cè)網(wǎng)絡(luò)。

從表2 對(duì)比結(jié)果來(lái)看，與預(yù)期的一樣，基于注意機(jī)制的雙分支黑煙車(chē)輛檢測(cè)網(wǎng)絡(luò)對(duì)比基于ResNet18 的CenterNet 有了明顯提升。其中車(chē)輛AP 的提升證明了使用公開(kāi)車(chē)輛檢測(cè)數(shù)據(jù)集做遷移學(xué)習(xí)確實(shí)有效，黑煙AP 的提升證明了基于注意機(jī)制的特征融合確實(shí)能提升黑煙的檢測(cè)精度。

5 結(jié)語(yǔ)

本文將基于深度學(xué)習(xí)的CenterNet 模型應(yīng)用于黑煙車(chē)輛檢測(cè)問(wèn)題，并針對(duì)黑煙車(chē)輛檢測(cè)任務(wù)做了以下方面的改進(jìn)：1）本文嘗試了多種類(lèi)型的編碼器和解碼器，以得出最適合黑煙車(chē)輛檢測(cè)任務(wù)的主干網(wǎng)絡(luò)；2）對(duì)于黑煙數(shù)據(jù)集規(guī)模過(guò)小導(dǎo)致增加網(wǎng)絡(luò)深度精度卻沒(méi)有提升的問(wèn)題，使用雙主干網(wǎng)絡(luò)分別提前針對(duì)性的特征表示；3）針對(duì)黑煙車(chē)輛檢測(cè)的關(guān)系，提出基于注意機(jī)制的特征融合，使用車(chē)輛特征圖生成注意機(jī)制來(lái)指導(dǎo)黑煙特征圖的訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，基于注意機(jī)制的雙分支黑煙車(chē)輛檢測(cè)網(wǎng)絡(luò)相較于CenterNet 在黑煙、車(chē)輛AP 及整體數(shù)據(jù)集上的mAP 都有明顯的提升，但是該算法的檢測(cè)速度降低了不少。