易 詩(shī)，周思堯，沈 練，朱競(jìng)銘

基于增強(qiáng)型輕量級(jí)網(wǎng)絡(luò)的車載熱成像目標(biāo)檢測(cè)方法

易 詩(shī)，周思堯，沈 練，朱競(jìng)銘

（成都理工大學(xué)信息科學(xué)與技術(shù)學(xué)院，四川 成都 610059）

車載熱成像系統(tǒng)不依賴光源，對(duì)天氣狀況不敏感，探測(cè)距離遠(yuǎn)，對(duì)夜間行車有很大輔助作用，熱成像自動(dòng)目標(biāo)檢測(cè)對(duì)夜間智能駕駛具有重要意義。車載熱成像系統(tǒng)所采集的紅外圖像相比可見(jiàn)光圖像具有分辨率低，遠(yuǎn)距離小目標(biāo)細(xì)節(jié)模糊的特點(diǎn)，且熱成像目標(biāo)檢測(cè)方法需考慮車輛移動(dòng)速度所要求的算法實(shí)時(shí)性以及車載嵌入式平臺(tái)的計(jì)算能力。針對(duì)以上問(wèn)題，本文提出了一種針對(duì)熱成像系統(tǒng)的增強(qiáng)型輕量級(jí)紅外目標(biāo)檢測(cè)網(wǎng)絡(luò)（Infrared YOLO，I-YOLO），該網(wǎng)絡(luò)采用（Tiny you only look once，Tiny-YOLO V3）的基礎(chǔ)結(jié)構(gòu)，根據(jù)紅外圖像特點(diǎn)，提取淺層卷積層特征，提高紅外小目標(biāo)檢測(cè)能力，使用單通道卷積核，降低運(yùn)算量，檢測(cè)部分使用基于CenterNet結(jié)構(gòu)的檢測(cè)方式以降低誤檢測(cè)率，提高檢測(cè)速度。經(jīng)實(shí)際測(cè)試，Enhanced Tiny-YOLO目標(biāo)檢測(cè)網(wǎng)絡(luò)在熱成像目標(biāo)檢測(cè)方面，平均檢測(cè)率可達(dá)91%，檢測(cè)平均速度達(dá)到81Fps，訓(xùn)練模型權(quán)重96MB，適宜于車載嵌入式系統(tǒng)上部署。

車載熱成像系統(tǒng)；夜間智能駕駛；I-YOLO紅外目標(biāo)檢測(cè)網(wǎng)絡(luò)；CenterNet結(jié)構(gòu)；車載嵌入式平臺(tái)

0 引言

車載熱成像系統(tǒng)目前在一些高端汽車上作為夜間駕駛輔助設(shè)備有所部署。由于熱成像系統(tǒng)依據(jù)物體的溫差進(jìn)行成像，不受光源影響，同時(shí)受到天氣變化的影響較小，且具備較長(zhǎng)的探測(cè)距離[1]，因此車載熱成像對(duì)于高級(jí)駕駛輔助系統(tǒng)（advanced driving assistance system, ADAS）的夜間行車模塊具備很強(qiáng)的應(yīng)用價(jià)值[2-3]。結(jié)合近年來(lái)高度發(fā)展的機(jī)器視覺(jué)，人工智能深度學(xué)習(xí)技術(shù)，希望提出一種針對(duì)車載熱成像系統(tǒng)的高效目標(biāo)檢測(cè)方法。

目標(biāo)檢測(cè)領(lǐng)域，得益于深度卷積神經(jīng)網(wǎng)絡(luò)[4]（convolutional neural network, CNN）的算法，目標(biāo)檢測(cè)的準(zhǔn)確率得到大幅提升。學(xué)術(shù)界涌現(xiàn)出一系列基于R-CNN的檢測(cè)算法，如SPP-Net（Spatial Pyramid Pooling Net）[5]，F(xiàn)ast-RCNN[6]，F(xiàn)aster-RCNN[7-9]等，檢測(cè)精度得到大幅度提升。同時(shí)出現(xiàn)了區(qū)別于R-CNN系列兩步檢測(cè)方法的端到端檢測(cè)算法，如SSD（Single Shot Multi Box Detector）[10]和YOLO（You Only Look Once）[11]等，檢測(cè)速度得到較大提升。其中YOLO系列目標(biāo)檢測(cè)框架相對(duì)現(xiàn)行其他目標(biāo)檢測(cè)框架具備檢測(cè)精度高，速度快的優(yōu)點(diǎn)[12]。

對(duì)于車載熱成像系統(tǒng)而言，目標(biāo)檢測(cè)方法需要考慮以下3個(gè)方面的問(wèn)題：

1）對(duì)紅外圖像中遠(yuǎn)距離低分辨率，細(xì)節(jié)模糊的小目標(biāo)識(shí)別檢測(cè)精度。目前車載熱成像儀在兼顧成本，視場(chǎng)角與探測(cè)識(shí)別距離情況下普遍采用19mm鏡頭，384×288分辨率機(jī)芯（奧迪，寶馬，奔馳等高端車型所部署的車載熱成像成像系統(tǒng)）。該配置成本較低，同時(shí)成像視場(chǎng)較大，可在100m距離上提供可識(shí)別人體紅外圖像，200m距離上提供可識(shí)別機(jī)動(dòng)車紅外圖像，而較遠(yuǎn)距離上成像像素較低，普遍為10×10像素級(jí)別。

2）在車載動(dòng)態(tài)環(huán)境中目標(biāo)檢測(cè)方法的實(shí)時(shí)性。車載熱成像機(jī)芯刷新頻率普遍為50Hz，可在行車速度低于60km/h的情況下實(shí)時(shí)提供流暢紅外圖像，紅外視頻傳輸速率為25fps，因此目標(biāo)檢測(cè)算法要求平均處理速度需高于30fps。

3）網(wǎng)絡(luò)的精簡(jiǎn)程度，是否適宜部署于車載嵌入式系統(tǒng)。目前最新可用于車載嵌入式系統(tǒng)的邊緣計(jì)算ASIC如Google Edge TPU，要求網(wǎng)絡(luò)輕量級(jí)，模型權(quán)重大小在100MB之內(nèi)，方可部署。

結(jié)合以上3個(gè)問(wèn)題考慮，如使用YOLO系列中檢測(cè)精度較高，滿足紅外小目標(biāo)檢測(cè)精度的YOLOV3目標(biāo)檢測(cè)網(wǎng)絡(luò)，存在網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，模型權(quán)重大（234MB），實(shí)時(shí)性低的缺點(diǎn)，無(wú)法部署于邊緣計(jì)算系統(tǒng)。如使用YOLO系列中針對(duì)移動(dòng)端，邊緣計(jì)算領(lǐng)域的輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)Tiny-YOLOV3[13]將提高檢測(cè)實(shí)時(shí)性，網(wǎng)絡(luò)輕量級(jí)，模型權(quán)重大?。?4MB）適宜部署車載嵌入式系統(tǒng)，但該類輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)紅外小目標(biāo)檢測(cè)精度較低，難以滿足車載熱成像目標(biāo)檢測(cè)率方面要求。

針對(duì)車載熱成像系統(tǒng)目標(biāo)檢測(cè)的實(shí)時(shí)性與輕量化需求，本文基于目前目標(biāo)檢測(cè)效果良好的輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)Tiny-YOLOV3基礎(chǔ)框架，針對(duì)紅外圖像特點(diǎn)提出了一種增強(qiáng)型輕量級(jí)紅外目標(biāo)檢測(cè)框架I-YOLO，該網(wǎng)絡(luò)構(gòu)架分為主干網(wǎng)絡(luò)與檢測(cè)網(wǎng)絡(luò)兩部分：主干網(wǎng)絡(luò)在Tiny-YOLOV3基礎(chǔ)結(jié)構(gòu)上進(jìn)行增強(qiáng)設(shè)計(jì)，根據(jù)紅外小目標(biāo)低像素特點(diǎn)，提取淺層卷積層特征，構(gòu)造淺層卷積特征輸出層，增加原網(wǎng)絡(luò)特征金字塔網(wǎng)絡(luò)尺度，提高紅外小目標(biāo)檢測(cè)率，同時(shí)根據(jù)紅外圖像格式，在主干網(wǎng)絡(luò)中第一個(gè)卷積層使用單通道卷積核，降低運(yùn)算量。檢測(cè)層參考文獻(xiàn)[14]使用CenterNet的檢測(cè)方式以降低目標(biāo)的誤檢率，提高檢測(cè)實(shí)時(shí)性。

1 車載熱成像目標(biāo)檢測(cè)網(wǎng)絡(luò)

1.1 Tiny-YOLOV3目標(biāo)檢測(cè)模型

Tiny-YOLOV3目標(biāo)檢測(cè)模型為YOLO系列中針對(duì)移動(dòng)端與邊緣計(jì)算設(shè)計(jì)的輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)，特點(diǎn)為精簡(jiǎn)、高實(shí)時(shí)性、檢測(cè)精度較高。

Tiny-YOLOV3主干網(wǎng)絡(luò)為YOLOV3的簡(jiǎn)化，由13個(gè)卷積層，6個(gè)最大池化層，1個(gè)維度連接層構(gòu)成，結(jié)構(gòu)如圖1所示。

Tiny-YOLOV3檢測(cè)層根據(jù)輸入的圖像數(shù)據(jù)，在2個(gè)尺度上運(yùn)用回歸分析法輸出圖像數(shù)據(jù)的多個(gè)滑動(dòng)窗口位置及該窗口中檢測(cè)到的目標(biāo)類別，設(shè)置多個(gè)錨點(diǎn)框（anchor box）以檢測(cè)目標(biāo)。

Tiny-YOLOV3的分類函數(shù)使用獨(dú)立的logistic分類器，分類器表達(dá)式如下：

式中：t、t、t、t表示模型的預(yù)測(cè)輸出；c和c表示網(wǎng)絡(luò)柵格的坐標(biāo)；p和p表示預(yù)測(cè)前邊框的尺寸；b、b、b和b就是預(yù)測(cè)得到的邊框的中心的坐標(biāo)和尺寸。

圖1 Tiny-YOLOV3網(wǎng)絡(luò)結(jié)構(gòu)

在每一個(gè)預(yù)測(cè)尺度上Tiny-YOLOV3檢測(cè)層將輸入圖像分成×個(gè)單元格，每個(gè)單元格的神經(jīng)元負(fù)責(zé)檢測(cè)落入該單元格的對(duì)象，最多可包括兩個(gè)預(yù)測(cè)對(duì)象的滑動(dòng)窗口。為目標(biāo)置信度，它反映當(dāng)前滑動(dòng)窗口是否包含檢測(cè)對(duì)象及其預(yù)測(cè)準(zhǔn)確性的估計(jì)概率，計(jì)算如下式：

＝o×I(2)

圖2 Tiny-YOLOV3檢測(cè)原理

Fig.2 Detection principle of Tiny-YOLOV3

1.2 I-YOLO增強(qiáng)型輕量級(jí)紅外目標(biāo)檢測(cè)網(wǎng)絡(luò)

Tiny-YOLOV3目標(biāo)檢測(cè)網(wǎng)絡(luò)具備輕量級(jí)，高實(shí)時(shí)性的優(yōu)點(diǎn)，適宜部署移動(dòng)端，嵌入式系統(tǒng)，邊緣計(jì)算單元，但針對(duì)車載熱成像遠(yuǎn)距離小目標(biāo)分辨率低（10×10像素級(jí)別），細(xì)節(jié)模糊的特點(diǎn)，該檢測(cè)網(wǎng)絡(luò)需進(jìn)一步強(qiáng)化其目標(biāo)檢測(cè)性能，且根據(jù)紅外圖像單通道特點(diǎn)，可進(jìn)一步降低運(yùn)算量，提高實(shí)時(shí)性。本文提出的I-YOLO增強(qiáng)型輕量級(jí)紅外目標(biāo)檢測(cè)模型，在Tiny-YOLOV3目標(biāo)檢測(cè)網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行主干網(wǎng)絡(luò)與檢測(cè)網(wǎng)絡(luò)的改進(jìn)，提升其目標(biāo)檢測(cè)性能，降低計(jì)算量，提升實(shí)時(shí)性。

對(duì)于遠(yuǎn)距離低分辨率紅外小目標(biāo)的特征提取，Tiny-YOLOV3目標(biāo)檢測(cè)網(wǎng)絡(luò)淺層卷積Conv4層能夠較為有效地表征紅外小目標(biāo)的語(yǔ)義信息，而Conv3層感受野太小，Conv5層則感受野太大，包含一定的背景噪聲干擾。因此，為提升紅外小目標(biāo)檢測(cè)能力，I-YOLO目標(biāo)檢測(cè)網(wǎng)絡(luò)將Tiny-YOLOV3中Maxpool3 層更換為Conv4層，并且為了減少無(wú)用參數(shù)，增加了Conv5層的壓縮維度；除此以外，在Tiny-YOLOV3模型的基礎(chǔ)上增加上采樣層Upsample2，將Conv5層和Upsample2在通道維度上進(jìn)行連接操作，Conv7通過(guò)Upsample2進(jìn)行升采樣操作，從而形成特征金字塔增加的一個(gè)特征圖層，特征金字塔網(wǎng)絡(luò)由Tiny-YOLOV3的13×13和26×26像素提升為13×13、26×26和52×52像素的3檢測(cè)尺度結(jié)構(gòu)。同時(shí)，由于紅外圖像的單通道特點(diǎn)，為了減少運(yùn)算量并提高算法的實(shí)時(shí)檢測(cè)能力，可通過(guò)在第一個(gè)卷積層中采用單通道卷積核的方式來(lái)實(shí)現(xiàn)。而對(duì)于檢測(cè)網(wǎng)絡(luò)模塊，使用CenterNet結(jié)構(gòu)以替換原有YOLO層，對(duì)于檢測(cè)方法進(jìn)行優(yōu)化，降低誤檢率，進(jìn)一步提高實(shí)時(shí)性。I-YOLO網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 I-YOLO網(wǎng)絡(luò)結(jié)構(gòu)

為進(jìn)一步提高紅外圖像中紅外目標(biāo)的檢測(cè)精度，提高算法的實(shí)時(shí)檢測(cè)能力，有效減少運(yùn)算量，檢測(cè)網(wǎng)絡(luò)模塊采用了CenterNet結(jié)構(gòu)，用無(wú)錨點(diǎn)方式（anchor free）代替原有基于錨點(diǎn)（anchor box）的YOLO檢測(cè)層。使改進(jìn)后的目標(biāo)檢測(cè)網(wǎng)絡(luò)更適合檢測(cè)紅外小目標(biāo)。

CenterNet是ICCV2019大會(huì)上提出的目標(biāo)檢測(cè)最新方法[14]，其基本思想為：因?yàn)槿鄙賹?duì)于相關(guān)裁剪區(qū)域的附加監(jiān)督，致使基于錨點(diǎn)（anchor box）的方法會(huì)出現(xiàn)大量有誤的邊界框，因此原Tiny-YOLOV3在檢測(cè)層中需要大量的anchor box進(jìn)行目標(biāo)檢測(cè)。而CenterNet是一個(gè)ont-stage的關(guān)鍵點(diǎn)檢測(cè)模型，在檢測(cè)時(shí)不預(yù)先生成候選框進(jìn)行分類，而是直接通過(guò)三元組（中心點(diǎn)及上下對(duì)角點(diǎn)），在降低運(yùn)算量提高實(shí)時(shí)性的同時(shí)提高檢測(cè)準(zhǔn)確率及召回率。I-YOLO所使用的CenterNet通過(guò)Cascade corner pooling及Center pooling來(lái)豐富3個(gè)關(guān)鍵點(diǎn)處的信息提取。本文使用CenterNet檢測(cè)結(jié)構(gòu)如圖4所示。

圖4 CenterNet網(wǎng)絡(luò)結(jié)構(gòu)

CenterNet網(wǎng)絡(luò)中的Center Pooling模型由2個(gè)Conv-BN-ReLU，1個(gè)Left Pooling，1個(gè)Right Pooling，1個(gè)Top Pooling以及1個(gè)Bottom Pooling組成，可以有效地感知proposal的中心區(qū)域。Cascade corner pooling模型由2個(gè)Conv-BN-ReL，1個(gè)Left Pooling，1個(gè)Conv-BN以及1個(gè)Top Pooling構(gòu)成，其目的是增加原始的corner pooling以感知內(nèi)部信息的功能。以尺度＝13為例CenterNet檢測(cè)原理如圖5所示。

在使用CenterNet進(jìn)行檢測(cè)時(shí)，邊界框的檢測(cè)情況受中心區(qū)域面積的影響較大，為了適應(yīng)不同尺寸的目標(biāo)物，這里采取尺度敏感區(qū)域，以生成可以適應(yīng)不同大小目標(biāo)的中心區(qū)域。比如，如果要對(duì)一個(gè)邊界框的保留情況做出判斷，lx，ly代表邊界框左上角的點(diǎn)，rx,ry代表邊界框右下角的點(diǎn)。這里定義一個(gè)中心區(qū)域，設(shè)左上角的點(diǎn)的位置坐標(biāo)為(l,l)，右下角點(diǎn)的位置坐標(biāo)為(r,r)。這些參數(shù)定義滿足如下式：

式中：代表中心區(qū)域的大?。槠鏀?shù)）。當(dāng)邊界框小于150時(shí)＝3，大于150時(shí)＝5。實(shí)驗(yàn)證明，此設(shè)置對(duì)于單通道紅外小目標(biāo)圖像仍然適用。

I-YOLO在原Tiny-YOLOV3目標(biāo)檢測(cè)網(wǎng)絡(luò)基礎(chǔ)上增加了一定數(shù)量卷積層以提取低層卷積特征增加檢測(cè)尺度，在檢測(cè)模塊使用了CenterNet結(jié)構(gòu)從而在一定程度上提升檢測(cè)算法的實(shí)時(shí)性并降低誤檢率。因此在原目標(biāo)檢測(cè)網(wǎng)絡(luò)基礎(chǔ)上加深了網(wǎng)絡(luò)結(jié)構(gòu)，使得訓(xùn)練模型權(quán)重由34MB增加至96MB，而相比小目標(biāo)檢

圖5 CenterNet檢測(cè)原理

測(cè)性能良好的YOLO V3目標(biāo)檢測(cè)網(wǎng)絡(luò)模型權(quán)重234MB，I-YOLO屬于輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)，其模型權(quán)重大小可滿足在嵌入式系統(tǒng)與邊緣計(jì)算單元上的部署。除此以外，對(duì)于尺度在8×8像素級(jí)別以上的紅外小目標(biāo)，I-YOLO可產(chǎn)生較好的目標(biāo)檢測(cè)效果。機(jī)動(dòng)車紅外圖像小目標(biāo)尺度普遍在10×10像素級(jí)別，因此，I-YOLO適用于車載熱成像的目標(biāo)識(shí)別。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)硬件數(shù)據(jù)采集平臺(tái)為氧化釩384×288分辨率機(jī)芯，19mm鏡頭的戶外熱成像探測(cè)儀，輸出為單通道16bit數(shù)據(jù)。車載紅外熱成像數(shù)據(jù)采集平臺(tái)如圖6所示。

圖6 車載紅外熱成像平臺(tái)

模型訓(xùn)練與測(cè)試使用硬件平臺(tái)為Core i7-8750H 2.2GHz處理器＋16GB內(nèi)存＋Geforce GTX 1080 8GB顯卡。軟件平臺(tái)使用Win10＋tensorflow1.9.0＋CUDA9.2＋VS2017＋Open CV4.0。

2.2 評(píng)價(jià)標(biāo)準(zhǔn)

為評(píng)價(jià)I-YOLO在車載熱成像目標(biāo)檢測(cè)應(yīng)用方面性能，采用平均準(zhǔn)確率p，平均誤檢率f，平均漏檢率m，平均運(yùn)算速度o，以及模型權(quán)重大小w作為評(píng)價(jià)指標(biāo)，其中p、f、m計(jì)算如下式：

式中：TP表示視紅外圖像中正確檢測(cè)出的目標(biāo)數(shù)量；FN表示紅外圖像中沒(méi)有檢測(cè)出來(lái)的目標(biāo)數(shù)量；FP表示紅外圖像中誤檢出來(lái)的目標(biāo)數(shù)量；TN表示紅外圖像中沒(méi)有誤檢的目標(biāo)數(shù)量；o與w由實(shí)際測(cè)試及訓(xùn)練得到。

2.3 實(shí)驗(yàn)數(shù)據(jù)集及模型訓(xùn)練

實(shí)驗(yàn)訓(xùn)練數(shù)據(jù)集使用了2018年傳感器系統(tǒng)開(kāi)發(fā)商FLIR公司發(fā)布的自動(dòng)駕駛開(kāi)源紅外熱成像數(shù)據(jù)集，該數(shù)據(jù)集匯集了12000個(gè)白天和夜間場(chǎng)景的熱圖像。該紅外熱成像數(shù)據(jù)集的應(yīng)用將有助于駕駛員或未來(lái)的自動(dòng)駕駛車輛適應(yīng)黑暗，霧，煙等具有挑戰(zhàn)性的環(huán)境。

按5:1比例將該數(shù)據(jù)集劃分為訓(xùn)練集與測(cè)試集，標(biāo)注需要檢測(cè)的4類目標(biāo)。FLIR部分?jǐn)?shù)據(jù)集如圖7所示。

圖7 FLIR紅外數(shù)據(jù)集

在模型訓(xùn)練環(huán)節(jié)，對(duì)數(shù)據(jù)集中的圖像樣本進(jìn)行預(yù)處理，產(chǎn)生416×416像素的圖像，訓(xùn)練時(shí)選取100幅的圖像數(shù)量作為小批量訓(xùn)練的樣本數(shù)量閾值，權(quán)重在每一批圖像訓(xùn)練之后得到一次更新。將衰減率設(shè)為0.0005，動(dòng)量設(shè)置為0.9，學(xué)習(xí)率初始化為0.001，對(duì)I-YOLO網(wǎng)絡(luò)進(jìn)行20000次迭代，保存等間隔的10次模型版本，最終選取精度最高的模型。

整個(gè)訓(xùn)練的目標(biāo)損失函數(shù)計(jì)算公式如下：

經(jīng)過(guò)20000次迭代，模型平均損失降至0.2以下。如圖8所示。

圖8 模型訓(xùn)練平均損失

2.4 測(cè)試結(jié)果及分析

實(shí)際測(cè)試使用車載熱成像在夜間城市街道實(shí)地拍攝的紅外視頻，視頻總長(zhǎng)400幀，包括需要檢測(cè)的4類感興趣目標(biāo)，為對(duì)比I-YOLO性能指標(biāo)，采用相同數(shù)據(jù)集與訓(xùn)練參數(shù)進(jìn)行訓(xùn)練的SSD300×300，RetinaNet-50-500，Tiny-YOLOV3，YOLOV3模型進(jìn)行對(duì)比測(cè)試，隨機(jī)選取測(cè)試視頻中3幀檢測(cè)結(jié)果進(jìn)行對(duì)比，測(cè)試效果如圖9所示。

圖9中，(a)為SSD300×300檢測(cè)結(jié)果，(b)為RetinaNet-50-500檢測(cè)結(jié)果，(c)為T(mén)iny-YOLOV3檢測(cè)結(jié)果，(d)為YOLOV3檢測(cè)結(jié)果，(e)為本文方法檢測(cè)結(jié)果。由實(shí)際檢測(cè)結(jié)果可見(jiàn)，SSD300×300在121幀檢測(cè)出轎車6輛，行人1人，在318幀，檢測(cè)出轎車6輛，卡車1輛，在326幀，檢測(cè)出轎車5輛，平均檢測(cè)速度13FPS。RetinaNet-50-500在121幀檢測(cè)出轎車7輛，行人1人，在318幀，檢測(cè)出轎車7輛，卡車1輛，在326幀，檢測(cè)出轎車5輛，平均檢測(cè)速度7FPS。Tiny-YOLOV3在121幀檢測(cè)出轎車6輛，行人1人，在318幀，檢測(cè)出轎車6輛，卡車1輛，在326幀，檢測(cè)出轎車4輛，平均檢測(cè)速度62FPS。YOLOV3在121幀檢測(cè)出轎車7輛，行人1人，在318幀，檢測(cè)出轎車7輛，卡車1輛，在326幀，檢測(cè)出轎車5輛，卡車1輛，平均檢測(cè)速度21FPS。本文方法在121幀檢測(cè)出轎車7輛，行人1人，在318幀，檢測(cè)出轎車7輛，卡車1輛，在326幀，檢測(cè)出轎車5輛，平均檢測(cè)速度81fps。根據(jù)以上結(jié)果分析得出，本文方法在檢測(cè)精度上十分接近YOLOV3，與RetinaNet-50-500相當(dāng)，超過(guò)SSD300×300，Tiny-YOLOV3，檢測(cè)實(shí)時(shí)性上超過(guò)所有對(duì)比檢測(cè)方法。

檢測(cè)模型對(duì)整個(gè)測(cè)試紅外視頻中4類感興趣目標(biāo)的平均準(zhǔn)確率p，平均誤檢率f，平均漏檢率m，統(tǒng)計(jì)分析如表1所示。

表1 4類檢測(cè)目標(biāo)統(tǒng)計(jì)數(shù)據(jù)分析

由表1的統(tǒng)計(jì)結(jié)果對(duì)比可見(jiàn)，本文提出的I-YOLO紅外目標(biāo)檢測(cè)網(wǎng)絡(luò)在對(duì)車載熱成像系統(tǒng)中4類主要檢測(cè)目標(biāo)的平均準(zhǔn)確率，平均漏檢率方面相對(duì)SSD300×300，Tiny-YOLOV3表現(xiàn)更為優(yōu)良，與RetinaNet-50-500相當(dāng)，非常接近YOLOV3，平均誤檢率方面相對(duì)SSD300×300，RetinaNet-50-500，Tiny-YOLOV3，YOLOV3均表現(xiàn)更為優(yōu)良。

在整個(gè)測(cè)試紅外視頻中，對(duì)檢測(cè)模型平均準(zhǔn)確率p，平均誤檢率f，平均漏檢率m，平均運(yùn)算速度o，以及模型權(quán)重大小w的綜合統(tǒng)計(jì)分析如表2所示。

表2 綜合性能測(cè)試對(duì)比分析

由表2綜合測(cè)試對(duì)比分析結(jié)果可見(jiàn)，I-YOLO紅外目標(biāo)檢測(cè)網(wǎng)絡(luò)平均檢測(cè)率達(dá)到Y(jié)OLOV3目標(biāo)檢測(cè)網(wǎng)絡(luò)95%，超出SSD300×300目標(biāo)檢測(cè)網(wǎng)絡(luò)24%，RetinaNet-50-500目標(biāo)檢測(cè)網(wǎng)絡(luò)1%，Tiny-YOLOV3目標(biāo)檢測(cè)網(wǎng)絡(luò)25%，平均誤檢率相對(duì)SSD300×300目標(biāo)檢測(cè)網(wǎng)絡(luò)降低5%，相對(duì)RetinaNet-50-500目標(biāo)檢測(cè)網(wǎng)絡(luò)降低9%，相對(duì)YOLOV3目標(biāo)檢測(cè)網(wǎng)絡(luò)降低10%，相對(duì)Tiny-YOLOV3目標(biāo)檢測(cè)網(wǎng)絡(luò)降低6%，平均漏檢率超出YOLOV3目標(biāo)檢測(cè)網(wǎng)絡(luò)6%，相對(duì)SSD300 300目標(biāo)檢測(cè)網(wǎng)絡(luò)降低19%，相對(duì)RetinaNet-50-500目標(biāo)檢測(cè)網(wǎng)絡(luò)降低1%，相對(duì)Tiny-YOLOV3目標(biāo)檢測(cè)網(wǎng)絡(luò)降低20%，平均運(yùn)算速度上高于SSD300×300網(wǎng)絡(luò)68fps，高于RetinaNet-50-500網(wǎng)絡(luò)74fps，高于YOLOV3網(wǎng)絡(luò)60fps，高于Tiny-YOLOV3網(wǎng)絡(luò)19fps，模型權(quán)重大小上為96MB，大大低于SSD300×300，RetinaNet-50-500，YOLOV3網(wǎng)絡(luò)模型權(quán)重，高于Tiny-YOLOV3網(wǎng)絡(luò)模型權(quán)重，由于Tiny-YOLOV3檢測(cè)精度不能滿足對(duì)紅外目標(biāo)的檢測(cè)。因此I-YOLO在紅外目標(biāo)檢測(cè)精度，檢測(cè)實(shí)時(shí)性與模型大小幾項(xiàng)指標(biāo)上滿足車載熱成像系統(tǒng)實(shí)時(shí)目標(biāo)檢測(cè)的需求，適宜于部署Edge-TPU類型的最新邊緣計(jì)算嵌入式設(shè)備上。

3 結(jié)論

文中針對(duì)車載熱成像系統(tǒng)對(duì)紅外目標(biāo)檢測(cè)的需求，提出了一種增強(qiáng)型輕量級(jí)紅外目標(biāo)檢測(cè)網(wǎng)絡(luò)模型I-YOLO，該網(wǎng)絡(luò)基于Tiny-YOLOV3的構(gòu)架，在基礎(chǔ)網(wǎng)絡(luò)部分，為提高紅外小目標(biāo)檢測(cè)率，提取低層卷積特征增加構(gòu)建檢測(cè)尺度，根據(jù)紅外圖像單通道輸出特點(diǎn)在網(wǎng)絡(luò)第一個(gè)卷積層中采用單通道卷積核從而減少了網(wǎng)絡(luò)的計(jì)算量，在檢測(cè)部分搭建CenterNet檢測(cè)結(jié)構(gòu)，進(jìn)一步提高算法實(shí)時(shí)性，降低誤檢率。通過(guò)紅外數(shù)據(jù)集制作，模型訓(xùn)練，實(shí)際測(cè)試的結(jié)果分析，本文提出的I-YOLO目標(biāo)檢測(cè)框架對(duì)于車載熱成像中的目標(biāo)檢測(cè)方面在平均檢測(cè)率，平均漏檢率上優(yōu)于Tiny-YOLOV3，接近于YOLOV3，在平均誤檢率，實(shí)時(shí)性上優(yōu)于YOLOV3與Tiny-YOLOV3。權(quán)重模型精簡(jiǎn)，適宜于在新一代車載嵌入式系統(tǒng)中部署，輔助夜間智能駕駛。

[1] 崔美玉. 論紅外熱像儀的應(yīng)用領(lǐng)域及技術(shù)特點(diǎn)[J]. 中國(guó)安防, 2014(12): 90-93.

CUI Meiyu. On the Application Field and Technical Characteristics of Infrared Thermal Imager[J]., 2014(12): 90-93.

[2] 范延軍. 基于機(jī)器視覺(jué)的先進(jìn)輔助駕駛系統(tǒng)關(guān)鍵技術(shù)研究[D]. 南京: 東南大學(xué), 2016.

FAN Yanjun. Research on Key Technologies of Advanced Auxiliary Driving System Based on Machine Vision[D]. Nanjing: Southeast University, 2016.

[3] 楊陽(yáng), 楊靜宇. 基于顯著性分割的紅外行人檢測(cè)[J]. 南京理工大學(xué)學(xué)報(bào): 自然科學(xué)版, 2013, 37(2): 251-256.

YANG Yang, YANG Jingyu. Infrared Pedestrian Detection Based on Significance Segmentation[J].: Natural Science Edition, 2013, 37(2): 251-256.

[4] LE Cun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]., 1998, 86(11): 2278- 2324.

[5] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//, 2014: 580-587.

[6] HE K M, ZHANG X Y, REN S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]., 2015, 37(9): 1904-1916.

[7] Girshick R. Fast R-CNN[C]//, 2015: 1440-1448.

[8] REN S Q, HE K M, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]., 2017, 39(6): 1137-1149.

[9] LI Y, HE K, SUN J. R-FCN: Object detection via region-based fully convolutional networks[C]//, 2016: 379-387.

[10] LIU W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//, 2016: 21-37.

[11] Redmon J, Farhadi A. YOLO9000: Better, faster, stronger[C]//, 2017: 6517- 6525.

[12] Redmon J, Farhadi A. Yolov3: An incremental improvement[EB/OL]. (2018-04-08)[2018-09-07]. https://arxiv.org/abs/1804.02767

[13] ZHANG Y, SHEN Y L, ZHANG J. An improved Tiny-YOLOv3 pedestrian detection algorithm[J]., 2019(183): 17–23.

[14] DUAN Kaiwen, BAI Song, XIE Lingxi, et al. CenterNet: Keypoint triplets for object detection[C]//2019, 2019: 6569-6578.

[15] 吳天舒, 張志佳, 劉云鵬, 等. 基于改進(jìn)SSD的輕量化小目標(biāo)檢測(cè)算法[J]. 紅外與激光工程, 2018, 47(7): 703005-0703005(7).

WU Tianshu, ZHANG Zhijia, LIU Yunpeng, et al. A lightweight small object detection algorithm based on improved SSD[J]., 2018, 47(7): 703005-0703011.

[16] 唐聰, 凌永順, 鄭科棟, 等. 基于深度學(xué)習(xí)的多視窗SSD目標(biāo)檢測(cè)方法[J]. 紅外與激光工程, 2018, 47(1): 126003-126011.

TANG Cong, LING Yongshun, ZHENG Kedong, et al. Object detection method of multi-view SSD based on deep learning[J]., 2018, 47(1): 126003-0126011.

[17] 張祥越, 丁慶海, 羅海波, 等. 基于改進(jìn)LCM的紅外小目標(biāo)檢測(cè)算法[J]. 紅外與激光工程, 2017, 46(7): 726002-0726008.

ZHANG Xiangyue, DING Qinghai, LUO Haibo, et al. Infrared dim target detection algorithm based on improved LCM[J]., 2017, 46(7): 726002-0726008.

[18] 張小榮, 胡炳梁, 潘志斌, 等. 基于張量表示的高光譜圖像目標(biāo)檢測(cè)算法[J]. 光學(xué)精密工程, 2019, 27(2): 488-498.

ZHANG Xiaorong, HU Bingliang, PAN Zhibin,et al. Tensor Representation Based Target Detection for Hyperspectral Imagery[J]., 2019, 27(2): 488-498.

[19] 王洪慶, 許廷發(fā), 孫興龍, 等. 目標(biāo)運(yùn)動(dòng)軌跡匹配式的紅外-可見(jiàn)光視頻自動(dòng)配準(zhǔn)[J]. 光學(xué)精密工程, 2018, 26(6): 1533-1541.

WANG Hongqing, XU Tingfa, SUN Xinglong, et al. Infrared-visible video registration with matching motion trajectories of targets[J]., 2018, 26(6): 1533-1541.

Vehicle-based Thermal Imaging Target Detection Method Based on Enhanced Lightweight Network

YI Shi，ZHOU Siyao，SHEN Lian，ZHU Jinming

(College of Information Science and Technology, Chengdu University of Technology, Chengdu 610059, China)

A vehicle-based thermal imaging system does not depend on a light source, is insensitive to weather, and has a long detection distance. Automatic target detection using vehicle-based thermal imaging is of great significance for intelligent night driving. Compared with visible images, the infrared images acquired by a vehicle-based thermal imaging system based on existing algorithms have low resolution, and the details of small long-range targets are blurred. Moreover, the real-time algorithm performance required to address the vehicle speed and computing ability of the vehicle-embedded platform should be considered in the vehicle-based thermal imaging target detection method. To solve these problems, an enhanced lightweight infrared target detection network (I-YOLO) for a vehicle-based thermal imaging system is proposed in this study. The network uses a tiny you only look once(Tiny-YOLOV3) infrastructure to extract shallow convolution-layer features according to the characteristics of infrared images to improve the detection of small infrared targets. A single-channel convolutional core was used to reduce the amount of computation. A detection method based on a CenterNet structure is used to reduce the false detection rate and improve the detection speed. The actual test shows that the average detection rate of the I-YOLO target detection network in vehicle-based thermal imaging target detection reached 91%, while the average detection speed was81 fps, and the weight of the training model was96MB, which is suitable for deployment on a vehicle-based embedded system.

vehicle thermal imaging system, night intelligent driving, I-YOLO infrared target detection network, CenterNet structure, vehicle embedded platform

TN919.5

A

1001-8891(2021)03-0237-09

2018-09-11；

2018-12-21.

易詩(shī)（1983-），男，四川成都人，副教授，高級(jí)實(shí)驗(yàn)師，主要從事機(jī)器視覺(jué)研究，深度學(xué)習(xí)算法研究，信號(hào)與信息處理研究。E-mail：549745481@qq.com。

國(guó)家自然科學(xué)基金項(xiàng)目（61771096）；國(guó)家大學(xué)生創(chuàng)新創(chuàng)業(yè)項(xiàng)目（S201910616142）。