張印輝，張朋程，何自芬，王森

（昆明理工大學(xué)機(jī)電工程學(xué)院，昆明 650500）

0 引言

世界經(jīng)濟(jì)的發(fā)展促使全球汽車保有量逐年攀升，因此由交通所帶來的各種安全事故也變得更加頻發(fā)。世界衛(wèi)生組織最新調(diào)查表明，大多數(shù)國(guó)家的人口死亡人數(shù)中交通事故死亡占比率較大，其中夜間發(fā)生交通事故比例非常高，大約是白天的三倍［1-3］。

為了減少夜間環(huán)境下交通安全事故的發(fā)生，各種增強(qiáng)駕駛安全性的輔助駕駛技術(shù)被廣泛地應(yīng)用，如超聲波測(cè)距、毫米波雷達(dá)、攝像機(jī)輔助駕駛、自動(dòng)駕駛場(chǎng)景構(gòu)建測(cè)試［4］等。綜合各類技術(shù)對(duì)比，攝像機(jī)輔助駕駛技術(shù)是減少碰撞事故發(fā)生的重要手段之一［5］。在夜間環(huán)境下，紅外攝像機(jī)更是相較于可見光攝像機(jī)有著獨(dú)特的優(yōu)勢(shì)，一方面普通相機(jī)的可見光成像容易被光照所影響，光照不足的夜間環(huán)境下獲取的圖像質(zhì)量會(huì)嚴(yán)重下降、成像模糊，使得行人檢測(cè)變得異常困難，而基于物體自身熱輻射和反射成像的紅外攝像機(jī)技術(shù)［6］，可以在不受光照條件的影響下實(shí)現(xiàn)無障礙夜視。另一方面，紅外成像設(shè)備成本的逐年降低使其應(yīng)用場(chǎng)景逐漸普遍，因此基于夜間紅外攝像機(jī)的行人檢測(cè)技術(shù)在車輛輔助駕駛中具有重要的研究?jī)r(jià)值和廣闊的市場(chǎng)應(yīng)用前景［7］。

近年來，研究人員在夜間紅外行人檢測(cè)方面投入了大量的工作，如趙斌［8］等利用注意力模塊替代特征金字塔網(wǎng)絡(luò)中傳統(tǒng)的上采樣模塊，生成基于卷積特征的局部顯著圖，可以有效抑制不相關(guān)區(qū)域的特征響應(yīng)，突出圖像局部特性。蔡偉［9］等在單階段檢測(cè)器（You Only Look Once，YOLO）檢測(cè)框架的基礎(chǔ)上，通過減少下采樣次數(shù)，結(jié)合跨階段局部模塊、Focus 結(jié)構(gòu)和空間金字塔池化結(jié)構(gòu)設(shè)計(jì)了特征提取網(wǎng)絡(luò)，在檢測(cè)紅外弱小目標(biāo)時(shí)具有較高的準(zhǔn)確率和檢測(cè)速度。

這些紅外行人檢測(cè)算法都根植于現(xiàn)有的行人檢測(cè)算法，其中現(xiàn)有的行人檢測(cè)算法又由兩個(gè)分支組成。一個(gè)分支是傳統(tǒng)的機(jī)器學(xué)習(xí)算法，但傳統(tǒng)的機(jī)器學(xué)習(xí)算法存在著檢測(cè)速度慢、精度低的問題；另一分支是深度學(xué)習(xí)，這種方法相較于傳統(tǒng)的機(jī)器學(xué)習(xí)算法檢測(cè)效果得到了顯著的提升。目前基于深度學(xué)習(xí)的主流行人檢測(cè)算法有區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Region Convolutional Neural Network，R-CNN）［10］、Fast R-CNN［11］、Faster R-CNN［12］、單次多目標(biāo)框檢測(cè)器（Single Shot Multibox Detector，SDD）［13］、YOLO 系列［14-17］等。通過添加注意力模塊學(xué)習(xí)特征通道間關(guān)系和特征圖空間信息，增強(qiáng)對(duì)行人目標(biāo)可視區(qū)域的特征提取。眾多檢測(cè)算法中單階段檢測(cè)的YOLO 系列憑借著較快的檢測(cè)速度展現(xiàn)了極強(qiáng)大的研究潛力。鄒梓吟［18］通過添加注意力模塊學(xué)習(xí)特征通道間關(guān)系和特征圖空間信息，增強(qiáng)對(duì)行人目標(biāo)可視區(qū)域的特征提取，提高了在遮擋行人檢測(cè)方面的精度。白中浩等［19］應(yīng)用交叉熵?fù)p失函數(shù)替代Yolov2 模型中的sigmoid 激活函數(shù)，采用的多層特征圖融合方法提升了復(fù)雜背景行人及小尺寸行人的檢測(cè)精度。鄧杰等［20］在Yolov3 的基礎(chǔ)上融合了空間注意力和通道注意力機(jī)制，緩解了行人間遮擋的問題。何東等［21］用深度可分離卷積對(duì)Yolov3 網(wǎng)絡(luò)進(jìn)行壓縮，有效減少參數(shù)量。針對(duì)計(jì)算資源緊張的移動(dòng)端設(shè)備，YOLO 系列算法網(wǎng)絡(luò)時(shí)空復(fù)雜度較高，參數(shù)量較大，因此嚴(yán)重依賴高性能計(jì)算機(jī)等問題；Yolo-tiny 系列通過減少網(wǎng)絡(luò)結(jié)構(gòu)中的網(wǎng)絡(luò)層數(shù)來減小模型大小，同時(shí)降低了參數(shù)量，這種輕量化的方式雖然提高了檢測(cè)速度，但其檢測(cè)精度也大幅下降。紅外圖像與傳統(tǒng)可見光圖像的差別主要在于缺乏色彩信息，并且空間和紋理細(xì)節(jié)信息不夠豐富，因此提高紅外圖像行人的檢測(cè)精度面臨更大的挑戰(zhàn)。

為了保證紅外行人目標(biāo)算法在檢測(cè)精度和實(shí)時(shí)性上具有較好的平衡性，本文基于Yolov4-tiny 算法進(jìn)行改進(jìn)并提出輕量化紅外行人實(shí)時(shí)檢測(cè)（Tiny Infrared Pedestrian Real-time Detection，TIPRD）模型，降低模型大小的同時(shí)又保證良好的檢測(cè)精度。針對(duì)檢測(cè)精度問題，通過循環(huán)殘差結(jié)構(gòu)（Cross Stage Partial Network，CSP）來強(qiáng)化網(wǎng)絡(luò)紅外行人特征提取能力，同時(shí)增加精細(xì)檢測(cè)尺度層并通過不同倍數(shù)采樣進(jìn)行多尺度特征融合；其次，針對(duì)紅外行人目標(biāo)寬高相對(duì)固定的特點(diǎn)，通過K-means++聚類算法重新設(shè)計(jì)了先驗(yàn)框；最后，在輕量化方面，將提高精度后的模型進(jìn)行批量歸一化（Batch Normalization，BN）層剪枝處理，再通過知識(shí)蒸餾取代剪枝后精調(diào)處理，在保證精度的同時(shí)，大幅減少了模型參數(shù)，同時(shí)在Jetson Nano（2GB）移動(dòng)端開發(fā)平臺(tái)上驗(yàn)證了TIPRD 模型的可行性。

1 TIPRD 網(wǎng)絡(luò)模型

1.1 精細(xì)尺度嵌入多檢測(cè)層結(jié)構(gòu)

紅外圖像相較于傳統(tǒng)可見光圖像，缺乏色彩信息，并且空間和紋理細(xì)節(jié)信息不夠豐富，因此，如何豐富網(wǎng)絡(luò)提取的特征空間及有效利用上下文相關(guān)語義信息顯得尤為重要。針對(duì)上述問題，對(duì)不同網(wǎng)絡(luò)層提取的特征圖進(jìn)行如圖1（其中（a）為原圖，（b）、（c）、（d）依次為網(wǎng)絡(luò)由淺至深的特征圖）所示的可視化，網(wǎng)絡(luò)淺層輸出特征主要以目標(biāo)的邊緣、形狀等位置特征為主。隨著網(wǎng)絡(luò)層加深，淺層網(wǎng)絡(luò)提取的特征累加，深層特征呈現(xiàn)為高尺度、抽象的語義信息。當(dāng)僅采用深層網(wǎng)絡(luò)提取的特征信息作為預(yù)測(cè)層輸入特征，會(huì)缺失中距離目標(biāo)豐富的位置信息，這會(huì)造成中距離目標(biāo)行人檢測(cè)率較低的現(xiàn)象，因此不利于汽車輔助駕駛系統(tǒng)的響應(yīng)。

為強(qiáng)化網(wǎng)絡(luò)特征提取能力，首先將CSP 殘差結(jié)構(gòu)由三層增加至四層，一定程度上彌補(bǔ)紅外圖像顏色信息缺失的問題；其次，原始Yolov4-tiny 網(wǎng)絡(luò)只包含32 倍下采樣和16 倍下采樣所對(duì)應(yīng)的16×16 和32×32 尺度的預(yù)測(cè)層。為了保證不同深度網(wǎng)絡(luò)獲得的位置信息和語義信息的充分結(jié)合，在該網(wǎng)絡(luò)8 倍降采樣處添加由CBL（由Conv 卷積層+Bn 層+Leaky_relu 激活函數(shù)三者組成）模塊、1×1 卷積層和Yolo 檢測(cè)頭組成新的目標(biāo)檢測(cè)層。并且將8 倍降采樣特征圖與經(jīng)過上采樣的16 倍降采樣特征圖相融合，最終得到16×16、32×32 和64×64 三個(gè)預(yù)測(cè)尺度的檢測(cè)層，極大豐富了特征圖的信息，其結(jié)構(gòu)如圖2。

1.2 行人先驗(yàn)框的聚類分析

Yolov4-tiny 是Anchor-based 思想的目標(biāo)檢測(cè)算法，先驗(yàn)框的形狀與大小會(huì)對(duì)訓(xùn)練模型的效果產(chǎn)生較大的影響，先驗(yàn)框大小和檢測(cè)對(duì)象尺寸不匹配，極可能會(huì)導(dǎo)致漏檢或誤檢，從而降低定位精度，因此選擇更為精準(zhǔn)的先驗(yàn)框能夠更好地反映目標(biāo)特征，以提高模型的效果。

原Yolov4-tiny 算法是在總計(jì)80 個(gè)類別的COCO 數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試，其數(shù)據(jù)集類別目標(biāo)姿態(tài)、尺度差異較大，而本文使用的數(shù)據(jù)集中僅有紅外行人一類，圖像中紅外行人目標(biāo)的寬高比相對(duì)固定。

原先驗(yàn)框?qū)捀呔S度參數(shù)設(shè)置分別為（10，13）、（16，30）、（33，23）、（30，61）、（62，45）、（59，119）、（116，90）、（156，198）、（373，326），不適用于紅外行人數(shù)據(jù)集。因此針對(duì)紅外行人數(shù)據(jù)集，需要重新設(shè)計(jì)先驗(yàn)框大小。

本文利用K-means++聚類算法得到更適用于紅外行人的先驗(yàn)框尺寸。普通K-means 聚類算法初始化聚類中心的位置是完全隨機(jī)的，會(huì)導(dǎo)致算法收斂很慢，而本文采用的K-means++聚類算法在聚類中心的初始化過程中保證每個(gè)聚類中心之間的相互距離盡可能遠(yuǎn)，避免了算法收斂慢的問題，其聚類結(jié)果和分配策略如表1 所示。

表1 先驗(yàn)框的分配策略Table 1 The allocation strategy of anchor

如表1 所示，本文采用16×16、32×32 和64×64 三種預(yù)測(cè)尺度的檢測(cè)層，且每個(gè)預(yù)測(cè)尺度對(duì)應(yīng)三個(gè)先驗(yàn)框，其中每個(gè)先驗(yàn)框所對(duì)應(yīng)數(shù)值為先驗(yàn)框的寬高大小，顯然聚類之后的先驗(yàn)框?qū)捀弑认鄬?duì)固定，與紅外行人目標(biāo)尺寸更匹配。

1.3 模型壓縮

車輛輔助系統(tǒng)通常部署在移動(dòng)開發(fā)平臺(tái)，在此類平臺(tái)部署精度與速度兼?zhèn)涞木W(wǎng)絡(luò)模型對(duì)它的計(jì)算能力和內(nèi)存資源是一個(gè)巨大的挑戰(zhàn)，因此需要將1.2 節(jié)得到的網(wǎng)絡(luò)模型進(jìn)一步輕量化，實(shí)現(xiàn)模型在嵌入式平臺(tái)部署中的性能優(yōu)化。LIU Zhuang 等［22］提出一種方案實(shí)現(xiàn)通道稀疏化訓(xùn)練，其實(shí)質(zhì)是對(duì)BN 層的縮放因子增加L1 正則化約束，降低模型復(fù)雜度。稀疏化訓(xùn)練時(shí)，盡量使縮放因子γ趨近于0，即可得到稀疏網(wǎng)絡(luò)模型。稀疏模型縮放因子γ在L1 正則化的約束下趨近于0，說明此通道在模型中的貢獻(xiàn)程度比較低。本文將1.2 節(jié)得到的模型進(jìn)行了稀疏化訓(xùn)練，使用Tensorboard 記錄縮放因子γ權(quán)重值變化趨勢(shì)，如圖3 所示。圖3（a）為稀疏化訓(xùn)練前各BN 層縮放因子γ的權(quán)重值分布情況，γ值總體上分布在1 附近，類似正態(tài)分布。圖3（b）為稀疏化訓(xùn)練后各BN 層縮放因子γ的權(quán)重值分布情況，稀疏化訓(xùn)練后γ的權(quán)重值在L1 正則化的約束下趨近于0，滿足稀疏化訓(xùn)練的目的。

由圖3 可知，模型稀疏化訓(xùn)練后大量縮放因子γ趨近于0，稀疏化效果比較明顯，所以大部分通道貢獻(xiàn)度較低，對(duì)于特征圖的預(yù)測(cè)能力較弱，因此本文采用BN 層通道剪枝策略來實(shí)現(xiàn)模型壓縮。其實(shí)質(zhì)是通過設(shè)定合適的剪枝率，將貢獻(xiàn)程度低的通道進(jìn)行刪除，從而實(shí)現(xiàn)減少模型冗余參數(shù)，加快響應(yīng)速度。通過實(shí)驗(yàn)，本文設(shè)置的最優(yōu)剪枝率為0.8，模型剪枝前后的通道數(shù)變化情況如圖4。

BN 層通道剪枝后會(huì)導(dǎo)致模型檢測(cè)精度存在不同程度的降低，其降低幅度取決于剪枝的力度，同時(shí)Yolov4-tiny 相較于Yolov4 等大型網(wǎng)絡(luò)的參數(shù)量少，BN 層通道剪枝后精度損失嚴(yán)重。

微調(diào)是傳統(tǒng)剪枝后模型精度恢復(fù)的方法，其實(shí)質(zhì)是對(duì)模型進(jìn)行再訓(xùn)練；而知識(shí)蒸餾是利用參數(shù)量更大、推理能力更好的Teacher 模型輔助原模型再訓(xùn)練。在傳統(tǒng)的訓(xùn)練過程hard target（輸入原始數(shù)據(jù)所對(duì)應(yīng)的標(biāo)簽）中，所有負(fù)標(biāo)簽都被統(tǒng)一標(biāo)記其概率為0，但除了正標(biāo)簽之外，負(fù)標(biāo)簽也包含大量的信息，某些負(fù)標(biāo)簽對(duì)應(yīng)的概率遠(yuǎn)遠(yuǎn)大于其他負(fù)標(biāo)簽，經(jīng)過Softmax 層輸出的Soft target（輸入數(shù)據(jù)經(jīng)過Softmax 層輸出的標(biāo)簽），可以提供更大的信息熵，所以知識(shí)蒸餾對(duì)于模型精度的微量調(diào)控更加有效。為了獲得更多的信息熵，HINTON G 提出了Softmax-T，可表示為［23］

式中，qi表示第i類的輸出概率，Zi、Zj表示Softmax 層的輸入，T為溫度系數(shù)，用來控制輸出概率的Soft 程度。如果T越大，則輸出結(jié)果的分布越平緩，能保留更多的相似信息。

本文應(yīng)用知識(shí)蒸餾［23］方法進(jìn)行模型精度的微量調(diào)控。在0.8 剪枝率的BN 層通道剪枝策略下，紅外行人檢測(cè)模型得到了壓縮，但其檢測(cè)精度跌至0，因此本文將BN 層通道剪枝前的紅外行人檢測(cè)模型權(quán)重文件weights 和配置文件作為知識(shí)蒸餾的Teacher 模型輸入，經(jīng)過Softmax-T 得到Soft target，從而輔助剪枝后的紅外行人檢測(cè)Student 模型訓(xùn)練，完成其微量調(diào)控。模型壓縮結(jié)構(gòu)如圖5，其中i為卷積層序列號(hào)，Ci表示第i卷積層的第n通道，j則為i的下一卷積層，γ為縮放因子，T為溫度系數(shù)，T-prediction 為Teacher 模型的預(yù)測(cè)輸出，prediction 為Student 模型的預(yù)測(cè)輸出。

本文模型壓縮的實(shí)現(xiàn)流程如下：

1）用紅外行人數(shù)據(jù)集訓(xùn)練1.2 節(jié)所得配置文件，得到基礎(chǔ)模型；

2）對(duì)基礎(chǔ)模型進(jìn)行稀疏化訓(xùn)練，使得對(duì)紅外行人預(yù)測(cè)貢獻(xiàn)程度較低通道的縮放因子γ趨于0；

3）確定剪枝比例，將低于剪枝比例設(shè)定閾值的縮放因子對(duì)應(yīng)通道刪除；

4）將剪枝前的模型作為Teacher 模型，剪枝后的模型作為Student 模型，應(yīng)用知識(shí)蒸餾實(shí)現(xiàn)模型的微量調(diào)控；

5）生成新的紅外行人檢測(cè)模型文件。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 數(shù)據(jù)集建立和實(shí)驗(yàn)環(huán)境

本文數(shù)據(jù)集選自FLIR Thermal Starter 輔助駕駛紅外數(shù)據(jù)集。該數(shù)據(jù)集中圖像取幀間隔較短，相鄰幀圖像的相似度較大，針對(duì)原數(shù)據(jù)集進(jìn)行稀疏化篩選，剔除相似度大的圖像，只保留夜間條件下拍攝的紅外行人圖像作為數(shù)據(jù)集的圖像，以降低過擬合造成檢測(cè)精度低的問題。對(duì)數(shù)據(jù)集進(jìn)行分析后發(fā)現(xiàn)，夜間紅外圖像行人姿態(tài)特征各異，不同行人姿態(tài)數(shù)量間存在不均衡的現(xiàn)象增大了算法識(shí)別難度，使得算法對(duì)模型的平均檢測(cè)精度與泛化能力均產(chǎn)生了不利影響。因此利用姿態(tài)擴(kuò)充的方法，對(duì)不同數(shù)量的行人姿態(tài)特征進(jìn)行均衡，進(jìn)而為后續(xù)的神經(jīng)網(wǎng)絡(luò)提供更均衡的訓(xùn)練集，以獲得更好的訓(xùn)練效果。

2) 液壓油物理性質(zhì)及條件。20 ℃時(shí)，液壓油的密度ρ=850 kg/m3；液壓油的動(dòng)力黏度μ=0.22 Pa·s，運(yùn)動(dòng)黏度ν=μ/ρ=2.59×10-4 m2/s。

經(jīng)過數(shù)據(jù)篩選與擴(kuò)充后，得到數(shù)據(jù)集最終包含1 815 幅圖像。其中，1 364 幅圖像作為訓(xùn)練集，451 幅圖像作為測(cè)試集。數(shù)據(jù)集標(biāo)注時(shí)只將行人、騎自行車與騎摩托車的人作為唯一的目標(biāo)類，使用YOLO-mark 樣本標(biāo)注軟件對(duì)1 815 張夜間紅外行人圖像、9 175 個(gè)行人目標(biāo)真實(shí)值進(jìn)行標(biāo)注，數(shù)據(jù)集示例如圖6。

實(shí)驗(yàn)環(huán)境是在Ubuntu 系統(tǒng)下的Pytorch 深度學(xué)習(xí)框架中進(jìn)行訓(xùn)練，硬件配置和參數(shù)配置如表2 和表3所示。

表2 硬件配置Table 2 Hardware configuration

表3 參數(shù)配置Table 3 Parameter configuration

2.2 評(píng)價(jià)指標(biāo)

為了定量測(cè)試以上幾種改進(jìn)方法對(duì)紅外行人檢測(cè)模型性能所造成的影響程度，選取平均精度（Mean Average Precision，mAP）、每秒檢測(cè)紅外圖像的幀數(shù)（Frame Per Second，F(xiàn)PS）、參數(shù)量以及模型大小作為模型性能的評(píng)價(jià)指標(biāo)。

在輔助駕駛領(lǐng)域中的行人檢測(cè)實(shí)際應(yīng)用中，網(wǎng)絡(luò)模型要部署在計(jì)算資源緊張的移動(dòng)開發(fā)平臺(tái)中，所以檢測(cè)速度和模型大小也是至關(guān)重要的。一方面網(wǎng)絡(luò)模型的檢測(cè)速度可以反映出模型的響應(yīng)快慢，車輛本身因具有較快的移動(dòng)速度所以需要較快的檢測(cè)速度；另一方面模型越大網(wǎng)絡(luò)參數(shù)也就越多，其參數(shù)會(huì)影響模型的反應(yīng)速度，從而不利于網(wǎng)絡(luò)模型的移動(dòng)端部署。因此評(píng)價(jià)指標(biāo)FPS 和模型大小也顯得尤為重要。

2.3 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證針對(duì)精度提升所做工作的有效性，將Yolov4-tiny 網(wǎng)絡(luò)模型上分別添加多檢測(cè)層、CSP 和先驗(yàn)框聚類的不同模型進(jìn)行實(shí)驗(yàn)對(duì)比，實(shí)驗(yàn)結(jié)果如表4。

表4 精度提升策略效果對(duì)比Table 4 Comparison of the effect of precision improvement strategies

由表4 可知，采用三種改進(jìn)策略后的紅外行人檢測(cè)模型檢測(cè)精度上升了8.6%，檢測(cè)精度明顯上升，但由于網(wǎng)絡(luò)模型參數(shù)量的增加，其模型大小也增加了1.4 MB，F(xiàn)PS 降低了11.4，因此需要對(duì)Yolo-pedestrian 進(jìn)行壓縮。

2.3.1 模型壓縮實(shí)驗(yàn)分析

本組實(shí)驗(yàn)的目的是驗(yàn)證不同剪枝率下以及剪枝后精調(diào)和知識(shí)蒸餾策略分別對(duì)Yolo-pedestrian 紅外行人檢測(cè)模型精度恢復(fù)的影響。其結(jié)果如表5。

表5 不同微調(diào)策略結(jié)果對(duì)比Table 5 Comparison of results of different fine-tuning strategies

由表5 可知，當(dāng)網(wǎng)絡(luò)模型進(jìn)行BN 層通道剪枝處理后，知識(shí)蒸餾比精調(diào)策略具有更好的精度恢復(fù)能力。當(dāng)剪枝率為0.9 時(shí)，剪枝后模型的精度通過精調(diào)和知識(shí)蒸餾兩種策略都難以恢復(fù)，當(dāng)剪枝率為0.8 時(shí)，模型檢測(cè)精度與Yolo-pedestrian 保持一致，同時(shí)其模型大小壓縮了20.9 MB。綜上，Yolo-pedestrian 模型在剪枝率為0.8 時(shí)能保持一個(gè)均衡的檢測(cè)性能，因此本文將此剪枝率下的紅外行人檢測(cè)模型命名為TIPRD。

2.3.2 對(duì)比實(shí)驗(yàn)

本組實(shí)驗(yàn)是為了對(duì)比TIPRD 模型與Yolov3、Yolov3-tiny、Yolov4、Yolov4-tiny 的檢測(cè)性能，在本數(shù)據(jù)集中進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表6。

由表6可知，與經(jīng)典的Yolov3、Yolov3-tiny、Yolov4 和Yolov4-tiny 模型相比，TIPRD模型在近似于Yolov4 網(wǎng)絡(luò)模型精度的前提下模型大小僅為Yolov4 模型的1.5%，遠(yuǎn)遠(yuǎn)小于其他檢測(cè)模型，比剪枝前Yolopedestrian 模型FPS 提高9.4 幀/s。同時(shí)TIPRD 模型還擁有著88.7 幀/s 的極快檢測(cè)速度，滿足實(shí)時(shí)性的要求，更加適用計(jì)算資源緊張的移動(dòng)端夜間駕駛輔助系統(tǒng)的紅外行人檢測(cè)。模型最終檢測(cè)結(jié)果如圖7。

表6 不同算法對(duì)比Table 6 Comparison of different algorithms

2.4 TIPRD 模型的移動(dòng)端部署

為進(jìn)一步驗(yàn)證TIPRD 模型在移動(dòng)端有效性及工程應(yīng)用價(jià)值，采用Jetson Nano 開發(fā)平臺(tái)對(duì)模型進(jìn)行部署，其中TIPRD、Yolov3、Yolov3-tiny、Yolov4 以及Yolov4-tiny 在Jetson Nano 移動(dòng)端開發(fā)平臺(tái)的模型檢測(cè)速度如表7。

表7 不同模型檢測(cè)速度對(duì)比Table 7 Comparison of detection speed of different models

由表7 可知，TIPRD 夜間紅外行人檢測(cè)模型在計(jì)算能力較弱的2GB 版Jetson Nano 移動(dòng)開發(fā)平臺(tái)上測(cè)試的檢測(cè)速度為6.9 幀/s，相較于Yolov4-tiny，TIPRD 夜間紅外行人檢測(cè)模型在計(jì)算能力有限的開發(fā)平臺(tái)上FPS 提升1.7。本文提出的TIPRD 模型不僅擁有輕量的模型，并且相對(duì)于其它模型檢測(cè)速度有著明顯的優(yōu)勢(shì)，更適合在移動(dòng)端開發(fā)平臺(tái)上部署。

3 結(jié)論

本文針對(duì)計(jì)算資源有限的輔助駕駛系統(tǒng)，提出了一種有較高精度的輕量級(jí)模型TIPRD。首先基于Yolov4-tiny 網(wǎng)絡(luò)進(jìn)行結(jié)構(gòu)改進(jìn)，在原網(wǎng)絡(luò)結(jié)構(gòu)上循環(huán)CSP 殘差結(jié)構(gòu)來強(qiáng)化網(wǎng)絡(luò)特征提取能力，并且增添64×64 尺度的檢測(cè)層，在新檢測(cè)層與主干網(wǎng)絡(luò)間添加一條特征融合線路，以融合紅外行人的位置特征，豐富特征圖的語義信息。針對(duì)行人目標(biāo)長(zhǎng)寬相對(duì)固定的特點(diǎn)，使用K-means++聚類算法分析出適用于紅外行人檢測(cè)的先驗(yàn)框預(yù)置模型參數(shù)，提高先驗(yàn)框與行人目標(biāo)的匹配度；模型精度提升8.6%，驗(yàn)證了針對(duì)Yolov4-tiny 算法的改進(jìn)有效性。其次在改進(jìn)后行人檢測(cè)模型基礎(chǔ)上，對(duì)模型使用BN 層通道剪枝策略實(shí)現(xiàn)壓縮，同時(shí)利用知識(shí)蒸餾算法完成模型的微量調(diào)控，在保持精度前提下，實(shí)現(xiàn)了模型的深度壓縮，使模型大小壓縮至4 MB，同時(shí)測(cè)試速度到達(dá)了88.7 幀/s，比剪枝前提高了8.4 幀/s，滿足實(shí)時(shí)性的需求。最后實(shí)現(xiàn)了TIPRD 夜間紅外行人檢測(cè)模型在Jetson Nano（2GB）移動(dòng)端開發(fā)平臺(tái)上的部署，F(xiàn)PS 提升了1.7 幀/s，進(jìn)一步驗(yàn)證了本模型在移動(dòng)端運(yùn)行的有效性，展示了較好的工程應(yīng)用價(jià)值。

本文所研究網(wǎng)絡(luò)模型屬于基于預(yù)設(shè)先驗(yàn)框的思想，目前已存在許多Anchor-free 的目標(biāo)檢測(cè)算法，這類算法由于除去非極大值抑制這一步驟，所以能加快推理時(shí)間。本文網(wǎng)絡(luò)結(jié)構(gòu)可借鑒Anchor-free 思想進(jìn)一步優(yōu)化。