姜柏軍,鐘明霞,林昊昀

(1.浙江商業(yè)職業(yè)技術(shù)學(xué)院,浙江 杭州 310053;2.首都師范大學(xué)數(shù)學(xué)科學(xué)學(xué)院,北京 100089)

1 引 言

隨著中國經(jīng)濟迅速發(fā)展,人口眾多和城市交通規(guī)劃的不合理性逐步顯現(xiàn),我國的交通狀況日益嚴重。這導(dǎo)致道路資源日益緊張,交通事故頻發(fā)。根據(jù)資料數(shù)據(jù)[1],我國交通事故的致死率高達27.3 %,居全球之首。同時的調(diào)查結(jié)果[2]顯示,在致死事故中,美國和歐洲國家的死亡人數(shù)主要集中在乘車人員,而在中國,超過60 %的死亡人數(shù)是行人、自行車等交通弱勢群體。因為在中國的道路權(quán)益分配中,行人和自行車的權(quán)益受到機動車嚴重擠壓,人車混合出行的模式導(dǎo)致行人的安全面臨嚴峻挑戰(zhàn)。除了各汽車制造商需要逐步建立行人保護安全開發(fā)體系外,利用車輛的智能輔助駕駛功能可以有效降低交通事故中的死亡人數(shù)[3]。當(dāng)前,國內(nèi)外學(xué)者主要關(guān)注基于兩類圖像進行行人檢測與跟蹤的研究:可見光圖像和紅外圖像。然而,可見光攝像頭難以應(yīng)對惡劣天氣條件下(如黑夜、弱光、煙霧、霧和蒸汽等)的交通環(huán)境。為彌補可見光攝像頭的不足,本文提出在汽車傳感器套件中加入紅外熱像儀,把可見光圖像和紅外圖像進行融合,圖像融合技術(shù)目前也廣泛應(yīng)用于行人目標(biāo)識別中。將圖像融合技術(shù)應(yīng)用于自動駕駛中,可以提升行人的安全性,填補視覺盲區(qū),提供更多決策信息,預(yù)防事故和碰撞,同時改善駕駛體驗。通過將紅外圖像的熱能分布與可見光圖像的視覺特征相結(jié)合,可以在夜間和低光條件下更精準(zhǔn)地檢測和跟蹤道路上的障礙物,如行人、車輛等。紅外圖像與可見光圖像的融合提供了更全面的感知能力,從而提升了自動駕駛系統(tǒng)的安全性和魯棒性。

近年來,為了提升行人檢測效果,伴隨著新算法的涌現(xiàn)以及硬件的升級,利用深度學(xué)習(xí)從圖像中提取特征并進行行人目標(biāo)判斷的技術(shù)逐漸增多,其中包括 R-CNN[4]、YOLO[5]、SSD[6]等幾類主流框架。研究文獻表明,可見光圖像下的行人檢測方法已經(jīng)相對成熟,但目前涉及可見光和紅外圖像的行人檢測方法尚處于初級階段,需要克服諸多難題。這些難題主要集中在以下兩個方面:(1)受白天和夜間光照變化的影響,可見光和紅外圖像融合特征在不同光照條件下表現(xiàn)出差異性。(2)目前,基于深度卷積神經(jīng)網(wǎng)絡(luò)的行人檢測模型常常表現(xiàn)出較高的檢測率,但其效率相對較低,未能同時保障實時性和準(zhǔn)確性,難以滿足輔助駕駛實時檢測的需求。當(dāng)前行人目標(biāo)檢測算法在特定情況下面臨著挑戰(zhàn),例如夜間、低能見度和復(fù)雜背景等,這些環(huán)境條件的影響可能導(dǎo)致行人目標(biāo)檢測的準(zhǔn)確性下降,因此需要更為強大的方法來應(yīng)對上述問題。

2 雙模態(tài)特征提取與融合

為了克服熱成像的局限性,并提高道路目標(biāo)識別的準(zhǔn)確性和可靠性,可以采用圖像融合技術(shù)。圖像融合通過將熱圖像與可見光圖像進行融合,結(jié)合它們的優(yōu)勢,從而產(chǎn)生一個融合圖像,使得圖像中既包含了熱能信息,又保留了可見光的顏色和紋理信息。因為單一可見光或紅外圖像分類器在全天候駕駛環(huán)境中無法有效識別在白天和夜間光照環(huán)境下存在差異性的行人特征而導(dǎo)致出現(xiàn)漏檢情況,本文在基于區(qū)域生成網(wǎng)絡(luò)的可見光與紅外圖像行人目標(biāo)檢測器的基礎(chǔ)上,進行可見光與紅外圖像雙模態(tài)特征融合,以優(yōu)化深度卷積神經(jīng)網(wǎng)絡(luò)分類性能,提高行人檢測準(zhǔn)確率。首先采用雙模態(tài)區(qū)域生成網(wǎng)絡(luò)即雙路深度卷積神經(jīng)網(wǎng)絡(luò)分別對可見光圖像和紅外圖像進行特征提取,提取得到的可見光特征與紅外特征通過級聯(lián)融合后輸入?yún)^(qū)域生成網(wǎng)絡(luò)進行特征分類和回歸。雙路深度卷積神經(jīng)網(wǎng)絡(luò),均由5個卷積層(Conv)和4個池化層(Pool)交替堆棧組成。如圖1所示,可見光圖像特征提取模塊的卷積層從Convl-V到Conv5-V,池化層從Pooll-V到Pool4-V;紅外圖像特征提取模塊的卷積層從Convl-I到Conv5-I,池化層從Pooll-I到Pool4-I;雙模態(tài)區(qū)域生成網(wǎng)絡(luò)特征融合模塊采用級聯(lián)融合層(Concat)將可見光特征與紅外特征級聯(lián)在一起,進過融合卷積層(Conv-F)進行融合特征學(xué)習(xí)后,輸出可見光與紅外融合特征。

圖1 雙模態(tài)區(qū)域生成網(wǎng)絡(luò)特征提取與融合模塊網(wǎng)絡(luò)結(jié)構(gòu)圖

雙模態(tài)區(qū)域生成網(wǎng)絡(luò)特征提取網(wǎng)絡(luò)結(jié)構(gòu)采用VGGl6深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu),所有的卷積層采用3×3卷積核,所有的池化層采用2×2池化核,具體的參數(shù)設(shè)計如表1所示。采用W和H分別表示可見光圖像和長波紅外圖像的長寬像素值。此處,可見光和紅外圖像輸入尺寸均W×H×3,特征融合模塊輸出的可見光與紅外融合特征圖尺寸為W/16×H/16×512。

表1 不同算法對比結(jié)果

3 改進的Faster RCNN算法

本文在Faster RCNN基礎(chǔ)上,針對紅外熱成像技術(shù)[7]通過四種措施來提升Faster RCNN在汽車駕駛場景下的行人目標(biāo)檢測性能:①設(shè)計特征融合網(wǎng)絡(luò),并構(gòu)建了一種感興趣候選區(qū)域空間金字塔池化網(wǎng)絡(luò),以提高算法在汽車駕駛場景的行人目標(biāo)檢測性能;②通過聚類算法對訓(xùn)練數(shù)據(jù)集中真值框的寬高信息進行聚類,利用聚類結(jié)果優(yōu)化錨設(shè)置,挖掘汽車駕駛場景下的先驗知識來提升檢測算法的檢測效率;③采用在線案例挖掘技術(shù)優(yōu)化模型訓(xùn)練;④對網(wǎng)絡(luò)卷積層中的函數(shù)進行改進,并調(diào)整訓(xùn)練參數(shù)來提高系統(tǒng)分類性能。

3.1 改進網(wǎng)絡(luò)結(jié)構(gòu)

Faster RCNN算法中需要先設(shè)計特征提取網(wǎng)絡(luò),用于特征提取。針對基本算法中存在的問題主要是:①候選框選擇機器耗時長;②候選框覆蓋面廣,重疊區(qū)域特征重復(fù)計算;③步驟多,過程復(fù)雜。原始RCNN重復(fù)使用深層卷積網(wǎng)絡(luò)在2k個窗口上提取特征,特征提取非常耗時。我們在這里改進了RCNN的不足,采用空間金字塔池化網(wǎng)絡(luò)(圖2)中SPPNet將比較耗時的卷積計算對整幅圖像只進行一次,之后使用SPP將窗口特征圖池化為一個固定長度的特征表示。

圖2 空間金字塔池化網(wǎng)絡(luò)

對于上圖中的網(wǎng)絡(luò),Image是輸入圖像就是候選區(qū)域,Crop/warp就是對候選區(qū)域進行提取,然后將圖像resize到固定的大小。由于網(wǎng)絡(luò)中加入這兩個操作,使得候選區(qū)域會出現(xiàn)扭曲的情況。因此把固定大小的圖像輸入到卷積神經(jīng)網(wǎng)中,盡可能特征提取,最后在FC層得到輸出的特征向量。我們采用同一個卷積神經(jīng)網(wǎng),需要保證輸入圖像大小必須統(tǒng)一。這里把候選區(qū)域的提取安排在圖像輸入的下一個環(huán)節(jié),根據(jù)不同的候選區(qū)域會都采用相同卷積來完成特征提取的過程,導(dǎo)致重復(fù)計算,也是RCNN網(wǎng)絡(luò)存在的問題。重新優(yōu)化在上圖底部,加入spp層,對于不同尺寸提取不同維度的特征,它會將每一個卷積層的輸出固定的通過SPP層得到一個21維特征,這個21維是對應(yīng)每個feature map的,即對每一個通道數(shù)(channel),具體維數(shù)值21×c,就是通過SPP層產(chǎn)生固定的輸出,再通過FC層計算。

3.2 模型訓(xùn)練

Faster RCNN是兩個階段的檢測器,模型訓(xùn)練要分兩個部分:一是訓(xùn)練RPN網(wǎng)絡(luò),二是訓(xùn)練后面的分類網(wǎng)絡(luò)。為了能夠說明模型訓(xùn)練過程,需要明確提及的兩個網(wǎng)絡(luò)。分別是:RPN網(wǎng)絡(luò)(共享conv層+RPN特有層);Faster RCNN網(wǎng)絡(luò)(共享conv層+Faster RCNN特有層)。訓(xùn)練的步驟過程如下:

①先用ImageNet的預(yù)訓(xùn)練權(quán)重初始化RPN網(wǎng)絡(luò)的共享conv層,再訓(xùn)練RPN網(wǎng)絡(luò)。訓(xùn)練完成,即更新了共享conv層和RPN特有層的權(quán)重;

②根據(jù)訓(xùn)練好的RPN網(wǎng)絡(luò)獲取proposals;

③再使用ImageNet的預(yù)訓(xùn)練權(quán)重初始化Faster RCNN網(wǎng)絡(luò)的貢獻conv層,然后訓(xùn)練Faster RCNN網(wǎng)絡(luò)。隨著訓(xùn)練完成,再次更新共享conv層和Faster RCNN特有層的權(quán)重;

④利用步驟③訓(xùn)練好的共享conv層和步驟①訓(xùn)練好的RPN特有層來初始化RPN網(wǎng)絡(luò),進行第二次訓(xùn)練RPN網(wǎng)絡(luò)。這里固定共享conv層的權(quán)重,保持權(quán)重不變,只訓(xùn)練RPN特有層的權(quán)重;

⑤根據(jù)訓(xùn)練好的RPN網(wǎng)絡(luò)獲取proposals;

⑥繼續(xù)使用步驟③訓(xùn)練好的共享conv層和步驟③訓(xùn)練好的Faster RCNN特有層來初始化Faster RCNN網(wǎng)絡(luò),再次訓(xùn)練Faster RCNN網(wǎng)絡(luò)。在這里,固定conv層,只保留fine tune特有部分。模型訓(xùn)練過程如圖3所示。

圖3 模型訓(xùn)練步驟過程

3.3 改進函數(shù)

在卷積層候選框訓(xùn)練提取網(wǎng)絡(luò)的時,把錨分為兩類,選中目標(biāo)的錨標(biāo)記是正樣本(positive),未選中目標(biāo)的錨標(biāo)記是負樣本(negative)。正樣本就是通過錨和真值相交的情況來定義,通過兩種方式實現(xiàn)。對于每個真值,存在兩種情況,所有錨與這個真值要么相交,要么不相交。相交方式中:和這個真值有最大交并比的那個錯誤標(biāo)記為正樣本;與這個真值的交并比在大于0.7時,那些錨也標(biāo)記為正樣本。負樣本就是與所有真值的交并比在小于0.3時的錨。除了以上,其余的錨無需標(biāo)記,在整個模型訓(xùn)練過程中不使用。

根據(jù)正負樣本的定義,給出RPN損失函數(shù)的公式(1)所示:

(1)

對于以上公式,實際由兩部分組成。第一部分計算分類誤差,第二部分計算回歸誤差。計算分類誤差時,pi是一個anchor box值為正值的概率,p*i是anchor box的真實數(shù)據(jù),取值為0或1,這里研究采用二分類log loss,∑對所有anchor box的log loss累加求和;計算回歸誤差時,ti表示預(yù)測的anchor box位置,t*i表示與anchor box相關(guān)的真實數(shù)據(jù)的位置,Lreg實際上是計算ti和t*i的位置差,也被稱為平滑L1,在對所有的anchor box計算結(jié)果的誤差累加求和時,僅僅計算正值類anchor box的累加和。關(guān)于系數(shù)部分,Ncls的取值為最小批次中anchor box的數(shù)量,即Ncls=256;Nreg為一張圖對應(yīng)的anchor的數(shù)量,數(shù)值約等于2400;為了確保函數(shù)兩部分loss前的系數(shù)最大程度相同,設(shè)置λ=10。

4 實驗結(jié)果與分析

為了驗證實驗效果,本文測試數(shù)據(jù)庫采用2019年8月FLIR公司推出的免費用于算法訓(xùn)練的FLIR Thermal Starter 數(shù)據(jù)集V1.3。數(shù)據(jù)是由安裝在車上的RGB相機和熱成像相機獲取的。數(shù)據(jù)集總共包含14452張紅外圖像,其中10228張來自多個短視頻;4224張來自一個長為144 s的視頻;數(shù)據(jù)集圖像包括5種目標(biāo)分類:行人、狗、機動車、自行車及其他車輛。該數(shù)據(jù)集使用MSCOCO labelvector進行標(biāo)注,提供了帶注釋的熱成像數(shù)據(jù)集和對應(yīng)的無注釋RGB圖像(圖4),數(shù)據(jù)集文件格式包括五種:(1)14位TIFF熱圖像(無AGC);(2)8位JPEG熱圖像(應(yīng)用AGC),圖像中未嵌入邊界框;(3)8位JPEG熱圖像(應(yīng)用AGC),圖像中嵌入邊界框便于查看;(4)RGB-8位JPEG圖像;(5)注釋:JSON(MSCOCO格式)。

圖4 道路三種圖像效果圖

本文在改進的空間金字塔網(wǎng)絡(luò)結(jié)構(gòu)中,設(shè)計了6個anchor來覆蓋整個輸入的圖片,anchor的長寬比例設(shè)置為[1∶1,1∶2]。通過大量的實驗數(shù)據(jù)得出,采用這個參數(shù)設(shè)置算法效果相對最好。實驗中,我們先對紅外圖像做了預(yù)處理,即紅外圖像和可見光圖像做的融合處理,如圖4所示。本文采用的算法實現(xiàn)道路行人目標(biāo)識別的效果圖,如圖5所示。

圖5 行人識別效果圖

通過算法的設(shè)計在python程序中的實現(xiàn),經(jīng)過模型訓(xùn)練。我們做出如下分析:①比較2分類和3分類道路識別:3分類是背景,行人,騎自行車和騎摩托車的人,通過誤差分析,行人和騎車的人經(jīng)?；煜?然后說明了可以把行人和騎車的人合并在一起的理由,進行了2分類測試,效果顯然比三分類好。②卷積通道調(diào)整:在測試識別過程中發(fā)現(xiàn)了一些頑固的反例,這些樣本是由燈光反射或車輛燈光系統(tǒng)造成的。在訓(xùn)練和測試中為了減輕這些反例的影響,應(yīng)用均值減去法對樣本數(shù)據(jù)進行預(yù)處理。此外,為防止梯度爆炸,在訓(xùn)練過程中當(dāng)測試損失率連續(xù)3代不再提高的時候?qū)W(xué)習(xí)率減半。對比了卷積層濾波器個數(shù)為30～18,25～15,20～12時的2分類結(jié)果。得到個數(shù)為25～15時2分類結(jié)果最佳,測試準(zhǔn)確率93.22 %,訓(xùn)練損失率為1.07 %。③使用自學(xué)習(xí)softmax分類器微調(diào):準(zhǔn)確率由93.22 %上升到94.49 %,平均識別時間為0.07 ms。

本文從FLIR Thermal Starter數(shù)據(jù)集中選擇用于測試的實驗紅外熱圖像600張,其中包含行人、機動車、自行車等交通目標(biāo)2101個,對數(shù)據(jù)集采用不同算法進行實驗比較,模型檢測精度和速度對比如下表1所示,實驗證明,經(jīng)過圖像融合和改進后的模型分類精度更高,檢測速度更快。

5 結(jié) 論

本文在研究典型的深度卷積神經(jīng)網(wǎng)絡(luò)算法用于行人目標(biāo)檢測時,以Faster RCNN算法為基礎(chǔ),采用空間金字塔池化網(wǎng)絡(luò)、特征融合方式改進了網(wǎng)絡(luò)中的函數(shù),有效提高了汽車駕駛場景中應(yīng)對環(huán)境條件差、目標(biāo)距離汽車遠近的尺度問題帶來的目標(biāo)檢測的準(zhǔn)確率、提高了錨點選擇框在神經(jīng)網(wǎng)絡(luò)中的算法效率。理論分析和計算機程序?qū)嶒灁?shù)據(jù)可以說明,在道路中借助于紅外圖像,改進后的深度神經(jīng)網(wǎng)絡(luò)在行人檢測中提高了有效性。因此,在汽車駕駛場景應(yīng)用中,利用本算法可以更有效地檢測行人目標(biāo)。